一种基于区域热点事件的服装流行趋势预测方法与系统

摘要

本发明公开了一种基于区域热点事件的服装流行趋势预测方法与系统，所述系统包括数据收集单元，数据处理单元，服装分类单元，服装流行趋势预测单元，数据收集单元用于收集文本信息和图像信息，并同时将对应的图像与文本信息进行匹配；数据处理单元用于对收集到的文本信息和相关的图像进行预处理，将没有文本信息的图像送至对应的服装分类单元的A分支，将文本信息的图像送至B分支；服装分类单元用于对收集到的图像进行特征提取，对于相应的元素类别进行分类；服装流行趋势预测单元用于对特定区域热点事件的服装流行趋势进行预测。本发明对特定区域的服装流行趋势进行预测，极大提高了预测的准确率及复杂性，同时可促进智能服装技术领域的发展。

说明书

技术领域

本发明属于智能服装技术领域，具体涉及一种基于区域热点事件的服装流行趋势预测方法与系统。

背景技术

现代服装发展的一个明显趋势是服装的新旧款式之间的更替越来越快，服装变化的周期也越来越短。追求衣着的流行化已经成为了现代人的显著特征。流行服装反映了大多数人的意愿，它集中表现了某一时期人们的整体精神面貌。人们在特定的时间内对款式、色彩、着装方式的喜爱，以及相互之间的模仿使服装流行成为一种社会现象。研究服装流行趋势，对于引导服装企业的生产、帮助企业降低市场风险、避免生产的盲目性及对减少资源浪费具有积极意义。

近年来，出现了各式各样的服装流行趋势预测系统，公开号为“CN108960499A”的中国专利“基于一种融合视觉和非视觉特征的服装流行趋势预测系统”是通过服装图像作为模型的输入得到标注,利用流行度评价的系统及方法得到当前的流行趋势。该发明能够有效提高服装图像标注的准确性与效率,促进时尚领域服装流行趋势预测的智能化。但是其利用流行度的评价去预测流行趋势的数据不具有很大的真实性，流行预测准确率有待商榷。

因此，现有的技术问题是数据利用率低，预测准确率低，且真实性薄弱。

发明内容

为解决上述问题，本发明提供了一种基于区域热点事件的服装流行趋势预测方法与系统。通过收集时间、季节、城市、热点事件、服装流行元素等相关文本信息。区域热点事件中区域表示为全国不同地区的不同城市，热点事件表示为时间信息对应的节日或者特殊事件，例如，2022年2月4号-2月20号是冬奥会事件时间。并通过这些文本信息与图像数据结合，对所有图像进行分类，将分类图像放置在不同的文件夹，构建出对应的服装图像数据集，输入最新的图像和文本数据至流行趋势预测网络，预测出下一个时间段的流行元素信息。

本发明提供的一种基于区域热点事件的服装流行趋势预测方法，包括如下步骤；

Step1，收集关于区域热点事件中相关的文本数据和图像数据，并同时将对应的图像和文本信息进行匹配；

Step2，对收集到的文本信息和图像数据进行预处理，预处理后输入至服装分类网络，没有对应文本信息匹配的图像送至服装分类网络中的A分支，将图像与对应匹配的文本信息送至服装分类网络的B分支；

所述A分支通过对没有文本信息辅助的纯图像数据进行多类别分类，B分支通过对具有文本信息的图像进行多类别分类；

A分支通过图像自助标记系统对服装进行分类，利用图像数据训练卷积神经网络模型，通过训练好的网络模型进行服装元素类别分类；

B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多类别分类，具体包括以下子步骤；

S1，对获取到的文本信息进行注意力机制处理；

S2，通过卷积神经网络对图像进行特征提取得到图像特征，并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征；

S3，基于多模态特征融合将自注意力机制处理后的文本信息和新的图像特征进行融合后，再将多模态融合结果再次与新的图像特征相加，辅助图像进行多类别分类；

将A、B分支得到的分类结果汇总在一起按照时间内容进行排序，作为Step3的信息数据库，并通过目录文件记录图像与文本信息关系，方便Step3对信息数据库的检索；

Step3，将最新的图像和文本数据，以及从Step2中信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分，利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。

进一步的，步骤Step1中通过网络爬虫、人工收集、商家提供数据的方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集，所述相关的文本数据和图像数据包括与时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据，运用收集到的文本信息对图像数据进行多类别标注，多类别标注包括时间、季节、城市、热点事件、服装流行元素。

进一步的，A分支的处理过程如下；

首先通过卷积核对一段时间内所收集到的图像进行特征提取，将得到的特征图，先分别进行全局最大池化和平均池化得到只有通道维度的神经元，然后再分别将他们送入2层全连接网络对其降维再升维，再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新特征，其中权重系数表达计算式如下所示：

Mc(G)=σ(pMLP(AvgPool(G))+（1-p）MLP(MaxPool(G)))

其中，G为输入的特征图，最后得到的注意力特征图为Mc，MLP表示全连接网络，σ表示Sigmoid操作，AvgPool表示平均池化，MaxPool表示最大池化，p表示概率因子；

再使用激活函数对提取到的特征图进行修正，最后通过分类器对服装进行分类，并将该图像整理到对应的文件存放处。

进一步的，B分支中对获取到的文本信息进行注意力机制处理过程包括文本预处理、编码、注意力三个部分，其步骤如下：

S11：文本预处理部分实现字符串的匹配，去除非文字符号；

S12：编码部分通过编码得到文本信息的特征向量；

S13：注意力部分通过对S12中输出的句子特征进行点积计算得到权重，然后通过Softmax函数对这些权重进行归一化并计算权重系数，最后，将权重系数与句子特征相乘得到新特征，获得文本信息中文本所关注的区域。

进一步的，B分支中通过卷积神经网络对图像进行特征提取，通过通道注意力机制和空间注意力机制得到新的图像特征，其具体实现步骤如下：

S21：将特征先通过通道注意力机制：先分别进行全局最大池化和平均池化得到只有通道维度的神经元，然后再分别将他们送入2层全连接网络对其降维再升维，再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新特征；

S22：对得到的新特征添加空间注意力机制：先分别进行全局最大池化和平均池化得到只有通道维度的神经元，再将得到的两个神经元按照通道拼接在一起后通过Softmax函数计算得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新的图像特征。

进一步的，B分支中，将自注意力机制处理后的文本信息和新的图像特征输入至Hadamard(哈达玛)积低秩双线性模型中使文本特征与图像特征结合，实现多模态融合；

低秩双线性模型用来降低双线性权重矩阵

其中z表示单通道输入，

对于特征图的每个通道用

其中

其中，softmax为概率函数，为了减少输入通道，引入了多重双线性注意图

通过注意力机制与文本特征和图像特征的矩阵乘法，得到文本与图像的特征联合表示向量，公式如下：

其中

将多模态融合的结果与新的图像特征相加，辅助图像进行多标注分类，即将经过注意力机制得到的新的图像特征与通过多模态融合结果进行连接，计算公式如下：

其中

进一步的，Step3的具体实现过程如下；

将最新的图像和文本数据，以及从Step2中信息数据库中得到的文本信息和图像数据输入至服装流行趋势预测神经网络，输入部分表达式为：

其中，服装流行趋势预测神经网络的输入由两部分组成，

将输入数据输入至流行趋势预测神经网络进行预测，流行趋势预测神经网络通过对输入的文本数据进行切词与去除停用词处理后，对其进行特征降维，得到结构化数据后，计算文本特征，最后通过聚类算法输出聚类结果；进一步地，流行趋势预测神经网络通过识别聚类结果，将信息数据库中对应标注内的服装图像与最近时期收集的相关图像输入至网络中，进行相似度比较，将相似度高的图像对应服装标注保留至下一层；最后，通过收集到的与服装流行元素相关的文本信息对来自上一层的服装标注进行加权计算，得到最终的输出结果。

本发明还提供一种基于区域热点事件的服装流行趋势预测系统，其特征在于，包括如下单元：

数据收集单元，用于收集各大社交媒体网站和购物网站关于时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据，并同时将对应的图像与文本信息进行匹配；

数据处理单元，用于对收集到的文本信息和图像进行预处理，没有对应文本信息匹配的图像送至服装分类单元的A分支，将图像与对应匹配的文本信息送至B分支；

服装分类单元对收集到的图像与文本信息进行特征提取，对相应的元素类别进行分类；

包括A分支和B分支，所述A分支通过对没有文本信息辅助的纯图像数据进行多标注分类，B分支通过对具有文本信息的图像进行多标注分类；

其中，A分支通过图像自助标记系统对服装进行分类，利用图像数据训练卷积神经网络模型，通过训练好的网络模型进行服装元素分类；

其中，B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多标注分类，具体包括以下子步骤；

S1，对获取到的文本信息进行注意力机制处理；

S2，通过卷积神经网络对图像进行特征提取得到图像特征，并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征；

S3，基于多模态特征融合将注意力机制处理后的文本信息和新的图像特征进行融合后，再将多模态融合结果再次与新的图像特征相加，辅助图像进行多标注分类；

将A、B分支得到的分类结果汇总在一起按照时间内容进行排序，作为服装流行预测单元的信息数据库，并通过目录文件记录图像与文本信息关系，方便服装流行预测单元对信息数据库的检索；

服装流行预测单元，用于将最新的图像和文本数据，以及从信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分，利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。

相比现有技术，本发明的有益效果：

（1）本发明的服装流行趋势预测网络模型的输入数据采用文本和图像，借助文本信息结合图像数据提高了流行预测的准确率。

（2）本发明使用基于注意力机制提取图像特征，使得网络模型聚焦到有意义的图像特征并充分利用了文本信息，使得分类网络更快更准确。

（3）本发明的服装流行趋势预测网络模型，通过不断地训练网络模型，对模型参数进行修正，提高了流行预测的准确率以及效率。

（4）本发明的系统及方法通过将文本信息与图像信息结合，使其达到识别节日、季节、事件等区域热点事件对于服装流行趋势的影响，实现了特定区域热点事件的服装流行趋势预测，真实性强、实时性好。

附图说明

图1为本发明提供的一种基于区域热点事件的服装流行趋势预测方法的流程图；

图2为本发明提供的一种基于区域热点事件的服装流行趋势预测系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供的一种基于区域热点事件的服装流行趋势预测方法，包括步骤如下：

Step1，收集关于区域热点事件中相关的文本数据和图像数据，并同时将对应的图像和文本信息进行匹配，对图像数据进行数据清洗、去背景处理；

Step2，对收集到的文本信息和图像数据进行预处理，预处理后输入至服装分类网络，没有对应文本信息匹配的图像送至服装分类网络中的A分支，将图像与对应匹配的文本信息送至服装分类网络中的B分支；

所述A分支通过对没有文本信息辅助的纯图像数据进行类别分类，B分支通过对具有文本信息的图像进行多类别分类。

A分支通过图像自助标记系统对服装进行分类，利用图像数据训练卷积神经网络模型，通过训练好的网络模型进行服装元素类别分类；

训练过程中首先通过卷积核对一段时间内所收集到的图像进行特征提取。进一步的通过对上一层得到的特征图，先分别进行全局最大池化和平均池化得到只有通道维度的神经元，然后再分别将他们送入2层全连接网络对其降维再升维，再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新特征；其中权重系数计算式如下所示：

Mc(G)=σ(pMLP(AvgPool(G))+（1-p）MLP(MaxPool(G)))

其中，G为输入的特征图，最后得到的注意力特征图为Mc，MLP表示全连接网络，σ表示Sigmoid操作，AvgPool表示平均池化，MaxPool表示最大池化，p表示概率因子；

再使用RELU激活函数对提取到的特征图进行修正，将修正后的特征图送至胶囊网络进一步的对图像特征进行提取，最后对服装进行分类，并将该图像整理到对应的文件存放处。

B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多类别分类，具体包括以下子步骤；

S1，对获取到的文本信息进行注意力机制处理；

S2，通过卷积神经网络对图像进行特征提取，并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征；

S3，基于多模态融合将自注意力机制处理后的文本信息和新的图像特征进行融合后，再将多模态融合结果再次与新的图像特征相加，辅助图像进行多类别分类；具体过程如下：

所述对获取到的文本信息进行注意力机制处理过程包括文本预处理、编码（文本特征处理）、注意力三个部分，其步骤如下：

S11：文本预处理部分按照事先建立好的分词词典和分词规则库，实现字符串的匹配，从而去除掉标记符号与标点符号等非文字类信息；

S12：编码部分通过滑窗操作将相邻的两个词作为一组进行处理，将文本信息映射到连续的向量；

S13：注意力部分通过对S12中输出的句子特征进行点积计算得到权重，然后通过Softmax函数对这些权重进行归一化并计算权重系数，最后，将权重系数与句子特征相乘得到新特征，获得文本信息中文本所关注的区域。

进一步的，图像通过卷积神经网络进行特征提取，通过卷积核对图像进行特征提取得到特征图，将得到的特征图添加通道注意力机制和空间注意力机制，其步骤如下：

S21：将图像特征先通过通道注意力机制：先分别进行全局最大池化和平均池化得到只有通道维度的神经元，然后再分别将他们送入2层全连接网络对其降维再升维，再将得到的两个特征相加后通过Sigmoid函数计算每一个维度所占权重得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新特征。

S22：对新特征添加空间注意力机制：先分别进行全局最大池化和平均池化得到只有通道维度的神经元，再将得到的两个神经元按照通道拼接在一起后通过Softmax函数计算得到权重系数，最后，将权重系数与输入的特征相乘得到缩放后的新的图像特征。

进一步地，再将自注意力机制处理后的文本信息和新的图像特征输入至Hadamard(哈达玛)积低秩双线性模型中使文本特征与图像特征结合，实现多模态融合。

低秩双线性模型用来降低双线性权重矩阵

其中z表示单通道输入，

对于特征图的每个通道用

其中

其中，此处的softmax表示为概率函数，为了减少输入通道，引入了多重双线性注意图

通过注意力机制与文本特征和图像特征的矩阵乘法，得到文本与图像的特征联合表示向量，公式如下：

其中

然后将多模态融合的结果与新的图像特征相加，辅助图像进行多标注分类，将经过注意力机制得到的图像特征与通过多模态注意力网络模型输出的特征进行连接。计算公式如下：

其中

将A、B分支得到的分类结果汇总在一起按照时间内容进行排序，作为Step3的信息数据库，并通过目录文件记录图像与文本信息关系，方便Step3对信息数据库的检索；

Step3，将最新的图像和文本数据，以及从Step2中信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分，利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。

将最新的图像和文本数据，以及从Step2中信息数据库中得到的文本信息和图像数据输入至服装流行趋势预测神经网络，输入部分表达式为：

其中，服装流行趋势预测神经网络的输入由两部分组成，

将输入数据输入至流行趋势预测神经网络进行预测，流行趋势预测神经网络通过对输入的文本数据进行切词与去除停用词处理后，对其进行特征降维，得到结构化数据后，计算文本特征，最后通过聚类算法输出聚类结果；进一步地，流行趋势预测神经网络通过识别聚类结果，将信息数据库中对应标注内的服装图像与最近时期收集的相关图像输入至网络中，进行相似度比较，将相似度高的图像对应服装标注保留至下一层；最后，通过收集到的与服装流行元素相关的文本信息对来自上一层的服装标注进行加权计算，得到最终的输出结果。

进一步的，服装流行趋势神经网络的输出层是一个用于预测的神经元，预测精度 误差使用均方根误差，其中

本发明还提供一种基于区域热点事件的服装流行趋势预测系统，包括如下单元：

数据收集单元，用于收集各大社交媒体网站和购物网站关于时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据，并同时将对应的图像与文本信息进行匹配；

数据处理单元，用于对收集到的文本信息和图像进行预处理，没有对应文本信息匹配的图像送至服装分类单元的A分支，将图像与对应匹配的文本信息送至B分支；

服装分类单元对收集到的图像与文本信息进行特征提取，对相应的元素类别进行分类；

包括A分支和B分支，所述A分支通过对没有文本信息辅助的纯图像数据进行多标注分类，B分支通过对具有文本信息的图像进行多标注分类；

其中，A分支通过图像自助标记系统对服装进行分类，利用图像数据训练卷积神经网络模型，通过训练好的网络模型进行服装元素分类；

其中，B分支利用基于多模态特征融合与图像注意力机制的多标注分类模型的框架进行多标注分类，具体包括以下子步骤；

S1，对获取到的文本信息进行注意力机制处理；

S2，通过卷积神经网络对图像进行特征提取得到图像特征，并进一步通过通道注意力机制和空间注意力机制处理得到新的图像特征；

S3，基于多模态特征融合将注意力机制处理后的文本信息和新的图像特征进行融合后，再将多模态融合结果再次与新的图像特征相加，辅助图像进行多标注分类；

将A、B分支得到的分类结果汇总在一起按照时间内容进行排序，作为服装流行预测单元的信息数据库，并通过目录文件记录图像与文本信息关系，方便服装流行预测单元对信息数据库的检索；

服装流行预测单元，用于将最新的图像和文本数据，以及从信息数据库中得到的文本信息和图像数据输入至流行趋势预测部分，利用流行趋势预测神经网络对特定区域热点事件的服装流行趋势进行预测。

优选的方案中，数据收集单元通过网络爬虫、人工收集等方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集，所述相关的文本数据和图像数据包括时间、季节、城市、热点事件、服装流行元素相关的文本数据和图像数据，其中社交媒体网站包括博客、Facebook、微博、小红书，购物网站包括亚马逊-网上购物商城(amazon.com)、淘宝网(taobao.com)、唯品会（vip.com）以及京东商城（jd.com），流行信息获取来源包括：国际流行委员会、时装周、各预测平台。

优选的方案中，数据处理单元通过运用收集到的文本信息对图像数据进行标注，包括：时间、季节、城市、热点事件、服装流行元素等，时间例如：国庆节、建军节、儿童节、妇女节等节日；季节例如：春、夏、秋、冬；城市例如：合肥、武汉、北京等；服装流行元素标注例如：款式（斗篷外套、雪纺衬衣、羊毛衫等）、颜色（红、橙、黄等）、风格（职业风、迷彩风、运动风等）；热点事件例如冬奥会、残奥会等重要事件。

可选地，所述服装分类单元中，A分支利用卷积神经网络例如VGG、GoogLeNet、ResNet50，DenseNet、EfficientNet等用于特征提取，经过卷积、池化操作，运用激活函数对其输出进行修正，用分类器进行分类。

优选的方案中，所述服装分类单元B分支中对获取到的文本信息进行注意力机制处理，其中编码部分通过将文本信息映射为向量，可选地方法有one-hot编码、tf-idf、n-gram模型。

可选地，A分支和B分支中所用的激活函数例如Relu、Sigmoid、Tanh等。

可选地，A分支和B分支中所用的分类器包括SVM分类器、贝叶斯分类器、softmax等，B分支中将表示待分类的组合特征输入到分类器中即可得到分类结果。

优选的方案中，所述服装流行趋势预测单元中确定预测精度选用均方根误差，其 中

如图2所示，数据收集单元通过网络爬虫、人工收集、商家提供数据等方式对各大社交媒体网站与购物网站的文本信息和图像信息进行收集，通过“网络爬虫”技术对图像进行爬取的同时，自动生成服装信息目录文件，该服装信息目录包括了服装图像的时间、季节、城市、热点事件、服装流行信息等信息，图像处理模块对于“网络爬虫”没有收集到的标注进行手动标注，并将其送入服装信息目录文件，相关的文本数据和图像数据包括时间、季节、城市、热点事件、服装流行信息的文本数据和图像数据，其中社交媒体网站包括博客、Facebook、微博、小红书，购物网站包括亚马逊-网上购物商城(amazon.com)、淘宝网(taobao.com)、唯品会（vip.com）以及京东商城（jd.com）。爬取的具体文本信息包括时间例如：国庆节、建军节、儿童节、妇女节等；季节例如：春、夏、秋、冬；城市例如：合肥、武汉、北京等；服装流程元素标注例如：款式（斗篷外套、雪纺衬衣、羊毛衫等）、颜色（红、橙、黄等）、风格（职业风、迷彩风、运动风等）；热点事件例如冬奥会、残奥会等重要事件。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。