多标签学习

摘要： 在现代创伤救治中,根据患者伤情进行合理而准确的院前评估并制定相应的救治决策对降低患者伤残率与死亡率具有重要意义。为了改善人工制定决策的缺陷,实现准确合理的标准化创伤救治决策制定,本文利用多标签学习思想,在对创伤救治决策进行深入分析与研究的基础上,将整体救治决策进行子决策划分,并提取出子决策对应的判定因素作为标签集。为了更好地考虑标签间的关联,将Classifier Chains算法的链式思想与多标签K近邻(Multi-label K-nearest neighbor,ML-KNN)算法融合,提出一种层链多标签学习算法,称为层链多标签K近邻算法(Layer chain ML-KNN,LCML-KNN)。LCML-KNN算法将标签依特点划分为两个层链,在第一层链的预测标签信息输出后对其进行独热编码,转化后的标签看作新特征放入第二层链进行预测与判断。LCML-KNN算法不仅更好地考虑了标签间的关联性,而且通过标签转化扩充了特征维数。在两个创伤类数据集上与现有各类多标签算法进行实验对比,结果验证了LCML-KNN算法的鲁棒性和优越性。

摘要： 对于多标签特征选择算法,通常假设数据与标签间呈现某种关系,以该关系为基础并通过正则项的约束可解决多标签特征选择问题,但该关系也可能是两种或多种关系的结合。为准确描述数据与标签间的关系并去除不相关的特征和冗余特征,基于logistic回归模型与标签流形结构提出多标签特征选择算法FSML。使用logistic回归模型的损失函数学习回归系数矩阵,利用标签流形结构学习数据特征的权重矩阵,通过L;-范数将系数矩阵和权重矩阵进行柔性结合,约束系数矩阵与权重矩阵的稀疏性并实现多标签特征选择。在经典多标签数据集上的实验结果表明,与CMLS、SCLS等特征选择算法相比,FSML算法在汉明损失、排名损失、1-错误率、覆盖率、平均精度等5个性能评价指标上表现良好,能更准确地描述数据与标签间的关系。

摘要： 现有的多标签学习算法往往只侧重于实例空间到标签空间的正向投影,正向投影时由于特征维数降低所产生的实例空间信息丢失的问题往往被忽略。针对以上问题,提出一种基于双向映射学习的多标签分类算法。首先,利用实例空间到标签空间的正向映射损失建立线性多标签分类模型;然后,在模型中引入重构损失正则项构成双向映射模型,补偿由于正向映射时导致的鉴别信息的丢失;最后,将双向映射模型结合标签相关性和实例相关性充分地挖掘标签之间、实例之间的潜在关系,并利用非线性核映射提高模型对非线性数据的处理能力。实验结果表明,与近年来的其他几种方法相比,该方法在汉明损失、一次错误率和排序损失上的性能平均提升17.68%、17.01%、18.57%;在六种评价指标上的性能平均提升了12.37%,验证了模型的有效性。

摘要： 多标签学习是机器学习领域的一个研究热点,其能够有效解决真实世界中的多语义问题。在多标签学习任务中,样本的多个标签之间存在一定的关联关系,忽略标签间的相关性会导致模型的泛化性能降低。提出一种基于标签间相关性的多标签学习K近邻算法。充分挖掘样本多标签间的相关性,通过Fp_growth算法得到标签的频繁项集。针对频繁项和标签分别构建评分模型和阈值模型,评分模型用于衡量样本与频繁项或标签之间的关联程度,阈值模型用于求解频繁项或标签对应的判别阈值,结合评分模型和阈值模型对样本所属频繁项进行预测,进而确定样本标签集。在经典数据集Emotions和Scene上的实验结果表明,该算法的F1-Measure指标分别达到66.6%和73.3%,相比CC、LP、RAKEL、MLDF等基准方法,其F1-Measure分别平均提高3.8和2.1个百分点,该算法通过合理利用标签间的相关性使得分类性能得到有效提升。

摘要： 针对页岩气储层数据获取困难、标签稀缺、标注成本高昂的问题,提出一种多标准主动查询的多标签学习(MAML)算法。首先,考虑样本的信息性和代表性来对样本进行初步处理;其次,加入包括属性差异性和标签丰富性的样本丰富性约束,在此基础上选择有价值的样本进行标签查询;最后,利用多标签学习算法来预测剩余样本的标签。通过11个Yahoo数据集上的实验,将MAML算法与流行的多标签学习算法和主动学习算法进行比较,验证了MAML算法的优越性。然后将实验扩展到4个真实的页岩气测井数据集。在该实验中,与多标签学习算法:基于K最近邻的多标签(ML-KNN)学习方法、多标签学习的反向传播(BP-MLL)算法、具有全局和局部标签相关性的多标签学习方法(GLOCAL)和通过查询信息性和代表性样本的主动学习(QUIRE)方法相比,MAML算法在页岩气储层综合品质预测精度均值上分别提升了45个百分点、68个百分点、68个百分点和51个百分点。实验结果充分验证了MAML算法在页岩气储层甜点预测领域的实用性和优越性。

摘要： 传统的人脸表情识别方法主要针对六类基本人脸表情,但在现实场景下,存在更加丰富的由基本人脸表情组合而成的复合人脸表情,原先识别基本人脸表情的工作难以去识别复合人脸表情,并且复合人脸表情的数据集缺乏足够的训练数据.针对该问题,提出基于图卷积多标签学习的复合人脸表情识别方法.通过特征提取网络提取到人脸表情的全局特征和感兴趣区域的局部特征,使用基本和复合人脸表情之间的先验知识和数据驱动方式,构建出表情类别关系图,利用图卷积网络来学习到表情类别分类器,最后进行复合人脸表情识别.在RAF-DB和Emotio Net数据集上的实验结果表明,与VGG19和ResNet50等方法相比,该方法可以使得复合人脸表情识别率取得约4%~5%的提升.

摘要： 现有的人脸属性识别方法或采用属性分组的方式提取特征,或计算属性共现概率构造静态属性关系图.前者学习的属性间互补信息不充足,且无法确定组间属性的相关性和属性间的相关程度;后者在人脸图像出现偶然共现属性对时存在偏差,可能会降低模型的通用性.为解决上述问题,提出一种结合特征解耦和静动态联合图卷积网络的人脸属性识别方法.首先使用深度卷积神经网络ResNet-50提取包含属性表示信息的特征;然后设计特征解耦模块,学习得到每种属性对应的特定特征;最后联合属性关系的静态图和动态图,通过图卷积网络学习属性之间的相关性并使用一维卷积层识别人脸属性.在CelebA和LFWA数据集上进行验证,所提方法的平均准确率分别达到91.85%和88.17%,优于许多已有的方法.

摘要： 当前行人属性识别(PAR)公开数据集中属性标注繁杂且采集场景多样,各数据集中行人属性差异较大,进而导致公开数据库已有的标记信息数据难以直接应用到PAR实际问题中。针对上述问题,提出一种基于领域自适应的多源多标签PAR方法。首先通过领域自适应方法对样本进行特征对齐完成多个数据集之间的统一风格转换;接着提出多属性one-hot编码加权算法,将多数据集中共有属性的标签对齐;最后结合多标签半监督损失函数,进行跨数据集联合训练以提高属性识别准确率。通过所提出的特征对齐和标签对齐算法,可有效解决PAR多数据集中属性异构性问题。将三个行人属性数据集PETA、RAPv1和RAPv2分别与PA-100K数据集对齐后的实验结果表明,所提出的方法对比StrongBaseline在平均准确率上分别提升了1.22、1.62和1.53个百分点,说明该方法在跨数据集PAR中具有一定的优势。

摘要： 针对基于稀疏回归的多标签特征选择方法中数据的特征和标签之间线性关系假设不成立的问题,提出一种基于依赖最大化和稀疏回归的多标签特征选择方法(multi-label feature selection with dependence maximization and sparse regression,DMSR)。构建数据的低维子空间,最大化低维空间与数据的标签空间之间的依赖性,使用希尔伯特-施密特独立性准则作为依赖性的计算依据,将数据从特征空间映射到该低维空间,设计一种交替优化的算法对稀疏回归模型进行求解,得到用于特征选择的投影矩阵。在多个不同类型的多标签数据集上的实验结果表明,所提算法的性能优于其它对比算法。

摘要： 多标签特征选择能够有效去除冗余特征并提升分类精度,是解决“维数灾难”问题的有效方法.然而,已有的多标签特征选择算法是对所有标签选择出相同的特征,忽略了标签与特征之间的内在联系.事实上,每个标签都具有反映该标签特有属性的特征,即类属特征.提出一种基于图拉普拉斯的多标签类属特征选择(multi-label label-specific feature selection based on graph Laplacian,LSGL)算法.对于每个类别标签,基于拉普拉斯映射获得数据的低维嵌入,再通过稀疏正则化获得数据空间到嵌入空间的投影矩阵,接着通过分析矩阵系数确定每个标签相应的类属特征,最后使用类属特征进行分类.在5个公共多标签数据集上的多标签特征选择与分类实验结果证明了所提算法的有效性.

摘要： 近年来,随着Web2.0的发展,数字多媒体图像出现了爆炸式的增长,使得人类拥有了海量的图像资源.图像语义标注自动生成方法的研究在图像检索领域已经成为了研究热点,也出现了越来越多的图像语义标注方法,是一个具有挑战性的研究课题.着重介绍了多标签学习方法的典型自动图像语义标注算法,分析其各自的优缺点以及近年来的技术突破.最后基于多标签学习的自动图像语义标注进行了展望.

摘要： 蛋白质合成后期的一个重要生化反应,大多数蛋白质需要经过修饰进而行驶其生物功能。修饰类型多,现在发现的有350多种,常见的有几十种。异常修饰或者过多修饰跟很多疾病相关联;例如帕金森,衰老和癌症。实验上逐条鉴定修饰位点成本高,耗时费力。通过计算快速、准确地识别这些位点大大缩小实验范围,为实验提供候选蛋白.

摘要： 多标签学习是处理每个样本同时属于多个标签的数据.在多标签学习中,数据降维是一项重要而又具有挑战性的任务.特征选择是通过保持最大相关信息选取一个特征子集,它是一种高效的数据降维技术.考虑样本相似性的最小偏差,提出一种新的多标签特征选择方法.首先,由于多标签结构的特殊性可以得出一个样本相似性矩阵;其次,通过标签空间和特征空间的依赖关系构造优化目标函数;继而,提出特征排序算法和贪婪算法;最后,实验结果表明,提出的算法具有很好的特征选择性能.

摘要： 近年来,在多标签分类中标签相关性研究成为热点之一.针对已有的基于k近邻的多标签相关性算法未充分考虑样本分布的问题进行了研究,即算法在利用近邻标签时因仅考虑了近邻标签相关性信息,这可能会使算法的鲁棒性有所降低.基于此,引入萤火虫方法(Firefly Algorithm),将相似度信息与标签信息相结合,提出一种融合萤火虫方法的多标签懒惰学习算法(FF-IMLLA).首先,利用Minkowski距离来度量相似度,从而找到近邻点.然后,使用萤火虫方法对标签计数向量进行改进.最后,分别使用奇异值分解与核极限学习机进行线性分类.FF-IMLLA算法在考虑了标签信息与相似度信息从而提高了算法的鲁棒性.提出的算法在公开的多个基准多标签数据集中的实验结果表明,该算法较其他对比的多标签学习算法有一定优势,使用统计假设检验与稳定性分析进一步说明所提出算法的合理性与有效性.

摘要： 针对已有的RBF神经网络多标签算法未充分考虑多个样本标签之间的关联性,从而导致泛化性能受到一定影响的问题,研究分析了一种改进型RBF神经网络的多标签算法.该算法首先优化隐含层RBF神经网络基函数中心求取算法——k-均值聚类.采用AP聚类自动寻找k值以获得隐含层节点数目,并构造Huffman树来选取初始聚类中心以防k均值聚类结果陷入局部最优.然后构造体现标签类之间信息的标签计数向量C,并将其与由优化k-均值聚类得到的聚类中心进行线性叠乘,进而改进RBF神经网络基函数中心,建立RBF神经网络.在公共多标签数据集emotion上的实验表明了该算法能够有效地进行多标签分类.

摘要： 针对已有的RBF神经网络多标签算法未充分考虑多个样本标签之间的关联性,从而导致泛化性能受到一定影响的问题,研究分析了一种改进型RBF神经网络的多标签算法.该算法首先优化隐含层RBF神经网络基函数中心求取算法——k-均值聚类.采用AP聚类自动寻找k值以获得隐含层节点数目,并构造Huffman树来选取初始聚类中心以防k均值聚类结果陷入局部最优.然后构造体现标签类之间信息的标签计数向量C,并将其与由优化k-均值聚类得到的聚类中心进行线性叠乘,进而改进RBF神经网络基函数中心,建立RBF神经网络.在公共多标签数据集emotion上的实验表明了该算法能够有效地进行多标签分类.

摘要： 针对已有的RBF神经网络多标签算法未充分考虑多个样本标签之间的关联性,从而导致泛化性能受到一定影响的问题,研究分析了一种改进型RBF神经网络的多标签算法.该算法首先优化隐含层RBF神经网络基函数中心求取算法——k-均值聚类.采用AP聚类自动寻找k值以获得隐含层节点数目,并构造Huffman树来选取初始聚类中心以防k均值聚类结果陷入局部最优.然后构造体现标签类之间信息的标签计数向量C,并将其与由优化k-均值聚类得到的聚类中心进行线性叠乘,进而改进RBF神经网络基函数中心,建立RBF神经网络.在公共多标签数据集emotion上的实验表明了该算法能够有效地进行多标签分类.

摘要： 针对已有的RBF神经网络多标签算法未充分考虑多个样本标签之间的关联性,从而导致泛化性能受到一定影响的问题,研究分析了一种改进型RBF神经网络的多标签算法.该算法首先优化隐含层RBF神经网络基函数中心求取算法——k-均值聚类.采用AP聚类自动寻找k值以获得隐含层节点数目,并构造Huffman树来选取初始聚类中心以防k均值聚类结果陷入局部最优.然后构造体现标签类之间信息的标签计数向量C,并将其与由优化k-均值聚类得到的聚类中心进行线性叠乘,进而改进RBF神经网络基函数中心,建立RBF神经网络.在公共多标签数据集emotion上的实验表明了该算法能够有效地进行多标签分类.

摘要： 本发明公开了一种基于新标签发现和标签增量学习的动态多标签分类方法，在初始阶段，根据初始数据基于pairwise label ranking loss和误分类损失建立初始分类模型和初始集成聚类模型；数据流预测阶段，将具有新标签的样本放入一个缓冲区存储；模型更新阶段，构建新标签的子模型，将新标签子模型更新到分类模型中，并基于新标签样本对集成聚类模型更新。该方法不仅可以及时发现数据流中数据诞生的新标签，还避免了在数据流中存储大量的数据，只需要缓存一定的数据作为更新即可，进一步避免了重新训练模型导致的时间成本问题，同时解决了动态多标签分类问题中新标签产生的问题并在数据流中维持较高分类性能。

摘要： 本发明公开了一种基于深度学习的多标签文本分类场景下的噪声标签检测方法，包括以下步骤：步骤A：获取初始数据集：包含噪声标签的多标签文本分类数据集D；步骤B：设定BERT预训练模型中所有参数为W，训练时常数学习率为η；步骤C：训练过程中采用动态学习率进行训练，并同步更新W；步骤D：在训练过程中，记录每个样本的每个二分类任务，即每个标签类别对应的损失函数值Li,j，并进行标准化计算；步骤E：计算每个样本的每个二分类任务在所有训练轮次中的标准化损失值之和步骤F：将每个样本的每个标签类别根据降序排序以得到每个样本的每个标签类别为噪声标签概率的排序R。

摘要： 本申请提出了一种基于已知标签学习未知标签的实体识别方法、装置及应用，通过已有标签的预定义类别样本在第一训练模型和第二训练模型中进行处理，训练得到二分类器，再利用二分类器来预测未知标签的未定义类别样本的新的类别，通过已有标签的已有特征去推导和识别新的未知标签的类别，进而减少在实体识别任务上的数据标注的工作量，在进行迁移学习时能够减少对目标数据库数据量的要求，降低部署环境硬件和数据库要求。实体识别模型可以让已知标签的实体样本在向量空间上聚合，以推导相关任务的未知标签的实体样本。

摘要： 本发明公开了一种基于噪声标签学习的众包获取标签数据清洗方法，在模型热启动阶段，使用带有噪声的标签数据初步训练深度模型；在噪声分离阶段，通过模型对训练数据进行预测，计算噪声标签与预测类别间的损失，采用高斯混合模型拟合损失的分布，得到各个数据在属于均值较小子分布的概率，依据该概率的大小将数据分为纯净数据和噪声数据两部分；在重新训练阶段，使用有更大概率为纯净数据的一部分重新训练模型；最后根据深度模型中数据损失的大小进行噪声清洗；本发明对众包获取的带噪声标签数据进行清洗，可大幅提高众包获取数据的质量；并且结合了深度学习模型的拟合能力，可以纠正特征与标签依赖关系复杂时的噪声标签。

摘要： 本发明公开了基于标签传播的正无标签学习方法，包括以下步骤：构建分类器、构建图、对图进行求解、伪标签排序和数据测试。本方法采用了标签传播的方式从有限的正样本来判定无监督数据中的正负类别，并给定相应的伪标签，然后基于监督学习的方式，训练出一个判别能力强的分类器，相比于其他模型，本方法可以从有限的正样本中识别出真正的负样本，然后将这个问题转化成一个标准监督学习问题，相比传统方法具有更高的准确率，而且识别效率更高，并且选取基于对称形式的交叉熵来训练网络，能够达到更好的抑制噪声的作用。

摘要： 本发明公开了一种基于条件依赖标签集的多标签主动学习方法，首先在弱标记条件下挖掘出各标签的条件依赖标签集。每次迭代时，在条件依赖标签集的基础上，计算当前未标记样本池中各样本‑标签对的信息熵和相对熵，然后整合信息熵和相对熵得到每个样本‑标签对的信息量，最后筛选出信息量最大的样本‑标签对作为本次迭代用于训练主动学习模型的输入对象。通过实验表明，该主动学习方法相对于其他弱标记条件下挖掘标签间关系的方法具有良好的泛化性能。

摘要： 提供有教师学习器的数据集的标签标注方法、有教师学习器、状态估计装置。针对包含多个状态估计对象处于基准状态甲和基准状态乙的情况的多个对应数据，计算各对应数据的相对于甲的乖离度，以能够将甲的情况下的相对于甲的乖离度描绘为甲的情况下有教师学习器应该输出的规定值、将乙的情况下的相对于甲的乖离度描绘为乙的情况下学习器应该输出的规定值、并且甲的情况下的相对于甲的乖离度和乙的情况下的相对于甲的乖离度的区间内是单调映射的方式，按照每个状态估计对象决定映射，通过该映射，取得各对应数据的相对于甲的乖离度的映射，由此计算归一化乖离度，将归一化乖离度决定为与训练数据的输入对应的训练数据的输出数据。

摘要： 本发明涉及室内定位技术领域，公开了一种基于在线伪标签半监督学习与个性化联邦学习的室内定位方法，包括以下步骤：S1.用户构建本地数据集，服务器构造云端数据集；S2.服务器设置有机器学习模型，并且服务器分别给各个用户发放机器学习模型，将位于用户端的机器学习模型称为本地模型，将位于用户端的机器学习模型称为本地模型；S3.用户通过本地数据集中带有标签的数据训练本地模型，得到初始本地模型；S4.服务器通过云端数据集中带有标签的数据训练全局模型，得到初始全局模型；S5.通过联邦学习得到训练后的本地模型和更新后的全局模型；S6，用户根据训练后的本地模型和更新后的全局模型，通过混合专家模型进行个性化定位。本发明解决了现有技术中忽视本地数据高度动态和定位需求差异，无法进行个性化定位的问题，并具有高效率，高精度的特点。

摘要： 本发明公开了一种基于反标签学习的半监督少样本图像分类学习方法及系统，方法包括：构造元任务，使用预训练的神经网络作为特征提取器，提取元任务中对应数据的特征，并在支持集上训练一个分类器用于后续分类任务；反标签学习模块以较高正确率给无标签数据打上反标签，分类器在反标签上进行学习更新，不断迭代直到无法选出反标签；在反标签模块迭代结束之后，得到类别均衡且正确率较高的正标签，并用分类器进行学习更新。本发明充分且高质量的利用无标签数据，可以获得更高的少样本学习图像分类准确率。

摘要： 本发明公开了基于标签传播矫正标签置信度的不准确标记的多标签学习算法，包括以下步骤：步骤一，利用迭代标签传播，根据邻域空间更新候选标签集和非候选标签集的置信度，并分别从中识别出具有高置信度的可信标签；步骤二，利用识别出的可信标签，通过最大后验推理对标签进行两两排序，生成多标签预测模型；本发明所提出的算法能够自动过滤标注信息的噪声，并补全缺失的监督信息，可用于解决获得的数据标签既不完整又包含噪声的多标签学习任务，该算法通过迭代地标签传播，分别从候选标签集和非候选标签集中提取可信标签，能够减轻被错误标记的标签带来的负面影响，并将其作为可靠的标签信息用于后续的模型学习。