技术摘要：
本发明提供了一种特征信息存在噪声的偏多标记学习方法。该方法包括：构建包含噪声的观测的特征信息矩阵，构建标签置信度矩阵；利用低秩稀疏表示模型将特征信息矩阵分解为稀疏噪声矩阵和正确的特征信息矩阵，利用稀疏噪声矩阵、正确的特征信息矩阵和观测的特征信息矩阵  全部
背景技术：
随着互联网技术的发展，数据量急剧增大，需要标注的数据也在快速增长。本身标 注多标签数据非常耗时，数据量的进一步增大，导致标注者只能粗略的标注数据，致使数据 的候选标签集中除了相关标签外还包含少量不相关标签，利用这类不精确标注的数据构建 有效的学习模型被定义为偏多标签学习，该问题是目前机器学习的研究热点。 虽然偏多标签学习刚出现不久，但已有不少方法被提出来解决这一问题，其中一 些工作试图通过嵌入特征信息来处理偏多标签学习问题。有方案提出将标签冗余问题定义 为偏多标签学习问题，利用特征信息来学习标签置信度，通过标签置信度完成标签排序，从 而得到正确的标签。另一种方案提出了一种基于特征诱导的偏多标签学习算法，该算法利 用标签与特征之间的潜在依赖关系识别噪声标签，并训练预测模型。利用标签与特征之间 的依赖关系得到标签置信度，然后基于得到的标签置信度，提出了梯度增强算法来学习预 测模型。另外，还有方案利用标签关系来处理偏多标签学习问题。提出了一种两阶段的偏多 标签学习方法，该方法在第一阶段通过迭代标签传播估计每个训练示例的候选标签的标签 置信度，第二阶段利用具有高标签置信度的可信标签，通过虚拟标签分裂或最大后验推理 对标签进行两两排序，得到标签预测器。还有方案利用低秩稀疏分解模型将观测的候选标 签矩阵分解为低秩的真实标签矩阵和稀疏的噪声标签矩阵，引入最小二乘损失函数学习特 征映射矩阵。 上述现有技术中的偏多标签学习方案的缺点包括：有方案只是单纯地利用标签关 系来学习偏多标签学习分类器。还有方案虽然引入特征信息这类辅助信息来完成分类器的 学习，但却忽视了特征信息存在噪声的情况。由于遮挡，镜面反射及图像噪声等情况造成的 特征信息存在噪声的问题普遍存在于现实应用中，并且噪声的存在会导致标签信息出错， 最终会影响偏多标签学习方法的性能。如何有效的去除特征信息中的噪声并充分利用特征 信息完成偏多标签学习模型的训练是目前的研究难点。
技术实现要素：
本发明的实施例提供了一种特征信息存在噪声的偏多标记学习方法，以克服现有 技术的缺点。 为了实现上述目的，本发明采取了如下技术方案。 一种特征信息存在噪声的偏多标记学习方法，包括： 构建包含噪声的观测的特征信息矩阵，构建标签置信度矩阵； 利用低秩稀疏表示模型将所述特征信息矩阵分解为稀疏噪声矩阵和正确的特征 信息矩阵，利用所述稀疏噪声矩阵、正确的特征信息矩阵和观测的特征信息矩阵构建多标 6 CN 111581466 A 说　明　书 2/13 页 记预测模型； 利用所述标签置信度矩阵对所述多标记预测模型进行优化，得到构建嵌入了特征 信息和标签置信度的混合模型，对所述混合模型进行训练得到偏多标签学习模型； 利用训练好的偏多标签学习模型对未见示例进行预测，预测出所述未见示例对应 的标签。 优选地，所述的构建包含噪声的观测的特征信息矩阵，构建标签置信度矩阵，包 括： 构建包含噪声的观测的特征信息矩阵 其中m表示样本数目，n表示特征向 量的维数，对特征信息矩阵X中的特征数据进行归一化处理，构建包含冗余标签的标签矩阵 Y∈{0,1}m×l，其中m表示样本数目,l表示标签数目，其中yij＝1表示示例xi标注了标签yj；yij ＝0，表示示例xi没有标注标签yj； 构建标签置信度矩阵P∈[0,1]m×l,其中pik代表标签yk是样本xi的真实标签的置信 度。 优选地，所述的利用低秩稀疏表示模型将所述特征信息矩阵分解为稀疏噪声矩阵 和正确的特征信息矩阵，利用所述稀疏噪声矩阵、正确的特征信息矩阵和观测的特征信息 矩阵构建多标记预测模型，包括： 利用低秩和稀疏分解方法将观测的特征信息矩阵X分解为低秩无噪声的正确的特 征信息矩阵D和稀疏噪声矩阵Τ，X＝D T，其中 是一个正确的特征信息矩阵， 是稀疏噪声矩阵，包含特征信息中的异常值； 设多标记预测函数f＝[f1 ,,f2,…fl]由l个函数组成，每个函数对应一个标签，每 个预测函数 为线性函数，定义为fi(X)＝Xwi，将多标记预测模型的参数定义为： 引入损失函数 来学习得到预测模型W，遵循传统的机 器学习规则，通过解决以下问题来训练预测模型W: s.t.X＝D T 引入核范数来约束预测模型W。 优选地，所述的利用所述标签置信度矩阵对所述多标记预测模型进行优化，得到 构建嵌入了特征信息和标签置信度的混合模型，包括： S2-2：引入标签置信度矩阵P取代原本的标签矩阵Y来训练预测模型W，约束标签置 信度矩阵标签置信度矩阵P需要满足以下条件： 4.每个候选标签都有成为相关标签的概率，每个候选标签的置信度位于[0,1]之 间； 5.每个非候选标签的置信度为0，标签置信度矩阵P小于观测的标签矩阵Y； 6.利用约束 来保证每个候选标签集中的相关标签数量至少为一个； S2-3：标签置信度矩阵P与训练数据的特征信息保持一致，即若两个样本相似，相 7 CN 111581466 A 说　明　书 3/13 页 应的两个样本的标签也一致，定义相似性矩阵S，其中Sij为训练示例di与dj之间的相似度， 如果 或者 表示当 是d的k个近邻 元素之一，里k和σ根据经验分别设置为0.01和1，得到了关于标签置信度矩阵P的以下正则 项： 其中 是图拉普拉斯矩阵，E是对角矩阵且 通过将损失函数项中的Y替换为P，将特征信息和标签置信度矩阵正则项联合建 模，构建嵌入特征信息和标签置信度的混合模型，该混合模型的公式定义如下： 其中α、β、γ和η是保持模型平衡的调节参数。 优选地，所述的对所述混合模型进行训练得到偏多标签学习模型，包括： S3-1：在固定P的情况下，其余的参数项用增广拉格朗日乘子法来求解，当固定W、D 和T时，用二次规划优化P，模型初始化，按以下规则初始化参数模型： W＝zeros(n,l) D＝X T＝zeros(m,l) P＝Y S3-2:固定P，采用拉格朗日乘子法法求解D、T和W优化问题表示为： s.t.X＝D T 上述优化问题是凸的，引入等价替换变量，把上述优化问题转换成下面的等价问 题: s.t.X＝D T；W＝J；D＝K 将上述等价问题用ALM方法来解决，最小化以下的增广拉格朗日函数： 8 CN 111581466 A 说　明　书 4/13 页 其中 和 是拉格朗日乘子矩阵，μ1、μ2和μ3是惩罚参 数，根据LADMAP方法该公式进一步改写为： 上述公式通过以下子问题迭代求解： 第一步：固定D、T、J和K，更新W的优化问题为： 这是一个最小二乘回归问题，直接求导得W的解： W＝(KTK μI )-12 m (μ2J KTP-Y2) 第二步：固定D、T、K和W，更新J的优化问题等价于如下公式： 通过计算W Y2/μ2的奇异值分解(SVD)，得到J的最优解； 第三步：固定T、J、K和W，更新D的优化问题等价于如下公式： 通过计算μ2(X-T) Y2 μ3K-Y3的奇异值分解，对奇异值进行一些软阈值化处理,得 到D的解； 第四步：固定D、J、K和W，更新T的优化问题如下： 其中 是收缩算子； 第五步：固定D、T、J和W，更新K的优化问题是最小二乘问题，与W的求解一样，求导 得K的解； 第六步：根据LADM方法对拉格朗日乘子矩阵和惩罚参数进行更新： 9 CN 111581466 A 说　明　书 5/13 页 S3-3:固定D、T、J、K和W，更新P的优化问题为： 该公式是一个有约束的凹凸问题，约束是线性的，使用CCCP准则来更新P，得到局 部最优的 通过将 改为 得到最终更新的标签置信度矩阵P； S3-4：重复S3-2到S3-3，不断交替更新参数W、D、T和P，直到满足迭代停止条件，混 合模型收敛，得到训练好的偏多标签学习模型 优选地，所述的迭代停止条件为目标函数值小于某个预设定阈值，或者W、D、T和P 的每一位都不再发生变化；或者达到迭代的最大次数。 优选地，所述的利用训练好的偏多标签学习模型对未见示例进行预测，预测出所 述未见示例对应的标签，包括： 利用训练好的偏多标签学习模型W'对未见示例xi进行预测，将未见示例xi输入到 训练好的偏多标签学习模型W*，计算出预测值y＝xiW'，y包含有l个值，分别对应l个标记，将 预测值y中的l个数值由高到低进行排序，选择排在前设定名称的数值，确定这些前设定名 称的数值对应的标记为未见示例xi对应的标记。 由上述本发明的实施例提供的技术方案可以看出，本发明实施例公开了一种特征 信息存在噪声的偏多标签学习方法，该方法可以去除训练示例特征信息中的噪声和异常 值，同时训练出鲁棒的偏多标签分类器用于未标注示例的预测。在来自不同领域的十个数 据集上进行的大量实验证明了本发明的有效性。 本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变 得明显，或通过本发明的实践了解到。 附图说明 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用 的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的 附图。 图1为本发明实施例提供的一种特征信息存在噪声的偏多标签学习方法的处理流 程图； 图2为本发明实施例提供的一种嵌入特征信息和标签置信度的混合模型的训练工 作流程图； 10 CN 111581466 A 说　明　书 6/13 页 图3为本发明实施例方法与现有多标签学习及偏多标签学习方法的对比实验结 果。