多标签分类算法(基于联合概率的多标签分类算法)

传统分类主要研究如何将每一条数据更准确地分类到预定义的类别中。如果只有一个候选类别，问题是它是否属于该类别；如果有多个类别，问题是选择一个类别作为输出。这种问题称为单标签问题。

多标签问题和单标签问题有本质区别：数据可以同时属于多个类别。目前，解决多标签分类主要有两种方法：问题转化和算法自适应。k最近邻是一种惰性学习方法。张等人[2]提出了基于二值相关的多标签近邻算法，该算法通过最大后验概率处理多标签分类问题。但是，在计算是否包含标签时，该方法仅考虑实例的k个邻居中的标签数量，而忽略标签之间的相关性。王霄等人[4]改进了MLkNN算法。基于二阶策略，他们通过标签的共现来度量标签之间的相关性。然而，这种方法的性能太依赖于阈值的选择，并且不可能学习阈值。本文提出的Rmlknn(相关多标签knn)算法在通过训练集求解条件概率时，计算训练样本k个最近邻中标签的联合概率分布，并充分考虑标签之间的相关性。在多个数据集上的实验结果表明，该算法优于多层神经网络算法。

1相关工作1.1多标签问题的描述

为了获得多标签问题的正式描述，下面给出了以下定义。定义1个属性集A={A1，A2，…，安}。An表示第n个属性，ai的值Ai可以是离散的或数字的。

定义2个标签集L={l1，l2，…，lq}。Lq代表第q个标签，训练样本的标签值是非空的l子集。定义3训练集X={ x1，x2，…，xm}，xm代表第m个训练样本，其中xm=(a1，a2，…，an，ym，ym)是样本xm的标签值，它是非空的l子集。

多标签分类问题可以描述为：从训练集X,得到分类模型fxy，其中yL是给定未知分类数据x的标签集Y。

1.2多标签分类算法简介1.2.1问题转化方法

这种方法利用单标签分类方法处理多标签问题，将转化多标签问题转化为一个或一组单标签问题。LP (Label Powerset)通过二进制编码将训练集中的一组标签作为一个类别，而转化将多标签问题作为单标签分类任务。根据对的一项测试数据，LP产生了一个最有可能的类别，即一组标签。然而，该方法的复杂度上限达到0(最小(n，2k)，其中n是实例的数量，k是转化[5]之前的标签的数量。BR是一种流行的方法，它将每个标签视为一个独立的单一分类问题。它为每个标签生成两个分类器，每个未分类数据的结果是这两个分类器结果的联合。该方法假设标签彼此独立，并且不考虑标签之间的相关性。赫尔梅尔等人[6]提出了标记对比的方法。对的k标签生成Ck2二进制分类器，然后通过投票决定两个标签中的一个i和j给出未分类数据。Furnkranz等人[7]指出，投票法没有零点来区分相关标签和不相关标签，这增加了人工校准，但增加了算法的复杂性。1.2.2算法适应方法

算法自适应的主要思想是改进常用的单标签算法来处理多标签问题。Clare等人[8]利用C4.5算法和扩展熵处理多标签问题，并基于熵计算信息增益，从而建立决策树。AdaBoost。MH和AdaBoost。沙皮雷先生等。[9]扩展AdaBoost算法。AdaBoost。MH在每次迭代中改进对的错误分类标签，而AdaBoost。磁共振在每次迭代中改进了对的误报标签。基于树的针对提升方法易于在小数据集上过度拟合[10]。Elisseeff等人[11]提出了一种支持向量机方法。张等[2]2038-2048提出了MLkNN算法，通过统计k个邻域中包含的标签信息，以最大后验概率的方式预测未分类数据的标签组合。该方法通过比较包含标签i的概率和不包含标签i的概率来判断标签I是否被包含。该算法独立判断每个标签，不考虑标签之间的相关性。在多标签分类问题中，标签之间的相关性是不可忽视的。本文提出的RMLkNN算法计算训练样本的K个最近邻中标签的联合概率分布，并充分融合标签之间的相关性。2RMLkNN算法

本文提出的RMLkNN算法是在张等人提出的mllknn算法的基础上发展起来的。本章简要介绍了mllknn算法，然后详细介绍了RMLkNN算法的基本思想并给出了描述。2.1 mlkn简介

MLkNN计算训练样本中每个实例的k个最近邻(kNN实例)的数量，并通过最大化后验概率来预测未分类的实例。