基于层次过滤的中文指代消解(基于决策树的中文指代消解)
参考文献解析技术对在自然语言处理的自动文摘和信息抽取中具有重要意义。解决回指解析的关键技术是词性标注、命名实体识别、名词短语识别等相关技术。虽然提出了16个特征,但只有6个用于构造决策树,因此选择的特征越多,回指消解的效果越好。根据语言经验,选择适合决策树方法的特征属性可以保证正确的识别率。通过参考国内外文献中选取的特征向量,并分析对和中文,的语法和句法,我们选取了六个特征来构造特征向量。
参考文献解析技术对在自然语言处理的自动文摘和信息抽取中具有重要意义。解决回指解析的关键技术是词性标注、命名实体识别、名词短语识别等相关技术。
中文回指消解的特点主要有:李国臣和罗云飞利用决策树方法提出了反映回指相似性的距离属性和频率属性相结合的优先选择策略,主要通过明显的性别特征词来识别;北京大学王厚峰[2]提出的收养特征可以借鉴:性别、单数和复数;哈尔滨理工大学的郎君,刘挺和秦兵[3]提出了16个特征来构造特征向量。虽然提出了16个特征,但只有6个用于构造决策树,因此选择的特征越多,回指消解的效果越好。根据语言经验,选择适合决策树方法的特征属性可以保证正确的识别率。
2名词短语特征向量
通过参考国内外文献中选取的特征向量,并分析对和中文,的语法和句法,我们选取了六个特征来构造特征向量。
2.1专有名词属性
每个名词短语本身的属性。先行词一般是名词性短语,如人名、地名、机构名、时间、一般代名词,分别用h、p、o、t、d和g等符号表示。不同类型的先行词对应该有不同类型的回指。
Groupi/n}G{示例:{ representative/v(n-VG)} Q 宁夏/ns} P { 530万/m } Q { ethical groups/r } D { people/n } Q { deep情意/i's/u (d-ng-u) 50,000 /m kg /q质量/b } Q {/ns } P { railway station/n } G { shipping/vshang/v(f-Ng-v)} Q { train/n(n-Q-v)} G,{/w紧急/ad to
2.2性别属性
先行词和代词的性别属性值为男性、女性和不确定性,分别用符号M(男性)、F(女性)和U(未知)表示。人称代词和相应先行词的性别必须一致;性别不一致应排除在对之外当个人经历的性别信息不明确时,不能排除。
有很多方法可以确定一个名词短语的性别。指示语或代词如“他”、“她”和“它”可以用来确定性别。汉语针灸有以下几种方式来判断对的性别:
(1)男性判断:当短语中出现“他”、“哥哥”、“爸爸”、“爸爸”、“哥哥”、“爷爷”、“叔叔”或“叔叔”时,性别被认为是“男性”;(2)名词中有一组表示男人的词,如“丈夫”、“先生”、“侄子”、“孙子”、“侄子”、“长子”等;名词的第一个词或其前面的“男性”被记录为m
(2)女性判断风格:如果短语中含有“她”、“妈妈”、“姐姐”、“姐姐”、“妈妈”、“牛奶”、“阿姨”或“阿姨”,则认为该性别为“女性”;(2)代表妇女的词的集合,如“妻子”、“妻子”和“女孩”;汉语常用“她”和“母亲”等代词代表祖国。例如,“2009年10月1日,我们伟大的祖国庆祝了她的60岁生日。”
以上是确定性别的方式,其他情况可视为“不确定”,如“你”、“我”、“你”和“我们”。
根据对对,句法和语法的分析,可以看出代词如“他”应该指代表男性的命名实体,而代词如“她”应该指代表女性或国家的命名实体。
2.3单一复数属性
先行词和代词的单数和复数属性分为单数、复数和不定,分别用符号S(单)、P(复数)和U(未知)表示。“数”是判断指称关系的重要依据。
(1)单数格:主语是一个名词,代表一个单一的概念,如姓名、机构、地点、距离、时间和长度;短语有“他”、“我”、“她”、“它”等。独立名词,如“王"先生”和“李",总统”可视为单数。
(2)复数形式:如果短语包含“人”、“和”、“和”等。出现下列量词,如“帮”、“群”、“班”、“批”、“家”、“帮”、“排”、“对”、“代”和“等”。“父母”和“夫妇”被认为是复数。以上是确定单数和复数的方法,其他情况可视为“不确定”。在分词工具ICTCLAS中,对量词也被标记,其中M代表数字,mq代表量词。
2.4距离属性
反映先行词和指示代词之间的距离,I和j在同一个句子中为0,在相邻句子中为1,在间隔句中为2,依此类推。
2.5缩写匹配属性
如果两个名词短语相同或有缩写关系,它们就有共指关系,可能的值是“真”(t)或“假”(f)。有以下几种情况:
(1)如果I和j相同,则为真,否则为假。
(2)如果j是I的子串缩写,则为真,否则为假(I是ABCDE,j是BCD)。例如:“作为香港,一家国际贸易公司的代表,我在越南的一家股份公司工作。我的经验是,我们公司[J]正在牵线搭桥,准备在越南,拍摄一部国际题材的电影,准备在世界各国放映,预计将获得两倍的利润。”
(3)摘抄缩写I和J。J是I的缩写(I是ABCDE,J是ACE),如:“胡锦涛总书记在庆祝政协人民共和国成立60周年大会上的重要讲话,内涵丰富,思想深刻,论述精辟,是指导新时期政协人民工作的纲领性文件。学习胡总书记讲话精神,为政协不断提高履行职能能力指明了方向。”胡锦涛总书记和胡总书记指的是同一个实体。(节选)