基于聚類的英漢人名消歧研究.pdf

1、命名實體消歧是自然語言處理的一個重要問題，在命名實體類別中，人名具有很強的歧義性，導(dǎo)致人名消歧是命名實體消歧任務(wù)中較難處理的一類。人名消歧主要應(yīng)用于搜索引擎、社交網(wǎng)絡(luò)和人名知識庫構(gòu)建等。由于人名歧義問題仍存在巨大挑戰(zhàn)性，國際學(xué)術(shù)界在ACL-SemEval2007，WWW2009和CLEF2010已經(jīng)分別組織了三次英文人名消歧評測(Web People Search，WePS)，一次中文人名消歧評測(The FirstCIPS-Sigha

2、n Joint Conference on Chinese Language Processing Task3，CIPS-Sighan2010 bakeoff-3)。本文采用自底向上層次聚類(Hierarchical Agglomerative Clustering，HAC)開發(fā)了一個英文人名消歧系統(tǒng)，此外，采用兩步仿射傳播(Affinity Propagation，AP)實現(xiàn)了聚類一個中文人名消歧系統(tǒng)。
　　 本文首先重點介紹

3、了WePS和CIPS-Sighan2010 bakeoff-3相關(guān)工作，包括評測語料(訓(xùn)練集與測試集)、評估指標(biāo)、baseline系統(tǒng)、參賽隊伍評測情況以及常用人名消歧技術(shù)等。
　　 英文人名消歧中首先抽取出各種特征，再通過詳細(xì)實驗選取有效的特征，然后采用融合多特征技術(shù)來提高消歧效果。本文采用比較成熟的自底向上層次聚類算法(HAC)實現(xiàn)英文人名消歧，與其它系統(tǒng)不同的是本文采用相似度函數(shù)是平均連通相似度函數(shù)。實驗結(jié)果表明平均連通相

4、似度函數(shù)相對于單連通相似度函數(shù)的性能有所提高。
　　 中文人名消歧中采用一種跳躍距離樹算法抽取人名的上下文N-Gram字符做作為特征詞，相似度度量計算采用改進后的詞頻-逆文檔頻率(TF*IDF)。同時該方法也解決中文分詞的問題，從而實現(xiàn)對干擾文檔的識別。對于中文人名消歧中聚類算法，本文采用兩步仿射傳播聚類算法，其中第一步保證較高的準(zhǔn)確率，第二步聚類主要提升系統(tǒng)召回率。實驗結(jié)果顯示兩步聚類明顯提升實驗結(jié)果，診斷測試實驗結(jié)果說明了中