實體識別關(guān)鍵技術(shù)的研究.pdf

1、實體識別在數(shù)據(jù)質(zhì)量管理中起著重要地位。它是數(shù)據(jù)質(zhì)量管理的重要研究方向。在一個或多個數(shù)據(jù)庫中，同一個現(xiàn)實世界實體可能具有多種描述方式。實體識別的目的是識別出數(shù)據(jù)集中描述同一真實世界實體的元組。實體識別的結(jié)果可以在數(shù)據(jù)質(zhì)量管理的其他階段，例如數(shù)據(jù)清洗階段和數(shù)據(jù)質(zhì)量評估階段，得到廣泛應(yīng)用。同一實體具有不同描述的問題在各種應(yīng)用領(lǐng)域的信息系統(tǒng)中普遍存在。由于實體識別在數(shù)據(jù)質(zhì)量管理中具有重要意義，人們已經(jīng)開始了實體識別的研究。盡管現(xiàn)有的方法能夠在很

2、多應(yīng)用中有效的識別實體，但是還存在如下的不足：
　　1.當(dāng)前的實體識別存在重名和異名的問題。重名是指描述現(xiàn)實世界不同實體的數(shù)據(jù)對象的名字相同，而異名是指描述現(xiàn)實世界中相同實體的數(shù)據(jù)對象的名字不同。目前實體識別的研究或是只解決了重名問題，即對名字相同的數(shù)據(jù)對象進(jìn)行實體劃分或是只解決了異名問題，即識別出名字不同但描述相同實體的對象集合，而缺少對一般情況（即重名和異名同時存在的情況）的考慮。
　　2.傳統(tǒng)實體識別方法往往是基于元組

3、的相似性比較來獲得結(jié)果的。它們假設(shè)數(shù)據(jù)集滿足緊湊集性質(zhì)，即指代同一實體的元組的相似度比指代不同實體的元組對的相似度更高。然而，在某些情況下，這樣的性質(zhì)并不成立，則傳統(tǒng)的實體識別方法不能有效地識別實體。
　　3.當(dāng)前實體識別方法中所采用的相似性度量并沒有考慮不同詞之間所具有的相關(guān)性以及某些描述實體重要特征的詞對識別實體的重要貢獻(xiàn)?；诋?dāng)前的相似性度量方法，往往不能得到有效的實體識別結(jié)果。
　　4.目前的數(shù)據(jù)質(zhì)量評估只包括一致性

4、，時效性，完整性和精確性。然而通過實體識別的結(jié)果可以評估另一類數(shù)據(jù)質(zhì)量問題，即指代同一真實世界中的實體的元組在各屬性上的值存在沖突的問題。我們將該問題稱為冗余數(shù)據(jù)上的實體描述沖突問題。當(dāng)前尚無任何評估實體描述沖突的方法提出。
　　綜合上述分析，本文將以信息集成和互聯(lián)網(wǎng)搜索為背景，研究數(shù)據(jù)質(zhì)量管理中實體識別的關(guān)鍵技術(shù)，以最大化實體識別結(jié)果精確度，最小化時間復(fù)雜性為目標(biāo)，研究基于圖模型的實體識別框架、基于規(guī)則的實體識別算法、基于距離度

5、量的實體識別算法和基于實體識別結(jié)果對數(shù)據(jù)質(zhì)量的評估。本文的主要研究成果如下：
　　(1)提出了實體識別問題中的異名和重名同時存在的現(xiàn)象，據(jù)我們所知，這是首次在實體識別問題中考慮這兩類問題同時出現(xiàn)的情況。本文提出了一種普遍適用的實體識別技術(shù)框架EIF，該框架通過將元組之間的相似性關(guān)系轉(zhuǎn)化為圖模型，從而利用圖聚類算法解決實體識別問題?；谒岢龅腅IF框架，本文設(shè)計了識別論文作者的算法。該算法有效地利用了作者名字和合作者信息來實現(xiàn)同時

6、具有異名問題和重名問題的論文集合上的作者識別。實驗結(jié)果表明基于EIF框架的作者識別算法的結(jié)果精確度優(yōu)于現(xiàn)有方法。
　　(2)針對某些難以用元組相似性比較來識別實體的情況，提出了利用實體描述信息所建立的規(guī)則來識別指代相同實體的元組的方法。設(shè)計了實體識別規(guī)則的語法和語義，定義并分析了實體識別規(guī)則系統(tǒng)的獨立性，一致性，完整性和有效性。提出了一種有效的規(guī)則發(fā)現(xiàn)算法和基于規(guī)則的實體識別算法，并對算法的正確性和復(fù)雜度進(jìn)行了分析。最后提出了一個

7、規(guī)則更新策略。在真實數(shù)據(jù)上的實驗對所提出的算法的效率和有效性進(jìn)行了驗證。
　　(3)以詞作為描述實體的特征，分別為元組對上的實體識別和元組集合上的實體識別提出了兩種基于詞特征的距離度量和距離度量的學(xué)習(xí)算法。在算法中，通過將訓(xùn)練集中的元組或元組對轉(zhuǎn)換成以詞為特征的向量，利用學(xué)習(xí)算法計算出基于詞特征的距離度量。在真實數(shù)據(jù)上的擴(kuò)展性實驗對我們所提出的度量學(xué)習(xí)算法的有效性進(jìn)行了驗證。
　　(4)定義了實體描述沖突的數(shù)學(xué)模型。當(dāng)實體識