基于Web目錄的輕量級本體自動生成.pdf

1、本體,語義網的基石,是描述網絡資源的詞匯表和知識庫。輕量級本體,作為本體家族中一個嶄新的分支,繼承了“目錄”之一古老的信息組織方式簡單有效的特點,正引起業(yè)界越來越多的注意。對于傳統本體而言,本體的構建是一件枯燥而耗費人力的工作。然而傳統本體本身的復雜性,又使得自動生成本體的嘗試鮮有收獲。幸運的是,隨著輕量級本體的提出和發(fā)展,高質量的本體自動生又重新被提上日程。本文旨在探索如何利用自然語言處理技術,從現有的Web目錄(如Dmoz[1],Y

2、ahooDirectory[2]等)中自動生成輕量級本體。整個生成過程可以概括為,抹平輕量級本體與傳統“目錄”的差異,即進行形式化轉換以及各個層次上的二義性消除。具體來說,輕量級本體的自動生成可分為四個步驟:第一步是目錄標簽級命名實體檢測,以便找出那些自身為原子概念的命名實體標簽。文中提出了基于最大熵分類和基于Web知識兩種方法,其中基于Web知識的方法利用標簽在Web語料中出現是的大小寫信息來判斷標簽是否為命名實體。實現簡單且效果良好

3、,在實驗中取得94.76％的F值,高于最大熵分類的F值93.75％。第二步是目錄標簽的詞性標注。由于目錄標簽中只存在名詞和形容詞,文中使用了條件隨機場訓練二值(名詞/形容詞)詞性標記模型來實現。在實驗中獲得單詞級準確率98.56％,標簽級準確率97.15％,遠高于直接使用OpenNLP[4]工具進行詞性標注和基線系統。第三步是目錄標簽的詞義消歧,這一步是整個系統的瓶頸所在。文中提出了一種新穎的基于Web知識的詞義消歧方法。該方法將待消歧

4、詞的上下文及候選詞義通過Web搜索引擎轉化為向量表示,再根據候選詞義與待消歧詞上下文向量相似度及候選詞義的先驗概率兩個因素的線性組合對候選詞義打分,從而得到消歧結果。在實驗中,我們得到了單詞級83.70％的消歧準確率。雖然考慮語料不同所帶來的性能差異,但這一準確率已經遠遠高于現有在普通文本上的最好消歧性能(根據Senseval-3[3],最好的英文全單詞細粒度消歧準確率為65％)。第四步為目錄標簽的形式化表示——DL表達式的組裝。文中提

5、出了基于依賴語法分析與基于簡單規(guī)則的兩種方法。實驗結果表明,該步驟較為簡單,兩種方法都取得了十分高的準確率。而基于簡單規(guī)則的方法要略勝一籌,其準確率達到99.48％。最后,我們將四個步驟聯合起來測得系統整體的轉化準確率為78.25％,考慮到詞義消歧的困難性,我們認為這一結果是可接受的。在描述了輕量級本體的生成方法之后,本文還介紹了如何應用輕量級本體,提高信息檢索質量及用戶體驗。尤其描述了輕量級本體如何在混合語義檢索中改善用戶體驗,幫助用