面向領(lǐng)域知識庫構(gòu)建的垂直眾包系統(tǒng)研究.pdf

1、隨著科技的不斷發(fā)展，領(lǐng)域文獻和術(shù)語詞典不斷累積，將非結(jié)構(gòu)化的領(lǐng)域文獻轉(zhuǎn)變?yōu)榻Y(jié)構(gòu)化的知識庫日益成為知識工程的研究重點。然而，現(xiàn)階段特定領(lǐng)域知識庫構(gòu)建往往缺乏相應(yīng)的信息抽取和標注工具，已有的人工抽取和機器自動抽取方案面臨著高額的人力成本或者抽取結(jié)果不佳的問題，并不能很好地滿足知識庫構(gòu)建需求，因此需要將群體加工和機器抽取結(jié)合起來，構(gòu)建一個面向領(lǐng)域知識庫的垂直眾包系統(tǒng)。
　　本文主要研究了領(lǐng)域知識庫構(gòu)建的兩個方面:一個是如何將領(lǐng)域已有的文

2、獻文檔以及術(shù)語描述信息轉(zhuǎn)換為該領(lǐng)域的知識元組，另一個是如何高效地利用領(lǐng)域文獻來增量式地填充和豐富該領(lǐng)域的知識庫。為了實現(xiàn)上述目標，本文設(shè)計并研發(fā)了一個面向領(lǐng)域知識庫構(gòu)建的垂直眾包系統(tǒng)。該系統(tǒng)接受領(lǐng)域術(shù)語詞典和文獻作為輸入，同時支持多人參與構(gòu)建領(lǐng)域知識庫。主要工作如下:
　　1)為了獲取足夠多的領(lǐng)域文檔以及相關(guān)領(lǐng)域術(shù)語，本文實現(xiàn)了一個自動爬取領(lǐng)域文檔的簡易爬蟲框架，并且基于已有領(lǐng)域詞典爬取了百度百科所有相關(guān)InfoBox信息，經(jīng)過數(shù)

3、據(jù)清洗后作為領(lǐng)域的預(yù)備知識。
　　2)針對領(lǐng)域文檔信息的預(yù)處理和領(lǐng)域元組信息提取問題，本文在哈工大LTP的文本信息處理方案的基礎(chǔ)上，提出了基于多策略的元組信息提取方案。
　　3)為了高效獲取用戶協(xié)作數(shù)據(jù)，針對領(lǐng)域文檔的特性，本文提出了基于宏觀任務(wù)的眾包任務(wù)調(diào)度方案，并且基于譜方法優(yōu)化改進了目前常用的眾包質(zhì)量控制策略。
　　4)面向地質(zhì)科技領(lǐng)域知識庫構(gòu)建，設(shè)計實現(xiàn)了該領(lǐng)域的垂直眾包系統(tǒng)，提供了文檔信息管理、在線協(xié)作編審、