基于生物醫(yī)學(xué)文獻(xiàn)數(shù)據(jù)的命名實(shí)體識(shí)別并行算法研究.pdf

1、在信息爆炸的時(shí)代，隨著電子文本的廣泛應(yīng)用，海量數(shù)據(jù)給人們快速有效地獲取有用信息及相關(guān)知識(shí)帶來(lái)了嚴(yán)峻的挑戰(zhàn)，特別是對(duì)包含領(lǐng)域內(nèi)大量成果和實(shí)驗(yàn)發(fā)現(xiàn)的文獻(xiàn)記錄的信息獲取。文本挖掘技術(shù)作為此領(lǐng)域的研究熱點(diǎn)之一，可以快速有效地在海量的文獻(xiàn)數(shù)據(jù)中獲取相關(guān)知識(shí)。它是一個(gè)與自然語(yǔ)言處理、信息檢索、信息抽取、數(shù)據(jù)挖掘、計(jì)算語(yǔ)言學(xué)、機(jī)器翻譯、組塊分析等相關(guān)領(lǐng)域交叉的學(xué)科。作為文本挖掘技術(shù)的重要基礎(chǔ)，命名實(shí)體識(shí)別旨在定位并分類文本中帶有特殊意義的原子元素。<

2、br>　　在生物醫(yī)學(xué)領(lǐng)域，由于命名實(shí)體本身存在著特殊性和復(fù)雜性，基于生物醫(yī)學(xué)文獻(xiàn)的命名實(shí)體識(shí)別工作一直存在精度和效率的兩難問(wèn)題。目前采用機(jī)器學(xué)習(xí)策略和探索豐富特征集等方法已比較成熟，對(duì)生物醫(yī)學(xué)命名實(shí)體識(shí)別的精度有著良好地提高，然而其效率問(wèn)題卻愈來(lái)愈突出，特別是在面對(duì)大規(guī)模文獻(xiàn)數(shù)據(jù)集時(shí)，單機(jī)環(huán)境下模型訓(xùn)練過(guò)程和模型推斷過(guò)程的計(jì)算時(shí)間呈非線性增長(zhǎng)，生物醫(yī)學(xué)命名實(shí)體識(shí)別耗時(shí)巨大。因此，為了促進(jìn)相關(guān)文本挖掘技術(shù)的發(fā)展，研究如何提高其命名實(shí)體識(shí)別

3、效率具有重要的理論意義和現(xiàn)實(shí)意義。它為該領(lǐng)域的科學(xué)家提供了高效的研究工具，讓其專注于更高意義上的工作；同時(shí)，本研究對(duì)于其他領(lǐng)域的類似工作也有著一定程度上的指導(dǎo)作用。
　　本文通過(guò)對(duì)生物醫(yī)學(xué)命名實(shí)體識(shí)別常用方法的總結(jié)和分析，針對(duì)條件隨機(jī)場(chǎng)模型訓(xùn)練算法面對(duì)大規(guī)模數(shù)據(jù)傳統(tǒng)單機(jī)處理性能低下的問(wèn)題，本文提出了一種基于第二代 Hadoop平臺(tái)的條件隨機(jī)場(chǎng)模型訓(xùn)練并行優(yōu)化算法：CRFs-L-MapReduce。CRFs-L-MapReduce并

4、行優(yōu)化了條件隨機(jī)場(chǎng)訓(xùn)練算法的參數(shù)估計(jì)步驟，提高了基于條件隨機(jī)場(chǎng)命名實(shí)體識(shí)別的訓(xùn)練速度。實(shí)驗(yàn)表明在基于大規(guī)模生物醫(yī)學(xué)訓(xùn)練數(shù)據(jù)集下，CRFs-L-MapReduce比傳統(tǒng)單機(jī) CRFs訓(xùn)練算法具備更快的收斂速度，效率提高約4.4~7.4倍，并且 CRFs-L-MapReduce隨著集群性能的提高其訓(xùn)練效率也隨之提高，具備良好的擴(kuò)展能力。
　　此外，通過(guò)對(duì)條件隨機(jī)場(chǎng)模型推斷算法執(zhí)行流程進(jìn)行深入分析，結(jié)合當(dāng)前流行的大數(shù)據(jù)處理技術(shù)，提出了一

5、種基于內(nèi)存計(jì)算的條件隨機(jī)場(chǎng)模型推斷并行優(yōu)化算法：CRFs-V-Spark。Spark平臺(tái)得益于其在迭代計(jì)算和內(nèi)存計(jì)算上的優(yōu)勢(shì)，可以自動(dòng)調(diào)度復(fù)雜的計(jì)算任務(wù)，避免中間結(jié)果的磁盤讀寫和資源申請(qǐng)過(guò)程，非常適合大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)。CRFs-V-Spark不僅能夠兼容第二代 Hadoop集群，而且還利用內(nèi)存計(jì)算資源靈活高效地處理海量數(shù)據(jù)。實(shí)驗(yàn)表明，本文所提出的CRFs-V-Spark的識(shí)別時(shí)間遠(yuǎn)低于單機(jī) CRFs推斷算法，識(shí)別效率提高約