古籍智能處理技術(shù)研究——農(nóng)業(yè)古籍自動編纂和自動?？钡难芯?pdf

1、我國古籍數(shù)字化工作起步于20世紀80年代初，至今已經(jīng)取得了令人矚目的成就，主要標志是一批大規(guī)模、基礎(chǔ)性的古籍著作被開發(fā)為真正意義上的數(shù)字化產(chǎn)品，并成功走向市場。相關(guān)研究論文很多，其中主要對古籍數(shù)字化的現(xiàn)狀、發(fā)展趨勢及對策進行了探討，對古籍數(shù)字化取得的成果、數(shù)字化技術(shù)進行了介紹，然而很少見到有關(guān)古籍內(nèi)容的智能化處理方面的研究。由此可見，目前古籍數(shù)字化工作主要集中在數(shù)字化產(chǎn)品的開發(fā)上，對產(chǎn)品開發(fā)過程中涉及的數(shù)字化技術(shù)研究的較多，而對古籍內(nèi)容

2、的智能處理技術(shù)研究的較少． 隨著古籍數(shù)字化的深入發(fā)展，越來越多的研究者認為，古籍數(shù)字化不單是復(fù)制和再現(xiàn)典籍的原貌，而是將現(xiàn)代技術(shù)與傳統(tǒng)內(nèi)容完美結(jié)合在一起，形成工具與內(nèi)容的統(tǒng)一體。數(shù)字化的古籍應(yīng)該是一個增值的信息庫，是古籍整理和學(xué)術(shù)研究的有效工具。提供有關(guān)古籍內(nèi)容本身科學(xué)、準確的統(tǒng)計與計量信息，提供與古籍內(nèi)容相關(guān)的參考數(shù)據(jù)、輔助工具，以提高數(shù)字化古籍的研究支持功能，最后建立一套完整的古籍整理專家系統(tǒng)，這已經(jīng)成為當前古籍數(shù)字化工作的

3、重點內(nèi)容之一。 本文以農(nóng)業(yè)古籍為研究對象，對利用計算機技術(shù)進行農(nóng)業(yè)古籍數(shù)字化的各個方面進行了深入研究，分析探討了古籍數(shù)字化相關(guān)技術(shù)問題，并且就農(nóng)業(yè)古籍整理手段的現(xiàn)代化方面進行了論述，重點研究了農(nóng)業(yè)古籍自動編纂和自動?？奔夹g(shù)及其相關(guān)問題。主要研究內(nèi)容如下： (1)對古籍數(shù)字化相關(guān)技術(shù)進行了系統(tǒng)的介紹和分析。古籍數(shù)字化的關(guān)鍵在于原文的快速錄入、文本字符的數(shù)字化、瀏覽閱讀與超鏈接設(shè)計、檢索功能開發(fā)等方面，農(nóng)業(yè)古籍的數(shù)字化建設(shè)也

4、不例外。本文論述了古籍數(shù)字化的相關(guān)技術(shù)問題，主要包括古籍數(shù)字化的用字和字符集問題，加工存儲技術(shù)，瀏覽閱讀技術(shù)，以及檢索技術(shù)，并對已有的一些智能化處理研究進行了介紹。 文中對古籍數(shù)字化過程中存在的用字和字符集問題進行了分析，指出古籍數(shù)字化應(yīng)選用unicode字符集，采用繁體字進行錄入，并且對繁簡字的轉(zhuǎn)換問題以及缺字問題進行了討論，并給出了解決方案。本文就古籍的掃描步驟、掃描方法以及OCR識別問題逐一進行了分析和介紹。并且指出古籍應(yīng)

5、該統(tǒng)一文本數(shù)據(jù)和圖像數(shù)據(jù)的格式，以數(shù)據(jù)庫存儲為主，為將來資源的共建共享提供便利。超文本的瀏覽閱讀環(huán)境是古籍數(shù)宇化在瀏覽閱讀方面的真正優(yōu)勢，本文就古籍中存在的超鏈接關(guān)系進行了分析，并就如何進行古籍資料庫的超文本標注進行了探討。本文在綜合比較分析了數(shù)字化古籍的三種檢索方式后，指出數(shù)字化的古籍資源應(yīng)以全文檢索為基礎(chǔ)，構(gòu)建一整套包括具有關(guān)鍵詞檢索、條件檢索、邏輯檢索、模糊檢索、組配檢索、屬性檢索等多種功能的檢索系統(tǒng)。 (2)本文嘗試將現(xiàn)

6、代文本自然語言處理的相關(guān)技術(shù)應(yīng)用到農(nóng)業(yè)古籍自動編纂的研究中，提出了農(nóng)業(yè)古籍自動編纂的原理，設(shè)計了自動編纂的流程，并對自動編纂的技術(shù)和算法進行了深入的探討和研究。 農(nóng)業(yè)古籍自動編纂是指利用計算機自動從農(nóng)業(yè)古籍中發(fā)現(xiàn)并摘錄與某一主題相關(guān)的農(nóng)業(yè)資料，并編纂成冊。自動編纂涉及自動分詞、篇章分割、段落檢索、自動聚類等技術(shù)。它的基本原理為：如果兩個句子包含相同的單詞越多，那么它們的關(guān)系越密切，然后根據(jù)句子間的密切關(guān)系劃分出句群。如果發(fā)現(xiàn)某一

7、句群包含編纂主題，則將其摘錄出來。主要的摘錄步驟為：首先將農(nóng)業(yè)古籍的章節(jié)分割成大小相等的子句；其次利用最大匹配分詞技術(shù)，提取子句關(guān)鍵詞；然后根據(jù)文本塊比較法，計算子句之間的緊湊度和深度值，并計算深度值的均值μ和標準方差σ，選擇所有深度值高于μ-C*σ的子句間隔點作為分割點；最后按照分割點提取相關(guān)論題句群，并將編纂結(jié)果按照相關(guān)性大小排序輸出。若同一編纂主題的編纂結(jié)果過多，為了方便用戶選擇，本研究采用以詞為中心的動態(tài)自動聚類技術(shù)，將編纂結(jié)果

8、分類顯示．此外，本研究還通過構(gòu)建農(nóng)史語詞知識庫，采用超鏈接技術(shù)，為編纂結(jié)果自動添加語詞注釋，增加編纂結(jié)果的可閱讀性。 (3)?？笔枪偶淼闹匾绞?，以前長期以手工進行操作，將計算機技術(shù)引入其中，實現(xiàn)自動?？笨梢詷O大的提高校勘工作的效率，本文就農(nóng)業(yè)古籍自動校勘算法及其相關(guān)問題進行了設(shè)計和研究。 古籍自動校勘是指利用計算機自動發(fā)現(xiàn)并標記出古籍不同版本之間的文字差異，并提供各種?？陛o助工具以幫助專家勘誤。本文在模式匹配和中文

9、文本自動校對的基礎(chǔ)上，設(shè)計了基于窗口匹配技術(shù)的古籍自動?？彼惴?。它的基本原理為：從底本和對校本中取出大小相等的字串進行比較，如果它們不相等，則將其切分成子串再進行比較，并根據(jù)校本串相對于底本串出現(xiàn)的增、刪及取代的情況，分別判斷為衍文、脫文和錯文；如果它們相等，則跳過相等部分，重新取出底本串和校本串，重復(fù)前面的步驟進行比較．農(nóng)業(yè)古籍自動?？币笤陲@示異文的基礎(chǔ)上，由機器作簡單的判斷，或者提供輔助工具(如避諱字表、異體字表等)，幫助?？睂＜?/p>

10、進行判斷和選擇。因此，古代官名表、人名表、地名表、避諱字表、異體字表、繁簡字對照表等輔助工具的建設(shè)和引入是古籍自動?？钡闹匾M成部分，文中詳細分析了各輔助工具的構(gòu)建方法。此外，本文還探討了利用古籍中的“互見文獻”進行自動?？钡哪Ｊ胶头椒?。 (4)構(gòu)建農(nóng)業(yè)古籍智能處理系統(tǒng)亦是本文的重要研究內(nèi)容，該系統(tǒng)主要由自動編纂、自動?？焙洼o助工具三個子系統(tǒng)組成．其中輔助工具子系統(tǒng)除了包含上述輔助工具外，還增加了中國歷代紀年表，中國歷代帝王年表

11、，中國歷代年號索引表等。本文詳細闡述了這三個子系統(tǒng)的總體設(shè)計及實現(xiàn)情況，包括資料收集、功能模塊結(jié)構(gòu)等，并分別對自動編纂和自動?？钡男ЧM行了測試。 本研究采用人工打分的方法對自動編纂的結(jié)果進行了測試，結(jié)果表明良好的編纂結(jié)果占到了72.2％，編纂的效果比較令人滿意。同時，本文采用定量的方法，對自動?？钡慕Y(jié)果進行了測試，發(fā)現(xiàn)系統(tǒng)對不同版本間異文比對的召回率和精確率，分別達到了92.3％、95.2％，說明基于窗口匹配的算法是可行的。當

12、然，本系統(tǒng)仍存在一些不足，自動編纂和自動?？钡男Ч€有待提高，輔助工具的建設(shè)以及實驗系統(tǒng)的整體功能還有待完善本文將現(xiàn)代文本自然語言處理的相關(guān)技術(shù)在農(nóng)業(yè)古籍的智能化整理中加以應(yīng)用，其創(chuàng)新之處包括： (1)結(jié)合古農(nóng)書自身的特點，借鑒自動分詞、篇章分割和段落檢索等技術(shù)，設(shè)計了農(nóng)業(yè)古籍自動編纂的模型，并對其中的關(guān)鍵技術(shù)進行了深入的分析和研究，如論題句群提取、編纂結(jié)果聚類顯示等，實現(xiàn)了農(nóng)業(yè)古籍自動編纂的功能，使古籍智能化處理工作向前推進了