漢語的熵及其在語言本體研究中的應用.pdf

1、語言是信息的載體，具有信息屬性。隨著社會信息化程度的不斷提高，運用信息理論和方法研究語言的熵成為語言信息研究的重要任務。目前關于漢語信息熵的研究主要集中在漢語的信息化，卻極少發(fā)現有人運用信息理論來研究語言本體。本文從語言的信息屬性出發(fā)，系統(tǒng)梳理了信息學、語言學、數學、教育學、計算機科學等專業(yè)領域內關于漢語漢字信息熵研究的理論、觀點和方法，結合語料庫語言學闡述了書面漢語的“字熵”、“詞熵”等概念和計算方法。運用書面漢語“字熵”“詞熵”的原

2、理和算法，在經過分詞標注詞性等“熟語料庫”支持下，分別對介詞的語法化、文本風格比較、紅樓夢作者考證等問題進行了“典型案例分析”，為漢語本體和應用研究提供了“信息熵”視角的研究范式。并從信息視角，驗證了齊普夫分布的普遍性，對于縮略、簡稱以及詞匯雙音化等語言演化規(guī)律都將具有令人信服的解釋力。全文共分為五章:第一章導言;第二章漢字的熵及其在漢語本體研究中的應用;第三章漢語的詞熵及其在漢語本體研究中的應用;第四章漢語的熵和齊普夫定律;第五章結論

3、。
　　 第一章從語言的信息屬性入手，對利用熵理論來研究語言本體的可行性、研究的意義、歷史、現狀和存在的問題做了綜述;介紹了本研究的指導理論及研究方法，并對研究過程中的一些問題做了必要的說明。
　　 第二章首先總結了前人關于漢字熵研究的成果和結論，論述了漢字平均熵的測定方法和歷史，對字頻和熵兩種方法做了比較，結合不同類型的漢語抽樣語料進行漢字熵的定量分析，得出了語料的平均字熵，并結合古龍、金庸的武俠作品風格的分析，提出了

4、漢字熵在語言本體研究中的應用方法。
　　 第三章是本研究的重點和中心。詞是語言中最小的可以自由運用的單位。由于書面漢語以漢字為書寫單位，因此，以往都以漢字熵的研究結論代替了漢語的信息熵。本章首先區(qū)分了漢字熵與漢語熵的不同，給出了詞熵的測定數值，并在此基礎上，討論了漢語的冗余度，對詞熵在漢語本體研究中的應用進行了重點闡述，對詞熵在語法化研究、不同語體之間的比較、文本歷時比較、計算風格學等領域中的應用，結合大量的語料庫給出了實證。<