面向網(wǎng)絡(luò)輿情的哈薩克文熱點詞提取方法研究.pdf_第1頁
已閱讀1頁,還剩50頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)

文檔簡介

1、近年來,隨著互聯(lián)網(wǎng)的迅速普及,整個社會進入了一個信息爆炸的大數(shù)據(jù)時代。新疆是一個有著多個民族聚居的地區(qū),在這里多種語言被廣泛使用。隨著新疆地區(qū)經(jīng)濟和文化的迅速發(fā)展,哈薩克語作為新疆幾大主流語言之一,其使用人數(shù)也在逐年上升,哈薩克文網(wǎng)頁數(shù)量的增長速度也越來越快。如何在海量的哈薩克文網(wǎng)絡(luò)文本中快速準(zhǔn)確的找到人們感興趣的熱點信息成為了關(guān)注的焦點。本文即探討如何對互聯(lián)網(wǎng)上的海量哈薩克文網(wǎng)頁信息進行分析、處理,從而獲取近期流行熱點詞的相關(guān)技術(shù)問題

2、。
  結(jié)合哈薩克文語言特點,對哈薩克文熱點詞提取方法進行了研究。本文從人民網(wǎng)哈語版和天山網(wǎng)哈語版這兩個哈薩克文網(wǎng)站獲取新聞網(wǎng)頁,作為本文的測試語料,經(jīng)過預(yù)處理后引入詞匯信息熵結(jié)合3σ準(zhǔn)則的方法來過濾哈薩克文新聞文本中的“無關(guān)詞”,后續(xù)再通過熱點詞提取算法得到相關(guān)熱點詞。本文的研究內(nèi)容主要包括:
 ?。?)通過查閱文獻(xiàn)及相關(guān)資料簡要總結(jié)和分析了網(wǎng)絡(luò)輿情及熱點詞提取技術(shù)的重要研究背景、意義及研究現(xiàn)狀,對常見的詞匯權(quán)值計算方法進

3、行了相關(guān)介紹。
  (2)利用網(wǎng)絡(luò)爬蟲對哈薩克文新聞網(wǎng)站進行采集獲取真實新聞?wù)Z料,進行正文抽取,去除網(wǎng)頁中的無用信息。后續(xù)對抽取的新聞文本進行分詞、停用詞過濾、詞干提取等預(yù)處理,得到候選熱點詞集合。
  (3)在熱點詞提取過程中,通過分析候選詞集發(fā)現(xiàn),其中含有一定數(shù)量的頻率很低或頻率很高但與表達(dá)實際意義作用不大的詞語,稱之為“無關(guān)詞”。本文利用詞匯的信息熵結(jié)合3σ準(zhǔn)則的方法來剔除哈薩克文新聞文本中的“無關(guān)詞”。實驗結(jié)果表明,

4、此方法可有效過濾這類“無關(guān)詞”。
 ?。?)結(jié)合哈薩克文研究現(xiàn)狀,深入分析了TF-PDF算法,結(jié)合媒體關(guān)注度思想及詞頻位置因子加權(quán)對其進行了改進,構(gòu)造了熱點詞熱度權(quán)值公式L-HKAD(Local-Hot Keywords Attention Degree),來定量的描述候選詞匯受關(guān)注的程度。在此基礎(chǔ)上又利用了詞匯共同出現(xiàn)的頻率信息及其組配相關(guān)度對提取出的熱點詞匯進行了適當(dāng)?shù)慕M合,在一定程度上減少了詞語“分離”現(xiàn)象。
 ?。?

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論