大規(guī)模Web文本快速分類關鍵技術研究.pdf

1、互聯(lián)網(wǎng)上的以 HTML網(wǎng)頁文本形式承載的信息，呈現(xiàn)出大規(guī)模爆炸形式的劇增，不只對分類精度提出了新的要求，更重要的是重新定義了分類速度的標準和要求。以往關于文本分類的研究側重于算法的精細設計以提高分類精度，而現(xiàn)在除了對精度有所要求，對于分類速度快速提升的需求尤其迫切。面對互聯(lián)網(wǎng)快速發(fā)展時期的這一新的挑戰(zhàn)，本文對大規(guī)模 Web文本快速分類過程中的若干關鍵問題展開了深入的研究，取得了具有一定借鑒意義的進展。
　　本文研究了相關經典的網(wǎng)頁

2、正文提取技術，發(fā)現(xiàn)大多數(shù)算法是需要分析 HTML標簽意義或者 HTML結構特點的，而這個分析過程會非常耗費時間。本文提出了基于窗口長度的最長連續(xù)串的提取算法。該算法無需分析具體 HTML標簽意義和結構，只是根據(jù)字符串的長度的特點就可以求出正文所在的位置。提取出網(wǎng)頁正文文本后，由于互聯(lián)網(wǎng)上有很多文本信息是重復的或者是相似的，為了降低計算量，需要做文本去重。算法Simhash是大規(guī)模網(wǎng)頁去重的經典算法，但它是針對詞語的組合形式，對于詞語順序

3、排列沒有檢查，由此本文提出用 Shingle思想有序詞語的劃分作為局部語序影響因子，加入到Simhash算法中，彌補了Simhash算法中語序無關的不足。接下來是文本分類過程。在文本分類的幾個處理階段中，除了將各個階段算法應用到了分布式并行化框架Hadoop中，著重的優(yōu)化了 NB算法分類。主要思想是參考信息檢索中倒排樹結構，在索引樹節(jié)點中存儲需要重復計算的中間結果，以及使用倒排索引結構來查詢檢索詞語及其某些分類信息，同時做了橫向和縱向的