基于深度學習的文本有效特征提取及分類研究.pdf

1、文本分類任務是目前自然語言處理領域最為熱門的研究方向之一，經過幾十年的科學研究已經取得了大量的成果。如何有效的從海量文本中獲得有價值的信息已經成為了研究的熱點。傳統(tǒng)基于機器學習的算法存在著忽略文本語義信息、向量稀疏等問題。近幾年，隨著深度學習的快速發(fā)展，基于深度學習文本有效特征提取已經成為解決上述問題的重要手段。但是仍然存在著一些問題，例如不能對文本的有效信息進行充分提取以及不能將文本的篇章結構信息進行考慮。
　　本文根據上述的不

2、足進行了基于深度學習的文本分類研究工作。首先，采用Word Embedding技術進行詞向量訓練，可以獲得考慮文本語義信息的詞向量。然后本文提出兩種神經網絡模型實現對文本特征進行特征提取以及分類工作。最后將本文提出的網絡模型應用在實際數據中進一步驗證，證明了本文所提方法實際應用的有效性。本文的主要貢獻有：
　　1、提出一種基于CNN-Attention網絡文本特征提取方法，使用卷積神經網絡（Convolutional Neural

3、 Network,CNN）實現對不同詞語組合的信息進行提取，使用注意力機制（Attention mechanism）給予文本重要的詞語組合信息更多的權重，實現文本信息的特征提取。通過和其他文本分類算法進行對比實驗，本章所提出的方法均可以有效的提高了文本的分類準確率：
　　（1）使用局部權值共享的卷積神經網絡模型，采用不同大小的卷積窗口來實現對不同上下文詞語組合提取特征。將一個句子分別考慮前后不同個數詞語的組合信息，提取得到文本語義

4、間深層次和多角度的特征信息。
　　（2）使用注意力機制模型，實現對文本重要的詞語組合信息進行給予更高的權重操作，可以將重要的詞語組合信息進行提取，在對文本信息提取的基礎上更進一步實現對文本深層次的信息進行提取，得到文本具有更強表達力的特征。
　　2、提出一種基于Bi-LSTM（Bi-directional Long Short-Term Memory）網絡的分層提取文本特征方法。該方法以句子為單位，首先對詞語之間的信息進行提

5、取，得到句子的特征信息；再使用網絡對句子的特征信息進行提取，得到文本的特征信息。進一步使用注意力機制分別對文本重要的詞語和句子信息進行提取，最終獲得更好的文本表達特征。該網絡與將文本整體作為序列信息輸入相比提高了文本分類的準確率：
　?。?）該方法先對句子中前后詞語之間的信息使用Bi-LSTM得到句子的特征向量表示，再使用Bi-LSTM對前后句子之間的信息進行提取，從而實現對文本從句子到篇章分層信息提取。
　?。?）將注意力

6、機制分別應用在詞語層級和句子層級之后，針對文本不同貢獻度的詞語和句子分別進行提取，通過將注意力機制應用在文本分層信息提取上，實現根據不同詞語和句子的貢獻度不同進行文本的信息提取，從而獲得更具有表達力的文本特征信息。
　　3、本文實現一種融合注意力機制的Bi-LSTM網絡文本分類系統(tǒng)。為驗證本文所提出方法的有效性和實用價值，將該方法應用在實習期間公司的實際項目中，最終在實際業(yè)務場景下收集的YW_News7數據庫上測試取得了較高的分類