基于卷積神經(jīng)網(wǎng)絡(luò)的文本表示建模方法研究.pdf

1、在機(jī)器學(xué)習(xí)中，數(shù)據(jù)表示是決定后續(xù)任務(wù)性能的關(guān)鍵所在。文本是數(shù)據(jù)的一大類，文本表示是許多自然語言處理任務(wù)的基礎(chǔ)工作，建立文本表示模型的目的是分析和表示文本的語義信息，得以在文本分類、機(jī)器翻譯、自動問答等自然語言處理任務(wù)上取得更好的效果。
　　在傳統(tǒng)的文本表示方法中，例如詞袋子模型，具有數(shù)據(jù)稀疏和容易產(chǎn)生維度災(zāi)難等問題，模型的泛化能力較差。近年來，隨著機(jī)器學(xué)習(xí)的發(fā)展，各種神經(jīng)網(wǎng)絡(luò)建立的文本表示模型開始出現(xiàn)?；谏窠?jīng)網(wǎng)絡(luò)的文本表示模型是

2、將多種層次結(jié)構(gòu)的文本，通過神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)映射得到低維連續(xù)的向量，所有向量都在同一個(gè)低維向量空間中，提高了模型的表示能力。同時(shí)卷積神經(jīng)網(wǎng)絡(luò)在各種神經(jīng)網(wǎng)絡(luò)中具有較好的特征選取能力。然而，現(xiàn)有神經(jīng)網(wǎng)絡(luò)文本表示模型存在著一些問題。首先，對于不同文本中相同的詞，在神經(jīng)網(wǎng)絡(luò)中使用相同的單一的向量，在特征提取時(shí)勢必對一詞多義、同形異義等情況不能夠做出較好的區(qū)分，得到的特征不能較好地完成分類任務(wù)。然后，對于通常的神經(jīng)網(wǎng)絡(luò)模型文本表示模型，無法有效地捕獲

3、不同文本單元和可變長度的組合序列的語義和結(jié)構(gòu)信息，對文檔級別的文本進(jìn)行處理時(shí)模型性能會大大的降低。根據(jù)上述存在的問題，本文分別從句子和文檔兩個(gè)層次，對比了多種神經(jīng)網(wǎng)絡(luò)文本表示方法，根據(jù)現(xiàn)有文本表示方法的不足，提出了改進(jìn)后的表示模型。以下是本文所做出的主要工作:
　　第一，提出了基于主題詞向量的卷積神經(jīng)網(wǎng)絡(luò)句子文本表示模型。在該模型中，針對神經(jīng)網(wǎng)絡(luò)輸入層的詞向量矩陣，利用了相同的詞在不同的文本中的語義信息應(yīng)該有所差異的特性，為句子文

4、本中的每個(gè)詞語分配所在文本對應(yīng)的主題信息，得到了每個(gè)詞的主題詞向量。同時(shí)為了不把不相關(guān)的主題信息引入到神經(jīng)網(wǎng)絡(luò)中，在中間層加入了主題轉(zhuǎn)移矩陣過濾無用的主題信息，主題轉(zhuǎn)移矩陣是根據(jù)詞與主題的相似度和概率分布計(jì)算得到。通過主題轉(zhuǎn)移矩陣將主題詞向量融入神經(jīng)網(wǎng)絡(luò)模型中，使模型可以消除詞在不同文本中的歧義。實(shí)驗(yàn)證明了得到的文本表示在句子級別的情感分類任務(wù)上有更好的表現(xiàn)。
　　第二，提出基于長距離關(guān)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)文檔文本表示模型。針對了通常