基于LSTM的語(yǔ)義關(guān)系分類研究.pdf

1、文本的深度語(yǔ)義分析近年來(lái)成為了自然語(yǔ)言研究領(lǐng)域的一個(gè)熱點(diǎn)。給定實(shí)體對(duì)的句子語(yǔ)義關(guān)系分類是其中一個(gè)重要的任務(wù)。語(yǔ)義關(guān)系分類技術(shù)的研究有助于其他文本處理技術(shù)的發(fā)展，例如信息檢索，信息抽取，文本摘要，機(jī)器翻譯，問答知識(shí)庫(kù)構(gòu)建，詞義消歧和語(yǔ)言模型等。
　　深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的應(yīng)用研究是近年來(lái)的研究熱點(diǎn)。有學(xué)者將深度學(xué)習(xí)技術(shù)用于語(yǔ)義關(guān)系分類任務(wù)上，并在標(biāo)準(zhǔn)測(cè)試集上得到了比傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)方法更好的成績(jī)。
　　但是本文認(rèn)為，他們提出

2、的方案、使用的模型并沒有充分挖掘深度學(xué)習(xí)在該任務(wù)上的潛力。在當(dāng)前多個(gè)深度模型中，基于長(zhǎng)短期記憶單元（Long Short-term memory，LSTM）的遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）模型因?yàn)槠淠苡行Ю眯蛄袛?shù)據(jù)中長(zhǎng)距離依賴信息的能力，被認(rèn)為特別適合文本序列數(shù)據(jù)的處理。因此，本文提出一個(gè)基于LSTM的深度學(xué)習(xí)模型來(lái)解決語(yǔ)義關(guān)系分類問題，在標(biāo)準(zhǔn)評(píng)測(cè)集合上取得的成績(jī)達(dá)到了目前最好水平，展示出了L

3、STM在挖掘文本序列語(yǔ)義信息任務(wù)上的強(qiáng)大能力。
　　具體的，本文首先對(duì)原始文本進(jìn)行預(yù)處理和特征提取，在該階段本文提出了相對(duì)依賴特征方案，然后將預(yù)處理獲得的特征做向量化處理（embedding）并送入雙向 LSTM（Bi-LSTM，BLSTM）模型提取文本特征；其次，通過對(duì) BLSTM的輸出做基于實(shí)體對(duì)位置的相對(duì)最大池化（relative max pooling）操作降維獲得句子類型特征，從embedding層輸出和BLSTM層輸出