用于自然語言分布式表達(dá)的聯(lián)合學(xué)習(xí)方法研究.pdf

1、自然語言分布式表達(dá)(Distributed Representations of Natural Language)技術(shù)是指利用深度神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練得到自然語言對(duì)象（單詞、短語、句子、段落和文檔等）的向量表達(dá)的技術(shù)，這種向量也被稱為自然語言嵌入向量(NaturalLanguage Embedding Vector)。一般來講，分布式表達(dá)向量是從大規(guī)模無監(jiān)督的語料中學(xué)習(xí)得來的低維、稠密實(shí)數(shù)值向量，因?yàn)槠涑休d了該自然語言對(duì)象的語義信息，所以

2、可以作為自然語言的一種有效的表達(dá)，應(yīng)用于各項(xiàng)自然語言處理的任務(wù)中，并取得了非常優(yōu)異的實(shí)際表現(xiàn)。
　　在本論文中，與以往完全從原始文本語料學(xué)習(xí)(Learning From Scratch)得到自然語言分布式表達(dá)的方法不同，我們?cè)噲D融入更多的信息，達(dá)到聯(lián)合訓(xùn)練自然語言分布式表達(dá)向量的目的。這些信息有可能是外源信息（例如字典信息與知識(shí)圖譜信息），也有可能是原始語料信息的其他抽象、或者高層次表達(dá)（例如單詞的多義性信息與主題信息）。這種聯(lián)合

3、訓(xùn)練的方法一方面可以利用更多的信息提升原始分布式表達(dá)向量的質(zhì)量，另外一方面可以利用自然語言的分布式表達(dá)更好地幫助相應(yīng)的任務(wù)（例如主題建模），從而達(dá)到更佳的實(shí)際表現(xiàn)。具體來說，1）我們通過單詞多義性信息與單詞分布式表達(dá)聯(lián)合訓(xùn)練的方法來克服傳統(tǒng)單詞分布式表達(dá)以單詞作為基本語義嵌入單元的限制，所提出的算法可以精確表達(dá)多義單詞的不同語義，取得了良好的實(shí)際效果，同時(shí)我們?cè)诒疚闹薪榻B了該算法的大規(guī)模并行實(shí)現(xiàn);2）我們通過知識(shí)圖譜表示與單詞分布式表達(dá)

4、聯(lián)合訓(xùn)練的方法來克服原始文本驅(qū)動(dòng)的單詞嵌入向量無法表示復(fù)雜知識(shí)關(guān)系的限制;3）基于這兩種聯(lián)合訓(xùn)練的方式我們提出了一種利用單詞分布式表達(dá)來完成自動(dòng)智商測(cè)試的方法，在標(biāo)準(zhǔn)詞匯智商測(cè)試任務(wù)上取得了比該測(cè)試的人類參與者的表現(xiàn)更高的準(zhǔn)確率;4）更進(jìn)一步，我們提出了一種基于遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)的句子分布式表達(dá)模型和主題模型的聯(lián)合訓(xùn)練方法，利用該方法訓(xùn)練得到的主題模型可以建模單詞序列性信息，與忽略該信息的傳