基于n-gram的中文文本復(fù)制檢測(cè)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的興起和普及，文本復(fù)制檢測(cè)技術(shù)成為自然語(yǔ)言處理領(lǐng)域興起的一個(gè)研究熱點(diǎn)，它在保護(hù)知識(shí)產(chǎn)權(quán)方面的重要性日益明顯。英文文本復(fù)制檢測(cè)技術(shù)發(fā)展較早，但由于中、英文語(yǔ)言天然存在差異，因此諸多英文自然語(yǔ)言復(fù)制檢測(cè)技術(shù)并不完全適用于中文。如何針對(duì)中文語(yǔ)言的特點(diǎn)設(shè)計(jì)出有效的檢測(cè)方法成為了日益被關(guān)切的問(wèn)題。
　　抄襲者手段眾多，包括對(duì)句子進(jìn)行增刪、同義詞替換甚至語(yǔ)句重述。不同的抄襲方法各有特點(diǎn)，采用單一的方法往往無(wú)法達(dá)到理想的檢測(cè)效果。

2、目前復(fù)制檢測(cè)受制于自然語(yǔ)言處理技術(shù)發(fā)展水平，無(wú)法真正深入到語(yǔ)義?；谧址ヅ浜突谠~頻統(tǒng)計(jì)是復(fù)制檢測(cè)中最常用的兩種方法。本文主要以中文自然語(yǔ)言為研究對(duì)象，提出了一種統(tǒng)計(jì)任意長(zhǎng)度n-gram頻率的方法。針對(duì)常見(jiàn)的抄襲現(xiàn)象，分別在詞匯片段、同義詞替換以及文本指紋方面展開(kāi)了研究，主要研究成果如下:
　　(1)根據(jù)中文詞長(zhǎng)的特點(diǎn)，針對(duì)最常見(jiàn)的二字詞提出了一種基于bigram的二級(jí)變長(zhǎng)索引。該方法使用長(zhǎng)度為2的滑動(dòng)窗口，以字為單位對(duì)中文文

3、本進(jìn)行切分。利用漢字編碼將漢字映射到索引的相關(guān)位置，在保證檢索效果的情況下，極大地縮減了索引空間。同時(shí)利用地址編碼的存放特點(diǎn)，使用高效的集合算法，實(shí)現(xiàn)對(duì)任意長(zhǎng)度n-gram的檢索和頻率統(tǒng)計(jì)。同時(shí)，當(dāng)文本庫(kù)擴(kuò)展時(shí)，索引無(wú)需重新構(gòu)建。
　　(2)使用Ferret方法，通過(guò)變換檢測(cè)單元長(zhǎng)度，并計(jì)算各長(zhǎng)度下的復(fù)制檢測(cè)準(zhǔn)確率、召回率等指標(biāo)，確定了適合中文的最佳片段長(zhǎng)度。在此基礎(chǔ)上，提出了一種基于核心片段中心距離的中文文本復(fù)制檢測(cè)方法。使用該

4、方法提出的重疊度計(jì)算公式，可進(jìn)一步提高基于片段匹配的中文文本復(fù)制檢測(cè)效果。
　　(3)現(xiàn)有的同義詞復(fù)制檢測(cè)方法都是基于單個(gè)詞語(yǔ)進(jìn)行同義詞擴(kuò)展，忽視了詞語(yǔ)在真實(shí)語(yǔ)言環(huán)境下的習(xí)慣搭配。針對(duì)這種情況，本文提出了一種基于同義詞搭配的擴(kuò)展方法。采用對(duì)詞語(yǔ)搭配進(jìn)行先擴(kuò)展再過(guò)濾的方法，大大縮小了擴(kuò)展集的規(guī)模，同時(shí)降低了檢測(cè)噪音。以此為基礎(chǔ)，提出了一種基于同義詞搭配的重疊度計(jì)算方法。實(shí)驗(yàn)表明，該方法對(duì)于同義詞檢測(cè)有良好的效果。
　　(4)利