基于LDA模型的重復(fù)缺陷報告檢測的研究.pdf

1、缺陷報告作為軟件維護(hù)周期過程中產(chǎn)生的缺陷描述數(shù)據(jù)，由于這些報告通常由對軟件本身了解甚少的用戶匆忙撰寫而成,它們不僅存在著表達(dá)模糊、不專業(yè)、信息不全、難于理解等問題，還存在于同一缺陷被反復(fù)重復(fù)提交的問題，由此造成提交上來的缺陷報告中存在有大量冗余重復(fù)的缺陷報告，對于此類重復(fù)缺陷報告如果反復(fù)被分派給開發(fā)者，勢必造成人力資源的嚴(yán)重浪費，特別對于大型開源項目而言此類問題尤為明顯。
　　為了減輕人工檢測重復(fù)缺陷報告的負(fù)擔(dān)，國內(nèi)外很多專家學(xué)者

2、投入到重復(fù)缺陷報告檢測領(lǐng)域的研究并提出了一系列的重復(fù)缺陷報告的檢測方法。但是由于傳統(tǒng)的重復(fù)報告自動檢測方法普遍采用向量空間模型作為理論基礎(chǔ)，構(gòu)建的向量空間存在維度高、數(shù)據(jù)稀疏且有嗓聲等問題，降低了檢測執(zhí)行效率，查全率和查準(zhǔn)率較低。針對以上問題，本文提出了一種全新的基于主題模型理論的檢測方法，潛在狄利克雷分配模型(LDA，Latent Dirichlet Allocation)是最簡單的主題模型，通過LDA模型能夠?qū)⑷毕輬蟾嫖臋n從傳統(tǒng)的高

3、維的單詞空間映射到低維的主題空間，最后在低維的主題空間上計算文檔之間的相似度，從而大大地降低了待處理空間的維度并提高了算法了檢測執(zhí)行效率。
　　本文的主要工作如下：
　　1.通過大量查閱國內(nèi)外相關(guān)文獻(xiàn)，分析了本課程的研究背景以及國內(nèi)外研究現(xiàn)狀，明確了該領(lǐng)域內(nèi)目前存在的問題并提出了相應(yīng)的解決方案。
　　2.通過分析缺陷報告的分布情況，構(gòu)建了本實驗的樣本空間，并在該空間內(nèi)抽取了所需要的缺陷報告數(shù)據(jù)，之后對實驗數(shù)據(jù)進(jìn)行了預(yù)處

4、理，預(yù)處理主要包括兩步：數(shù)據(jù)基本清理和數(shù)據(jù)深度清理，從而保證了實驗數(shù)據(jù)的有效性和可靠性。
　　3.摸擬傳統(tǒng)的重復(fù)缺陷報告檢測方法進(jìn)行對比實驗，首先介紹了向量空間模型理論，然后分析了特征項選取和權(quán)重計算方法，之后通過向量空間模型計算了缺陷報告的相似度并對實驗結(jié)果進(jìn)行了評估。
　　4.針對傳統(tǒng)方法的弊端，完成基于潛在狄利克雷分配模型的重復(fù)缺陷報告檢測實驗，實驗過程首先利用LDA構(gòu)建主題模型，其次構(gòu)建了實驗的測試樣本空間便于驗證實