軟件安全領(lǐng)域垂直搜索引擎的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著萬維網(wǎng)的迅速發(fā)展，越來越多的組織、公司等在萬維網(wǎng)上發(fā)布已發(fā)現(xiàn)的軟件安全缺陷信息。本文研究基于垂直搜索技術(shù)從網(wǎng)上獲取軟件安全缺陷信息，并進(jìn)一步基于語義標(biāo)注抽取該信息用于構(gòu)建軟件安全缺陷知識(shí)庫。
　　 借助垂直搜索和語義標(biāo)注標(biāo)注技術(shù)，實(shí)現(xiàn)了從萬維網(wǎng)上獲取軟件安全缺陷信息的工具。該工具首先設(shè)計(jì)關(guān)鍵字訓(xùn)練器獲得軟件安全缺陷領(lǐng)域的關(guān)鍵詞；然后通過獲得的領(lǐng)域關(guān)鍵詞設(shè)計(jì)網(wǎng)頁過濾器；最后基于此網(wǎng)頁過濾器設(shè)計(jì)垂直搜索爬蟲，從萬維網(wǎng)上搜索爬取軟

2、件安全缺陷信息。
　　 實(shí)現(xiàn)了基于網(wǎng)頁拓?fù)浜突陉P(guān)鍵字權(quán)值過濾算法的網(wǎng)頁過濾器，以及最優(yōu)搜索策略結(jié)合廣度優(yōu)先搜索策略的垂直搜索爬蟲工具，該爬蟲結(jié)合網(wǎng)頁過濾器可以過濾非軟件安全領(lǐng)域網(wǎng)頁，能夠自動(dòng)的多線程下載軟件安全領(lǐng)域網(wǎng)頁；設(shè)計(jì)并實(shí)現(xiàn)了利用百度搜索引擎獲取軟件安全缺陷信息的工具；實(shí)現(xiàn)了基于網(wǎng)頁內(nèi)容分析算法的領(lǐng)域關(guān)鍵字訓(xùn)練器工具，該工具為網(wǎng)頁過濾器提供關(guān)鍵字及其權(quán)值；設(shè)計(jì)并實(shí)現(xiàn)基于GATE工具對(duì)下載網(wǎng)頁進(jìn)行語義標(biāo)注并采用基于JAXP