基于垂直搜索技術的競爭情報采集系統(tǒng)的設計與實現(xiàn).pdf

1、本文介紹了上海市化工科學技術情報研究所開發(fā)建設的基于垂直搜索技術的競爭情報采集系統(tǒng)的設計與實現(xiàn)過程。
　　首先，本文簡要介紹了論文研究的背景和課題來源，通過介紹國內外競爭情報分析軟件或平臺的現(xiàn)狀，說明了競爭情報采集系統(tǒng)的特點——具有搜索引擎與檢索對接的特點。上海市化工科學技術情報研究所長期承擔了行業(yè)情報信息的研究和發(fā)布工作，開發(fā)建設本系統(tǒng)具有積極的應用價值。針對市場上的同類產(chǎn)品存在的不足情況，在研究目標中提出了五個方面的改進設想。

2、
　　其次，本文詳細介紹了通用搜索引擎的工作原理，搜索引擎實現(xiàn)的主要功能模塊，為本文后續(xù)章節(jié)的論述提供了理論依據(jù)。
　　隨后，本文通過通用搜索引擎與垂直搜索引擎的比較，說明了垂直搜索引擎比通用搜索引擎具有“專、精、深”的特點，是特定行業(yè)領域、專業(yè)信息機構等開展網(wǎng)絡信息資源開發(fā)和服務的應用工具。本文還分別介紹了對于實現(xiàn)垂直搜索引擎的關鍵技術，這些知識的介紹為設計和實現(xiàn)行業(yè)競爭情報采集系統(tǒng)具有明顯的針對性，是后續(xù)章節(jié)的總綱。

3、r>　　最后，重點介紹了基于垂直搜索技術的競爭情報采集系統(tǒng)的設計和實現(xiàn)過程。從詞表庫的建立、信息和數(shù)據(jù)的采集、信息檢索和用戶界面設計模塊逐一做了論述，其中信息和數(shù)據(jù)的采集模塊和信息檢索模塊是本文的論述重點。信息和數(shù)據(jù)的采集模塊中介紹了人工信息和數(shù)據(jù)的錄入，網(wǎng)頁信息和數(shù)據(jù)自動采集中的“蜘蛛”程序編寫；信息檢索模塊中重點介紹了搜索引擎倒排序技術的實現(xiàn)，而對于本文數(shù)據(jù)統(tǒng)計與分析和后臺數(shù)據(jù)庫管理模塊本文作了略述。
　　本系統(tǒng)建設和實現(xiàn)過程

4、中，并不一味的追求理論過程中每一步過程，而是結合本系統(tǒng)的硬件環(huán)境和信息采集特點，提出了工作中的創(chuàng)新點，有選擇的將幾個功能進行合并操作。如在網(wǎng)絡信息的自動采集過程中，將信息采集和頁面抽取、詞性標注等合并在同一段程序中實現(xiàn)，壓縮了信息采集和識別的時間，節(jié)省了服務器的開銷。
　　本系統(tǒng)的設計與實現(xiàn)是上海市化工科學技術情報研究所競爭情報分析平臺的重要組成部分，為今后進一步開展基于人工智能技術的競爭情報分析系統(tǒng)的開發(fā)做了前期研究，為后期系統(tǒng)