Web信息采集技術(shù)在紡織面料公共服務平臺中的應用.pdf

1、隨著中國紡織品出口量的擴大，中國已成為世界紡織面料的主要市場。利用互聯(lián)網(wǎng)獲取行業(yè)信息，使面料企業(yè)在信息資源的掌控中獲得主動，對面料企業(yè)的發(fā)展越來越重要。中國面料企業(yè)中87.5％為中小企業(yè)，限于人員素質(zhì)與資金的限制，這些企業(yè)利用互聯(lián)網(wǎng)獲取的行業(yè)信息質(zhì)量不高。建設(shè)紡織面料公共服務平臺是解決上述問題的有效途徑。紡織面料公共服務平臺整合面料工業(yè)產(chǎn)業(yè)鏈上各類資源信息，瞄準世界前沿技術(shù)，為面料企業(yè)特別是中小企業(yè)提供最新原料、生產(chǎn)加工、產(chǎn)品等信息。

2、 本論文提出了一套在互聯(lián)網(wǎng)中按照面料相關(guān)主題進行自動提取信息并分類的解決方案，并將該方案應用在紡織面料公共服務平臺中。該方案的流程如下：先利用網(wǎng)絡(luò)爬蟲將網(wǎng)頁下載到本地服務器；再掃描Web網(wǎng)頁源代碼，分析Web網(wǎng)頁結(jié)構(gòu)特征，提取與面料主題相關(guān)的URL并抽取網(wǎng)頁中面料主題的事實信息，將新獲取URL及該事實信息保存在中間記錄存儲器中；最后從中間記錄存儲器提取出事實信息并按照預定義的分類進行文本分類。 為了提高網(wǎng)絡(luò)爬蟲的效率，一方

3、面通過協(xié)調(diào)器對網(wǎng)絡(luò)爬蟲抓取的URL按照一定規(guī)則進行調(diào)度，避免了由于網(wǎng)絡(luò)爬蟲的負載不平衡造成的資源分配不均；另一方面在掃描網(wǎng)頁源代碼獲取抓取的URL的同時，根據(jù)設(shè)計的主題鏈接過濾/鏈接預測模型，對超鏈接進行剪切與分類，按照相關(guān)鏈接采集、不相關(guān)鏈接直接丟棄的原則進行剪枝處理，減少網(wǎng)絡(luò)蜘蛛頁面采集的工作量。經(jīng)典的向量空間模型沒有考慮特征項在文本集合中位置分布的不同而引起的權(quán)值差異，系統(tǒng)針對這個問題采用了改進了的特征項權(quán)值的計算公式，更好的體現(xiàn)

4、了網(wǎng)頁的結(jié)構(gòu)特征?；谖臋n結(jié)構(gòu)的抽取規(guī)則建立結(jié)構(gòu)層次樹時算法比較復雜、基于特征模式匹配的抽取由于定位主要依靠匹配來實現(xiàn)，抽取過程易被具有類似結(jié)構(gòu)的其它數(shù)據(jù)所干擾。為了提高信息抽取的準確度與可移植性，設(shè)計了基于文檔結(jié)構(gòu)的抽取規(guī)則與基于特征模式匹配的抽取規(guī)則相結(jié)合的抽取規(guī)則，取得了良好的效果。傳統(tǒng)的K最近鄰分類方法在訓練集數(shù)據(jù)量很大情況下，全局的最優(yōu)搜索很難實現(xiàn)。為了加速K個最近鄰的搜索，采用了一種基于K最近鄰的快速文本分類方法，它能夠保證