Web信息智能抽取技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著我國(guó)經(jīng)濟(jì)的迅速發(fā)展，國(guó)家信息基礎(chǔ)設(shè)施建設(shè)強(qiáng)度加大加強(qiáng)和人民生活質(zhì)量的提高，網(wǎng)絡(luò)已經(jīng)深入人們生活的方方面面，成為工作或生活中不可缺少的一部分，怎樣快速有效的獲取Web上的信息，已經(jīng)成為了一個(gè)重要的研究課題。但是網(wǎng)絡(luò)上的信息種類繁多、網(wǎng)頁(yè)結(jié)構(gòu)形式多變，大多數(shù)網(wǎng)頁(yè)上還包含了許多廣告、導(dǎo)航、熱點(diǎn)鏈接等噪音信息，這些問(wèn)題給研究者帶來(lái)了很大的困擾。而目前的信息抽取技術(shù)還存在很多不足：如僅能處理一種類型網(wǎng)頁(yè)，提取的信息細(xì)化程度低，準(zhǔn)確率與效率矛盾

2、、人工干預(yù)與智能化操作、不支持增量信息處理等問(wèn)題。這就迫切需要一種全新的信息提取方法來(lái)解決這些問(wèn)題，本課題就是在這種需求下產(chǎn)生的。本文主要采用的是模板化的信息提取算法，先利用規(guī)則生成器識(shí)別網(wǎng)頁(yè)上的目標(biāo)實(shí)體分隔符，然后由模板生成器把這些分割標(biāo)記配置到模板中，最后由信息抽取器根據(jù)模板提取該站點(diǎn)的相關(guān)信息。具體創(chuàng)新點(diǎn)或關(guān)鍵技術(shù)如下： 1、通過(guò)分析的站點(diǎn)網(wǎng)頁(yè)結(jié)構(gòu)，分析網(wǎng)頁(yè)結(jié)構(gòu)布局形式和標(biāo)簽的分布規(guī)律，并結(jié)合目前國(guó)內(nèi)外的信息抽取技術(shù)，發(fā)明

3、了一套可以定義任何網(wǎng)頁(yè)結(jié)構(gòu)形式的模板，并設(shè)計(jì)出了一套模板自動(dòng)配置方案； 2、設(shè)計(jì)了信息抽取器：實(shí)現(xiàn)了讀取模板，以及根據(jù)模板配置進(jìn)行信息抽取的方法，并在此過(guò)程中增加了信息增量/多頁(yè)處理算法：采用增量/多頁(yè)算法來(lái)解決同一主題的內(nèi)容分布在多個(gè)網(wǎng)頁(yè)的問(wèn)題，即需要進(jìn)行融合計(jì)算，以及解決不同時(shí)間段，主題網(wǎng)頁(yè)內(nèi)容動(dòng)態(tài)更新的問(wèn)題，即要進(jìn)行增量提??；去重處理算法：處理站點(diǎn)間相似或相同主題重復(fù)問(wèn)題； 3、結(jié)果的結(jié)構(gòu)化存儲(chǔ)：根據(jù)模板的配置，提