Web頁面分塊算法MDSPS及其在Web信息抽取中的應(yīng)用.pdf

1、隨著Web的快速發(fā)展，如何從Web網(wǎng)站中獲得想要的信息成為亟待解決的問題，因此Web信息抽取成為必要，Web信息抽取技術(shù)也成為當(dāng)今的一個研究熱點。Web信息抽取需要解決的問題是：如何使信息抽取免受頁面結(jié)構(gòu)差異和頁面結(jié)構(gòu)變化的影響，并盡可能地減少人為參與。 針對上述問題，目前出現(xiàn)了一種全新的基于分塊的Web信息抽取技術(shù)，即先將Web頁面分成若干個相互獨立的語義塊，再根據(jù)不同的應(yīng)用，從中選取具有相應(yīng)語義特征的語義塊進(jìn)行信息抽取。新的

2、抽取方式不僅有效降低了信息抽取問題的復(fù)雜度，而且大幅度提高了信息抽取的精確度。 本文的研究重點是如何設(shè)計并實現(xiàn)一種準(zhǔn)確、自動、智能、高效、簡單的Web頁面分塊算法，以及該算法在Web信息抽取中的應(yīng)用。首先本文提出了一種基于HTML標(biāo)簽分布統(tǒng)計的Web頁面分塊算法MDSPS，詳細(xì)描述了MDSPS的基本原理、實現(xiàn)過程，并與現(xiàn)有的兩種經(jīng)典Web頁面分塊算法：HTML分塊解析方法和VIPS分塊算法進(jìn)行分析比較。其次，本文提出了塊層次結(jié)構(gòu)

3、獲取算法，能夠根據(jù)MDSPS分塊算法的分塊結(jié)果，得到Web頁面的塊層次結(jié)構(gòu)。本文同時給出了塊語義特征分析方法，能夠簡單有效地提取塊的語義特征。利用塊語義特征分析方法，以塊結(jié)構(gòu)層次為基礎(chǔ)，針對不同的Web應(yīng)用，能夠從大量的語義塊中快速準(zhǔn)確選取相應(yīng)的特定語義塊，提高Web信息抽取的準(zhǔn)確度。最后，通過展示MDSPS在本課題組所實現(xiàn)的基于分類本體的Web信息集成系統(tǒng)NEU-WIIS中的具體應(yīng)用，詳細(xì)描述Web頁面分塊在Web信息抽取中的作用，由