智能Web新聞文本采集方法研究.pdf

1、Web技術的革新使其逐漸成為網絡內容生產和消費的平臺，互聯(lián)網上充斥著無數以網頁形式存在的信息源，隨著搜索引擎、網絡監(jiān)控和新聞推送等應用和研究工作的深入發(fā)展，使得互聯(lián)網新聞文本采集成為國內外相關人士研究的熱點。Web頁面中不僅包含用戶關注的正文內容，還包含大量噪聲信息，如廣告、導航和相關推薦信息等，使得智能化提取網頁正文文本成為新聞文本采集的難題之一。
　　傳統(tǒng)的基于模版的網頁正文提取不僅需要人工的配置各網站的解析模版，而且模版不能

2、實時的適應網頁結構的變化，使得后期維護成本較大。Web網頁的異構特點對現(xiàn)有的基于規(guī)則學習的包裝器網頁解析技術也提出了新的挑戰(zhàn)。本文將著重對新聞網頁正文的智能化解析技術展開研究，結合新聞網頁結構特點、新聞文本標簽特點以及Web新聞文本采集的需求，提出能夠智能適應網頁結構變化和通用于各門戶新聞網頁的正文提取方法。本文主要貢獻如下：
　　(1)提出基于文本標簽特征挖掘的網頁正文提取方法。該方法主要挖掘網頁樹結構特性、正文標簽的中心性、正

3、文標簽連續(xù)性、正文標簽層次性和Html修飾標簽特征等特點，運用層次聚類算法對標簽進行聚類，對標簽簇進行權值計算及經驗性調整確定最終的網頁正文標簽簇，然后為實現(xiàn)新聞文本采集過程中盡可能多的采集新聞網頁的文本信息，在文本標簽特征挖掘的網頁正文提取方法中增加一種適用于新聞文本采集的非新聞網頁自識別方法；最后再通過正文標簽簇提取網頁正文。
　　(2)提出基于智能模版的新聞網頁正文提取方法。該方法避免人工配置網頁解析模版的過程，而是根據各個