基于LNMP框架的結(jié)構(gòu)化數(shù)據(jù)抽取平臺的設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)時代網(wǎng)絡(luò)技術(shù)的飛速發(fā)展為人們提供了豐富的信息和資源，大量網(wǎng)頁信息都是通過數(shù)據(jù)庫查詢?nèi)缓笫褂媚０鍋碚宫F(xiàn)在網(wǎng)頁中，此類數(shù)據(jù)便是結(jié)構(gòu)化的數(shù)據(jù)。抽取結(jié)構(gòu)化的數(shù)據(jù)可以為信息整合、垂直搜索等很多領(lǐng)域提供增值的服務(wù)，已經(jīng)有眾多學(xué)者進行了相關(guān)研究?；贚NMP框架的結(jié)構(gòu)化數(shù)據(jù)抽取平臺，致力于為百度產(chǎn)品便捷、快速地獲取全網(wǎng)結(jié)構(gòu)化數(shù)據(jù)，打造從網(wǎng)頁獲取、解析到結(jié)構(gòu)化數(shù)據(jù)產(chǎn)出的一體化流程，為線上產(chǎn)品和數(shù)據(jù)調(diào)研提供可靠的數(shù)據(jù)支持。與此同時，通過平臺化建設(shè)，

2、降低用戶進行數(shù)據(jù)抽取的的學(xué)習成本，提高工作效率，為企業(yè)帶來利潤收益。
　　本文所設(shè)計實現(xiàn)的結(jié)構(gòu)化數(shù)據(jù)抽取平臺基于LNMP(Linux操作系統(tǒng)、Nginx服務(wù)器、MySQL數(shù)據(jù)庫、PHP編程語言)開發(fā)，平臺端框架選擇Yii（基于Php的MVC框架）、Smarty（基于Php的模板引擎）、Bootstrap（基于HTML5和CSS3的前端UI框架）的組合，通過各種框架的使用，提高了開發(fā)效率。前端由模板引擎構(gòu)建，前后分離，耦合度更低，容

3、錯率更高。筆者遵循軟件工程的思想，在構(gòu)建結(jié)構(gòu)化數(shù)據(jù)抽取平臺過程中，參與完成了結(jié)構(gòu)化數(shù)據(jù)抽取服務(wù)端和抽取平臺端的需求收集、整理和分析;參與完成了系統(tǒng)功能模塊設(shè)計、技術(shù)架構(gòu)設(shè)計和數(shù)據(jù)庫設(shè)計。在系統(tǒng)詳細設(shè)計與實現(xiàn)階段，筆者完成了模板管理模塊、任務(wù)管理模塊和數(shù)據(jù)抽取服務(wù)模塊三大功能模塊的設(shè)計與開發(fā)。在測試階段，筆者參與系統(tǒng)測試策略的設(shè)計，獨立完成了系統(tǒng)相關(guān)模塊的測試工作。該結(jié)構(gòu)化數(shù)據(jù)抽取平臺中，模版管理模塊負責引導(dǎo)用戶可視化地構(gòu)造抽取模板，并且