主題爬蟲的實(shí)現(xiàn)及其關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，信息的發(fā)布與傳播變得越來越快捷，網(wǎng)絡(luò)上的信息量也積累到了非常龐大的規(guī)模，這使得檢索信息變得日益困難，所幸搜索引擎能夠?yàn)橛脩籼峁┛焖俚男畔z索，它被人越來越多的使用并成為日常生活中的一種依賴。網(wǎng)絡(luò)爬蟲作為搜索引擎的抓取模塊，負(fù)責(zé)搜集互聯(lián)網(wǎng)上的網(wǎng)頁，爬蟲系統(tǒng)的爬行性能和搜集到的網(wǎng)頁質(zhì)量很大程度上影響了搜索引擎的服務(wù)質(zhì)量，所以爬蟲是搜索引擎的重要組成部分，值得研究和改進(jìn)。近年來，受制于網(wǎng)絡(luò)的規(guī)模，通用爬蟲的負(fù)擔(dān)越來越繁重

2、，而專注于特定領(lǐng)域的主題爬蟲搜集的信息更有針對(duì)性，并且運(yùn)行效率較高，于是得到了廣泛的重視和深入的研究。主題爬蟲為爬蟲領(lǐng)域開辟了一條新的路徑，具有很高的研究價(jià)值和實(shí)用價(jià)值，本文圍繞設(shè)計(jì)和實(shí)現(xiàn)一個(gè)主題爬蟲所涉及的各項(xiàng)技術(shù)展開討論，所做的主要工作和研究成果包括：
　　 (1)提出和實(shí)現(xiàn)了一種改進(jìn)的搜索策略，主要是通過動(dòng)態(tài)調(diào)整閾值，使爬蟲的搜索過程更有靈活性，可以有效解決主題爬蟲領(lǐng)域的隧道現(xiàn)象，平衡主題爬蟲的搜集覆蓋率和準(zhǔn)確率，使兩者都

3、達(dá)到較高的水平；
　　 (2)提出和實(shí)現(xiàn)了一種改進(jìn)的相關(guān)度計(jì)算模型，主要是通過合理壓縮空間向量的維度，在不丟失準(zhǔn)確度的情況下，減少了計(jì)算的時(shí)間復(fù)雜度，可以有效提高計(jì)算速度；
　　 (3)研究了當(dāng)數(shù)據(jù)規(guī)模很大時(shí)，爬蟲系統(tǒng)如何實(shí)現(xiàn)URL的消重和網(wǎng)頁的存儲(chǔ)，前者主要是通過將索引建立成B-樹的結(jié)構(gòu)，從而有效的壓縮了維護(hù)URL隊(duì)列所需的空間，后者主要是放棄數(shù)據(jù)庫的存儲(chǔ)方式，將網(wǎng)頁按照一定的存儲(chǔ)格式，以文件方式予以保存，有利于數(shù)據(jù)的