分布式網(wǎng)絡爬蟲技術(shù)研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)的爆炸性發(fā)展使得其規(guī)模由1993年的數(shù)千個網(wǎng)頁發(fā)展為現(xiàn)在的數(shù)十億個網(wǎng)頁，并且這個數(shù)字還在瘋狂膨脹中。隨著互聯(lián)網(wǎng)的規(guī)模迅速增長，其相關(guān)的服務和信息量也隨之快速增長。在這些信息得到人們廣泛應用的同時，專門負責互聯(lián)網(wǎng)信息收集工作的網(wǎng)絡爬蟲也面臨著巨大的挑戰(zhàn)。目前，國內(nèi)外的大型互聯(lián)網(wǎng)公司、相關(guān)研究機構(gòu)（如：Google、百度等）已經(jīng)給出了一些較為成熟的解決方案，有些也已投入使用，但是這些方案大都只能為一般用戶提供一種不可定制的搜索服務，而

2、且很多公司將這些網(wǎng)絡爬蟲的技術(shù)列為商業(yè)機密，并未公開，已經(jīng)無法滿足廣大用戶日益增長的各種要求；互聯(lián)網(wǎng)如此龐大、錯綜復雜就算是Google、百度這樣的搜索巨頭也無法完整搜集完所有的網(wǎng)頁，更不用說普通用戶。
　　本文著重研究中小型規(guī)模的分布式爬蟲，設計并實現(xiàn)了一個基于 MapReduce分布式計算模型的分布式網(wǎng)絡爬蟲。綜合起來本文的主要工作如下：
　　首先，本文介紹了網(wǎng)絡爬蟲中的相關(guān)技術(shù)和當前流行的Map/Reduce分布式計算

3、模型。隨后在MapReduce分布式計算模型的基礎上設計了由多臺PC構(gòu)成的分布式網(wǎng)絡爬蟲系統(tǒng)-DWCS。其中通用的 crawler模塊負責對網(wǎng)頁的抓取，并提取URL；master模塊負責對URL進行去重等處理，并分配給各個crawler模塊。
　　然后，在上述的基礎上，利用Python與Mincemeat.py分布式計算模塊實現(xiàn)了該分布式爬蟲。
　　最后，本文對DWCS系統(tǒng)進行了測試，對測試結(jié)果進行了分析，對目前的工作做了總