分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、進(jìn)入21世紀(jì)，互聯(lián)網(wǎng)取得了飛速的發(fā)展，其所包含的信息量正在以指數(shù)型趨勢高速增長，由此導(dǎo)致人們在這海量的信息中需要花費大量的精力來找尋自己需要的信息，因此人們對于隨時隨地獲取自身所需求信息的渴望越來越強(qiáng)烈。正是基于這一情況，云計算獲得了發(fā)展的契機(jī)。全球范圍內(nèi)包括Google、IBM、Apache和Amazon等大型公司在內(nèi)，都對云計算投入了大量的人力、物力、財力。其中Apache站在用戶的角度開發(fā)了 Hadoop平臺，是一個開源云計算框架

2、。本文經(jīng)過研究后開發(fā)的分布式爬蟲系統(tǒng)就是在此框架下設(shè)計并且實現(xiàn)的。
　　本文的目的主要是為了設(shè)計并實現(xiàn)一個基于Hadoop的分布式爬蟲系統(tǒng)，通過這個系統(tǒng)，實現(xiàn)對大規(guī)模數(shù)據(jù)采集的任務(wù)。同時，該爬蟲系統(tǒng)采集信息類型非常廣泛，能夠?qū)θ蚨喾N語言的主流新聞網(wǎng)站進(jìn)行信息采集。此系統(tǒng)采用分布式信息采集模式。另外，多種語言信息并沒有統(tǒng)一保存在一起，而是進(jìn)行了獨立保存，這樣能夠為后面跨語言處理提供便利。
　　本文主要研究了以下幾個部分：首先

3、，對云計算相關(guān)知識進(jìn)行具體的介紹；其次，介紹了Hadoop分布式平臺相關(guān)知識；再次，通過文獻(xiàn)資料等方法調(diào)查了網(wǎng)絡(luò)爬蟲原理發(fā)展現(xiàn)狀。
　　上面的研究是本文的一個根本基礎(chǔ)，正是在這個基礎(chǔ)上，我們提出了基于Hadoop的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計方案。設(shè)計方案不僅包含了系統(tǒng)的設(shè)置流程，而且詳細(xì)介紹了本系統(tǒng)的基本框架。另外，還包括了系統(tǒng)功能模塊的劃分以及各模塊的Map/Reduce設(shè)計。為了進(jìn)一步完善本系統(tǒng)，本文還對系統(tǒng)做出來更為具體的設(shè)計