分布式網(wǎng)絡(luò)爬蟲的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，人們?cè)诠ぷ骱蜕钪袑?duì)互聯(lián)網(wǎng)信息的需求也越來越多，搜索引擎技術(shù)的重要性越加明顯?；ヂ?lián)網(wǎng)信息在很多方面都有非常廣泛的應(yīng)用，搜索引擎技術(shù)已經(jīng)深入人心，融入人們的生活，對(duì)人們的生活影響越來越大，而網(wǎng)絡(luò)爬蟲是搜索引擎中非常重要的一個(gè)部分。
　　目前，基于單機(jī)的網(wǎng)絡(luò)爬蟲抓取能力已經(jīng)不能滿足當(dāng)前互聯(lián)網(wǎng)的需求，這樣就促使了基于分布式網(wǎng)絡(luò)爬蟲技術(shù)的出現(xiàn)。構(gòu)建分布式系統(tǒng)，多臺(tái)機(jī)器有效的合作分工，提高了超大數(shù)據(jù)量的計(jì)算速度，提

2、高了網(wǎng)絡(luò)爬蟲的抓取性能。運(yùn)用分布式存儲(chǔ)，對(duì)整個(gè)系統(tǒng)數(shù)據(jù)的存儲(chǔ)的性能也能大大提高。
　　本文詳細(xì)介紹了分布式網(wǎng)絡(luò)爬蟲，設(shè)計(jì)并實(shí)現(xiàn)了基于Hadoop平臺(tái)的分布式網(wǎng)絡(luò)爬蟲，以解決單機(jī)網(wǎng)絡(luò)爬蟲的速度慢、效率低下等問題，本文的主要研究工作如下:
　　(1)介紹了搜索引擎技術(shù)，分布式網(wǎng)絡(luò)爬蟲的工作原理和關(guān)鍵技術(shù)，分布式網(wǎng)絡(luò)爬蟲整體系統(tǒng)的架構(gòu)設(shè)計(jì)，分析了關(guān)鍵組成模塊的具體實(shí)現(xiàn)流程和實(shí)現(xiàn)原理，各模塊的MapReduce的實(shí)現(xiàn)方式。
　

3、　(2)針對(duì)網(wǎng)頁抓取模塊的已有算法影響抓取內(nèi)容和抓取速度的問題，提出了URL權(quán)重算法的優(yōu)化方法，在抓取過后，對(duì)URL的過濾和去重也是極其重要的環(huán)節(jié)，對(duì)URL去重策略也進(jìn)行了優(yōu)化，解決了網(wǎng)絡(luò)爬蟲抓取方面速度慢、抓取內(nèi)容冗余的問題，大大提高了網(wǎng)絡(luò)爬蟲抓取速度和準(zhǔn)確度。
　　(3)搭建分布式系統(tǒng)的測(cè)試環(huán)境，從功能性測(cè)試、性能測(cè)試、可擴(kuò)展性測(cè)試三個(gè)方面設(shè)計(jì)了測(cè)試方案，并對(duì)URL權(quán)重算法和URL去重策略優(yōu)化前后進(jìn)行了對(duì)比測(cè)試。
　　總