微博數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)絡(luò)的不斷發(fā)展，微博在眾多社交網(wǎng)絡(luò)的平臺(tái)當(dāng)中脫穎而出，成為了社交網(wǎng)絡(luò)的新寵兒。微博作為一種分享和交流平臺(tái)，其更注重時(shí)效性和隨意性。微博更能表達(dá)出每時(shí)每刻的思想和最新動(dòng)態(tài)，而博客則更偏重于梳理自己在一段時(shí)間內(nèi)的所見(jiàn)、所聞、所感。在2013年7月《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》中提到：“截至2013年6月底，我國(guó)微博網(wǎng)民規(guī)模為3.31億，較2012年底增長(zhǎng)了2216 萬(wàn)，增長(zhǎng) 7.2%”。這也使得對(duì)微博數(shù)據(jù)的采集與分析變得非

2、常重要，它可用于網(wǎng)絡(luò)輿情分析、商業(yè)預(yù)測(cè)等多方面。其中，對(duì)微博信息的采集與存儲(chǔ)、信息抽取是基礎(chǔ)性的工作。本文使用基于模擬登錄技術(shù)的網(wǎng)絡(luò)爬蟲(chóng)和相關(guān)微博平臺(tái)的 API 來(lái)抓取相應(yīng)的微博數(shù)據(jù)，獲取的微博數(shù)據(jù)主要包括帳戶信息、微博內(nèi)容、關(guān)注用戶列表、評(píng)論信息等多方面。論文對(duì)不同的數(shù)據(jù)抓取方式進(jìn)行了性能對(duì)比與測(cè)試，分別從處理速度、易用性、準(zhǔn)確率、下載數(shù)據(jù)全面性等多個(gè)方面對(duì)不同的數(shù)據(jù)采集方式進(jìn)行了性能對(duì)比測(cè)試。實(shí)驗(yàn)與實(shí)用均表明，本文提出的基于模擬登錄