微博輿情系統(tǒng)中數(shù)據(jù)采集技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的成熟和移動互聯(lián)網(wǎng)的快速發(fā)展，越來越多的信息都被發(fā)布在網(wǎng)絡(luò)上，而且這種方式也逐漸的被大眾接受。網(wǎng)絡(luò)上的信息在一定程度上能反映民眾意向，但同時一些蠱惑性的話也能煽動網(wǎng)民，因此網(wǎng)絡(luò)輿論在當下社會中越來越受關(guān)注。為發(fā)展健康的網(wǎng)絡(luò)環(huán)境，有關(guān)政府部門需要對網(wǎng)絡(luò)輿情進行有效預(yù)測、發(fā)現(xiàn)和疏通引導(dǎo)。而在網(wǎng)絡(luò)輿情領(lǐng)域中，微博輿情備受關(guān)注，因為越來越多的輿情事件都是首先在微博上曝光，然后在微博上傳播、討論從而形成輿情事件。從各級政府、企事業(yè)單位開

2、通微博的動作就能看出微博在網(wǎng)絡(luò)中的地位。
　　本文針對微博輿情系統(tǒng)中數(shù)據(jù)采集存在的若干問題進行分析與研究，提出了通過模擬登錄采集網(wǎng)頁，然后輔以優(yōu)先隊列采來集微博上更有影響力的微博。本文主要完成以下工作：
　　（1）就目前常用三種方法進行分析：微博推送、基于微博API和網(wǎng)絡(luò)爬蟲。前兩種采集方法很難滿足輿情系統(tǒng)對微博數(shù)據(jù)在規(guī)模和實時性等方面的需求，最后一種則不容易采集到有用信息。為此，本文提出模擬瀏覽器登錄微博抓取網(wǎng)頁數(shù)據(jù)的方法

3、，以方便地獲取任意微博用戶網(wǎng)頁上的數(shù)據(jù)，并且能避開前兩種方法在數(shù)據(jù)采集速度上的限制。
　?。?）考慮到微博上用戶數(shù)目龐大，采集數(shù)據(jù)時會漏掉很多用戶。本文提出構(gòu)建微博用戶網(wǎng)絡(luò)的方法來解決該問題。首先，將每個微博用戶抽象為一個點，用戶和用戶之間的粉絲、關(guān)注、轉(zhuǎn)發(fā)、評論等關(guān)系抽象為邊，將每種關(guān)系的量化值作為該邊上對應(yīng)關(guān)系權(quán)值。通過點和邊加入，就能構(gòu)建出一個巨大的微博用戶網(wǎng)絡(luò)，這樣就能通過這個網(wǎng)絡(luò)不斷的發(fā)現(xiàn)新微博用戶，進而能保證數(shù)據(jù)的完整

4、性。
　　（3）為實現(xiàn)高效的微博數(shù)據(jù)采集，本文采用優(yōu)先隊列算法。高效采集數(shù)據(jù)是指在面對大量的數(shù)據(jù)時，我們分層次的采集這些數(shù)據(jù)，即先采集影響力大的用戶所發(fā)的微博，然后才是影響力較小的。為實現(xiàn)該功能，本文設(shè)計了優(yōu)先級的計算模型。綜合新浪微博對影響力用戶的定義和各種實際情況，篩選出粉絲數(shù)、關(guān)注數(shù)、活躍度、傳播力和時間戳這五個因子。以影響力為主要因子構(gòu)建優(yōu)先隊列，使得影響力越大的用戶數(shù)據(jù)采集頻率越高，同時還通過計算時間間隔兼顧非活躍用戶的