基于Storm分布式食品安全網(wǎng)絡(luò)輿情檢測(cè)方法研究.pdf

1、近十年，食品安全問(wèn)題儼然成為了社會(huì)關(guān)注的熱門(mén)話題，頻繁發(fā)生的食品安全話題具有傳播速度快、影響極其深遠(yuǎn)的特點(diǎn)。因此，話題檢測(cè)的時(shí)效性要求變高，但是當(dāng)前世界已經(jīng)進(jìn)入大數(shù)據(jù)的時(shí)代，數(shù)據(jù)量呈指數(shù)增長(zhǎng)，數(shù)據(jù)量的爆炸導(dǎo)致傳統(tǒng)的框架已經(jīng)無(wú)法做到實(shí)時(shí)處理，食品安全網(wǎng)絡(luò)輿情監(jiān)測(cè)研究迫在眉睫。本文的主要研究?jī)?nèi)容包括基于Storm分布式框架的話題提取、基于自編碼神經(jīng)網(wǎng)絡(luò)的文本數(shù)據(jù)特征提取和分布式食品安全網(wǎng)絡(luò)輿情檢測(cè)系統(tǒng)的改進(jìn)。主要工作如下:
　　1、當(dāng)

2、前話題檢測(cè)的時(shí)效性要求高，因此，本文將Single-Pass話題檢測(cè)算法在Storm分布式框架上進(jìn)行了改進(jìn)，有效地提高了話題的檢測(cè)速度，且隨著集群中機(jī)器節(jié)點(diǎn)數(shù)量的增加，在保證聚類精度的同時(shí)，算法運(yùn)算速度相應(yīng)增加，從而有效提高了話題檢測(cè)的時(shí)效性。
　　2、因?yàn)閭鹘y(tǒng)的Single-Pass算法的聚類精度不高，所以本課題基于自編碼神經(jīng)網(wǎng)絡(luò)對(duì)Single-Pass進(jìn)行改進(jìn)。該算法在特征提取時(shí)擁有多個(gè)隱藏層，可以對(duì)原始數(shù)據(jù)實(shí)現(xiàn)重構(gòu)，因而可以