基于主題爬蟲的食品安全網(wǎng)絡輿情分析方法研究與監(jiān)測系統(tǒng)開發(fā).pdf

1、近年來“食品安全”問題屢見不鮮，嚴重影響到人們的日常生活，為了能夠及時的從網(wǎng)絡新聞中發(fā)現(xiàn)可能會爆發(fā)的熱點話題，尤其是具有負面影響的食品安全事件，幫助政府相關部門及時了解事件的發(fā)展動向和社會輿論，本文對其進行了方法研究和實現(xiàn)。
　　本文的主要研究內(nèi)容可以分為三個部分:主題爬蟲的改進和實現(xiàn)、輿情分析及話題提取、食品安全輿情分析系統(tǒng)的開發(fā)。
　　對于主題爬蟲部分，在主題爬蟲技術的基本原理和關鍵技術的基礎上，提出了一種改進的主題爬蟲

2、方法:將傳統(tǒng)的網(wǎng)頁正文獲取技術進行了改進，得到一種基于HTML代碼解析和文字密度相結(jié)合的正文抽取方法，可以一定程度提高正文抽取的準確率;將文本相似度計算中的向量空間模型方法進行了改進，得到一種降維VSM的多參考因素的相似度計算方法，并結(jié)合網(wǎng)頁內(nèi)容與主題內(nèi)容進行相似度的計算;與此同時，優(yōu)化了爬蟲的初始種子模塊和動態(tài)閾值調(diào)整模塊;對大規(guī)模URL的排序、去重和多線程也進行了相應的改進。經(jīng)過對各個模塊的優(yōu)化，實現(xiàn)了一個面向特定主題的爬蟲系統(tǒng)，通

3、過實驗對比，證明改進后的主題爬蟲在效率和精確度方面都得到了較大的提高。
　　在輿情分析及話題提取部分，通過比較幾種常用聚類算法的優(yōu)缺點，最終選擇使用single-pass聚類算法;并對single-pass聚類算法進行了改進，將聚類過程中的簇中心向量確定方法進行了修正，得到一種基于時間參考因素的多層single-pass聚類算法;對傳統(tǒng)的話題提取過程進行了改進，得到一種基于向量空間模型的改進single-pass聚類方法的話題提取