非平穩(wěn)數(shù)據(jù)流的概念漂移檢測(cè)及其分類.pdf

1、隨著信息時(shí)代的到來(lái)，人們?cè)桨l(fā)察覺(jué)到信息的重要性并開(kāi)始以各種方式搜尋“黃金”般的信息，其中最為突出也最為準(zhǔn)確的是從數(shù)據(jù)中得到信息。而收集數(shù)據(jù)的源頭之多、不完整性以及數(shù)據(jù)特征急劇膨脹，特別是數(shù)據(jù)流的出現(xiàn)，數(shù)據(jù)的存儲(chǔ)管理和數(shù)據(jù)分析出現(xiàn)了前所未有的困境。人們對(duì)數(shù)據(jù)中信息的渴求與目前落后數(shù)據(jù)存儲(chǔ)管理與挖掘技術(shù)的矛盾愈來(lái)愈烈，常常出現(xiàn)“望數(shù)興嘆”的場(chǎng)景。這種存在概念漂移、大量噪聲數(shù)據(jù)以及分布不均衡的數(shù)據(jù)流稱為非平穩(wěn)流，本文針對(duì)非平穩(wěn)數(shù)據(jù)流的概念漂移

2、及其分類問(wèn)題進(jìn)行分析研究。
　　 首先對(duì)數(shù)據(jù)流挖掘的背景和意義及分類問(wèn)題所面臨的挑戰(zhàn)進(jìn)行闡述;同時(shí)詳細(xì)地對(duì)目前存在的概念漂移應(yīng)對(duì)方法從檢測(cè)和處理的角度進(jìn)行總結(jié)和概述;不同側(cè)面地對(duì)數(shù)據(jù)流分類問(wèn)題從單分類器和集成分類器進(jìn)行探討;并歸結(jié)當(dāng)前概念漂移檢測(cè)和處理及數(shù)據(jù)流分類方法存在的問(wèn)題，從而提出本文研究的突破點(diǎn)。
　　 提出了基于鞅的數(shù)據(jù)流概念漂移檢測(cè)方法(CDDBM)，該方法是在研究了前人學(xué)者們從數(shù)據(jù)分布角度對(duì)概念漂移檢測(cè)的方

3、法后，在統(tǒng)計(jì)學(xué)鞅理論的基礎(chǔ)上歸納出了鞅檢測(cè)概念漂移的原理。該方法認(rèn)為概念漂移的發(fā)生不僅是因?yàn)閿?shù)據(jù)簇中心的變化，其半徑變化也會(huì)引起概念漂移，從而重定義了數(shù)據(jù)的相異度量的方法，并提出雙重冪鞅更為全面的統(tǒng)計(jì)方法，另外對(duì)合理控制概念漂移積累的閾值進(jìn)行和檢測(cè)窗口尺寸，使得該方法在理論上和實(shí)驗(yàn)中都取得了良好的效果，有效控制了誤報(bào)率和失報(bào)率。
　　 提出了基于特征漂移的數(shù)據(jù)流無(wú)監(jiān)督集成分類方法(ECFD)，該方法在不同數(shù)據(jù)特征對(duì)數(shù)據(jù)分類具有不