基于云計(jì)算的海量時(shí)空數(shù)據(jù)存儲(chǔ)及挖掘方法的研究和應(yīng)用.pdf

1、近年來(lái),越來(lái)越多的應(yīng)用程序收集和存儲(chǔ)大量時(shí)空數(shù)據(jù)在分布式數(shù)據(jù)庫(kù)中,使得時(shí)空數(shù)據(jù)挖掘的需求不斷增加。在公安交通管理領(lǐng)域,由于交通流數(shù)據(jù)急劇增加,加上其數(shù)據(jù)具有顯著的時(shí)空特性,使得在處理海量的時(shí)空數(shù)據(jù)上面臨著嚴(yán)重的挑戰(zhàn)。針對(duì)日益增長(zhǎng)的海量數(shù)據(jù)分析,傳統(tǒng)的處理方法在存儲(chǔ)空間和計(jì)算效率上已不能滿足用戶需求,需要有支持海量數(shù)據(jù)存儲(chǔ)和分析的平臺(tái)來(lái)適應(yīng)新的需求。
　　時(shí)空異常探測(cè)是時(shí)空數(shù)據(jù)挖掘領(lǐng)域中一個(gè)重要分支。本文針對(duì)傳統(tǒng)處理方法在時(shí)空異常探

2、測(cè)方面的局限性,設(shè)計(jì)實(shí)現(xiàn)了一個(gè)大數(shù)據(jù)存儲(chǔ)及分析平臺(tái)。主要研究?jī)?nèi)容和創(chuàng)新如下:
　　(1)本文分析和研究云平臺(tái)下Hadoop、HBase、Hive及Zookeeper的技術(shù)原理,研究了Hadoop框架的HDFS原理及MapReduce編程模型,重點(diǎn)研究了HBase分布式數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)架構(gòu)底層實(shí)現(xiàn)原理及HBase表的數(shù)據(jù)模型。在此基礎(chǔ)上,本文構(gòu)建了基于Hadoop、HBase、Hive及Zookeeper的云平臺(tái),并搭建了HBase

3、+Hive系統(tǒng)擴(kuò)展架構(gòu)。
　　(2)對(duì)時(shí)空異常探測(cè)方法進(jìn)行了深入研究,分析研究了現(xiàn)有的一些時(shí)空異常模式,通過(guò)挖掘預(yù)先定義的時(shí)空異常模式得到有價(jià)值的知識(shí)。提出了基于云平臺(tái)的四步驟時(shí)空異常探測(cè)方法(數(shù)據(jù)預(yù)處理、分布式異常探測(cè)方法、知識(shí)規(guī)則應(yīng)用、結(jié)果驗(yàn)證)來(lái)挖掘預(yù)先定義的時(shí)空異常模式,使用交通數(shù)據(jù)流中的一個(gè)真實(shí)應(yīng)用來(lái)驗(yàn)證該方法。實(shí)驗(yàn)表明該方法具有較高的運(yùn)行效率和正確性。
　　(3)研究了HBase行鍵設(shè)計(jì),提出了基于行鍵的數(shù)據(jù)模型