大數(shù)據(jù)時效性關鍵技術的研究.pdf

1、隨著大數(shù)據(jù)時代的到來，海量數(shù)據(jù)在企業(yè)以及人們的日常生活中都有廣泛的應用。數(shù)據(jù)質量對數(shù)據(jù)的應用效果起著至關重要的作用，其中數(shù)據(jù)時效性問題是數(shù)據(jù)質量的主要影響因素之一，由于在實際應用中，時間戳往往不完全甚至不存在，當前數(shù)據(jù)時效性問題的研究主要包括利用時序關系和時效約束及參照數(shù)據(jù)的方法推導實體時效性最高的屬性值；結合時效規(guī)則和條件函數(shù)依賴協(xié)同提高數(shù)據(jù)時效性和一致性；結合時效規(guī)則和統(tǒng)計技術提高數(shù)據(jù)時效性。本文根據(jù)大數(shù)據(jù)特點：規(guī)模性，高速性，多樣

2、性，提出了大數(shù)據(jù)時效性問題的一些關鍵技術。本文的研究內容主要包括以下幾個方面：
　　根據(jù)大數(shù)據(jù)特點規(guī)模性，通過分布式處理框架MapReduce處理海量數(shù)據(jù)，將海量數(shù)據(jù)時效性問題歸約到k-Partition問題（NP-完全問題）。然后擴展2-Partition問題的近似算法，提出基于MapReduce的并行近似算法，優(yōu)化了reduce端負載平衡效果，算法近似比接近于1。通過實驗驗證了負載平衡的MapReduce過程執(zhí)行效率與準確性。

3、
　　根據(jù)大數(shù)據(jù)特點高速性，提出動態(tài)數(shù)據(jù)時效性模型，首先對原數(shù)據(jù)集進行預處理，根據(jù)時效規(guī)則對描述同一實體的記錄進行按照時效性排序。然后，動態(tài)實時處理更新數(shù)據(jù)。同時我們從以下幾個方面提高算法執(zhí)行效率：建立實體查詢B樹，從而提高查找更新數(shù)據(jù)相應實體的時間；引入實體存儲靜態(tài)鏈表結構以減少更新數(shù)據(jù)集的時間；根據(jù)時效規(guī)則建立屬性執(zhí)行順序的拓撲圖和屬性值與元組號之前的倒排索引，優(yōu)化處理時效規(guī)則的過程。
　　根據(jù)大數(shù)據(jù)特點多樣性，將數(shù)據(jù)質