分布式數(shù)據(jù)庫中數(shù)據(jù)庫復制的研究與實現(xiàn).pdf

1、分布式數(shù)據(jù)庫作為海量數(shù)據(jù)服務的一種解決方案已被廣泛應用，它的多節(jié)點結構降低了系統(tǒng)對單個節(jié)點的性能要求的同時卻提高了系統(tǒng)出錯的概率。數(shù)據(jù)庫復制技術最初的目的是防止單個數(shù)據(jù)庫中的數(shù)據(jù)丟失，為了提高數(shù)據(jù)節(jié)點的安全性和可用性，該技術被廣泛應用到分布式數(shù)據(jù)庫中，以提高系統(tǒng)的性能和錯誤恢復能力。數(shù)據(jù)庫復制的核心問題是數(shù)據(jù)的一致性與實時性，針對這兩個問題，現(xiàn)有的研究中引入了很多新技術，但這些研究大多只側重于其中一個問題。在實際應用中，分布式數(shù)據(jù)庫必須

2、面對高并發(fā)和大數(shù)據(jù)的挑戰(zhàn)，因此對數(shù)據(jù)庫復制的性能要求很高，而現(xiàn)有的復制系統(tǒng)大部分集成于特定數(shù)據(jù)庫產品中，通用性不強，其中有的無法確保強一致性，有的則實時性不足。因此，為了提高復制效率的同時保證數(shù)據(jù)一致性，本文通過重點研究并解決基于事務的復制技術、多線程復制中的事務可串行性保持機制、沖突檢測與處理機制、熱備份動態(tài)切換中的一致性保持等關鍵技術問題，在分析現(xiàn)有數(shù)據(jù)庫復制系統(tǒng)優(yōu)缺點的基礎上，結合Cobar分布式系統(tǒng)的特點，設計出適合星型結構分布

3、式數(shù)據(jù)庫的多線程復制系統(tǒng)的框架。
　　本文的主要研究和工作體現(xiàn)在下列幾個方面:
　　(1)基于對常見復制技術與Cobar系統(tǒng)的框架分析確定適用于Cobar系統(tǒng)的數(shù)據(jù)庫復制方案。首先，以Cobar系統(tǒng)現(xiàn)有的MySQL主從復制機制為例，指出其中不僅存在較大的效率瓶頸，也存在節(jié)點失效后數(shù)據(jù)丟失的問題。然后在分析數(shù)據(jù)庫復制系統(tǒng)的通用框架結構的基礎上，針對復制對象捕獲，復制數(shù)據(jù)分發(fā)，數(shù)據(jù)同步中的一致性保持和并行操作中的沖突檢測與處理這

4、四個主要模塊，分析比較各模塊中需要面對的主要問題以及常用的解決方案。
　　(2)設計了一種以事務為基本復制對象的主從異步復制系統(tǒng)DRFC(Database ReplicationFor Cobar)。該系統(tǒng)框架的設計是基于通用框架演變而來，對其中部分模塊功能做了更細致的劃分，能有效減少節(jié)點間的通訊量，減小對Cobar系統(tǒng)運行的影響，復制過程采用多線程技術，提高了復制的效率。系統(tǒng)的設計主要包括:對象捕獲模塊、數(shù)據(jù)封裝與解析模塊、事務

5、管理模塊、同步管理模塊、數(shù)據(jù)同步模塊、沖突檢測與處理模塊、動態(tài)切換模塊和各模塊的調用接口設計。
　　(3)設計了一種多線程異步復制下的主從一致性和系統(tǒng)全局一致性保持機制。研究了三種多線程復制中一致性保持策略，提出并設計了并行執(zhí)行串行提交復制策略的改進方案。該方案以時間戳和系統(tǒng)分配的事務編號為事務串行化依據(jù)，利用事務鎖進行同步控制，各事務不用嚴格按照串行順序提交。
　　(4)根據(jù)DRFC系統(tǒng)的具體設計，實現(xiàn)了該系統(tǒng)并完成相關測