HDFS高可用性方案的研究與設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)上數(shù)據(jù)的不斷增長，各種數(shù)據(jù)量在本世紀(jì)開始以來的15年時(shí)間里已經(jīng)呈指數(shù)級(jí)的增長趨勢。傳統(tǒng)的存儲(chǔ)系統(tǒng)已無法在數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)管理方面滿足海量數(shù)據(jù)的需求，而分布式計(jì)算框架恰好在數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)管理方面較好地彌補(bǔ)了傳統(tǒng)技術(shù)的不足。Hadoop是一個(gè)能夠處理海量數(shù)據(jù)的分布式計(jì)算框架，具有高可擴(kuò)展性、髙性能、高吞吐量等優(yōu)點(diǎn)，因此在大數(shù)據(jù)處理和存儲(chǔ)領(lǐng)域得到廣泛的應(yīng)用。HDFS是Hadoop的底層分布式文件系統(tǒng)，是一個(gè)提供高性能、高可靠、

2、高可擴(kuò)展的文件系統(tǒng)，為整個(gè)系統(tǒng)提供存儲(chǔ)服務(wù)。
　　HDFS采用了元數(shù)據(jù)與真實(shí)數(shù)據(jù)分離的設(shè)計(jì)模式，并且由一個(gè)中心服務(wù)器管理這些元數(shù)據(jù)的名字空間，即在HDFS中存在著一個(gè)叫Namenode的節(jié)點(diǎn)管理著整個(gè)HDFS的元數(shù)據(jù)，這也帶來一個(gè)新的問題，即一旦維護(hù)著整個(gè)HDFS元數(shù)據(jù)的Namenode失效，那么整個(gè)HDFS將會(huì)變得不可用，而這個(gè)Namenode也便成了整個(gè)HDFS的一個(gè)單點(diǎn)故障問題（SPOF）。
　　本文針對Namenod

3、e的單點(diǎn)故障問題，通過研究分析業(yè)界流行的高可用方案，在深入了解了HDFS的架構(gòu)機(jī)制后，提出了一種采用熱備Namenode的HDFS高可用方案。該方案能夠很好的解決HDFS集群中Namenode的單點(diǎn)故障問題，而不會(huì)犧牲較高的性能。該方案在原有HDFS架構(gòu)的基礎(chǔ)上，引進(jìn)一個(gè)熱備的Namenode節(jié)點(diǎn)，即standby Namenode。并且不斷同步active Namenode與standby Namenode內(nèi)存中的元數(shù)據(jù)，以保持名字空

4、間的一致性。為了降低HDFS在切換時(shí)候所需要的時(shí)間，本系統(tǒng)在切換Namenode的時(shí)候僅導(dǎo)入日志文件中的數(shù)據(jù)。這樣在active Namenode掉線不可用的時(shí)候，系統(tǒng)能夠自動(dòng)且快速的切換到standby Namenode。
　　此外在現(xiàn)有的Hadoop集群中，還存在著另外一個(gè)問題。集群中的數(shù)據(jù)塊的訪問率也不盡相同，有些數(shù)據(jù)塊的訪問率很高，有些則相反。在采取同一種配置的情況下會(huì)導(dǎo)致不能很好的利用集群中的資源。因此本文在研究分析了H