基于MooseFS分布式存儲(chǔ)策略的研究與實(shí)現(xiàn).pdf

1、當(dāng)前互聯(lián)網(wǎng)時(shí)代的快速發(fā)展，使信息資源呈現(xiàn)出爆炸性增長(zhǎng)趨勢(shì)，網(wǎng)絡(luò)和數(shù)據(jù)已經(jīng)滲透到人們生活的方方面面。云計(jì)算和互聯(lián)網(wǎng)應(yīng)用產(chǎn)生了海量數(shù)據(jù)，對(duì)數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析技術(shù)提出了更高的需求。傳統(tǒng)的存儲(chǔ)模式存在的問題也逐漸呈現(xiàn)出來，諸如對(duì)數(shù)據(jù)的可管理性較差、系統(tǒng)可擴(kuò)展性低、存儲(chǔ)容量有限、升級(jí)維護(hù)成本較高等問題。分布式存儲(chǔ)技術(shù)可以有效地解決以上問題，其技術(shù)關(guān)鍵是應(yīng)用分布式文件系統(tǒng)，以滿足大規(guī)模數(shù)據(jù)對(duì)存儲(chǔ)容量的需求，并具有冗余存儲(chǔ)、高傳輸率、可在線擴(kuò)容等技術(shù)

2、優(yōu)點(diǎn)，可以同時(shí)滿足大規(guī)模用戶對(duì)存儲(chǔ)和訪問需求。
　　本文針對(duì)分布式存儲(chǔ)技術(shù)進(jìn)行研究，對(duì)MooseFS分布式文件系統(tǒng)的工作原理進(jìn)行了詳細(xì)分析，提出了分布式存儲(chǔ)策略的改進(jìn)方案，以優(yōu)化分布式文件系統(tǒng)的存儲(chǔ)和訪問性能。并針對(duì)視頻點(diǎn)播這一應(yīng)用場(chǎng)景，利用MooseFS分布式存儲(chǔ)平臺(tái)，部署了基于B/S架構(gòu)的視頻點(diǎn)播分布式存儲(chǔ)系統(tǒng)，可以分?jǐn)偡?wù)器端用戶的訪問壓力以及視頻文件的存儲(chǔ)壓力。
　　首先，對(duì)GFS、HDFS等典型文件系統(tǒng)進(jìn)行研究，分

3、析文件系統(tǒng)的架構(gòu)和工作原理。針對(duì)本文的研究場(chǎng)景，選擇對(duì)MooseFS分布式文件系統(tǒng)進(jìn)行深入研究。分析了MooseFS系統(tǒng)的工作原理，在此基礎(chǔ)上對(duì)其原有的存儲(chǔ)策略進(jìn)行了詳細(xì)分析，解析MooseFS存儲(chǔ)策略的源代碼，針對(duì)原有存儲(chǔ)策略存在的問題，創(chuàng)新性地提出了基于服務(wù)器性能評(píng)價(jià)函數(shù)的存儲(chǔ)策略改進(jìn)方法。系統(tǒng)在執(zhí)行存儲(chǔ)策略進(jìn)行存儲(chǔ)節(jié)點(diǎn)選擇時(shí)引入更多的服務(wù)器性能評(píng)價(jià)指標(biāo)，更全面地衡量當(dāng)前服務(wù)器的存儲(chǔ)性能，均衡服務(wù)器集群之間的存儲(chǔ)負(fù)載，以優(yōu)化Moos

4、eFS系統(tǒng)的存儲(chǔ)性能。
　　然后，針對(duì)視頻點(diǎn)播這一應(yīng)用場(chǎng)景，部署了基于B/S架構(gòu)的視頻點(diǎn)播分布式存儲(chǔ)系統(tǒng)。系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)分為兩部分，一部分是Web端基于B/S架構(gòu)的視頻點(diǎn)播模塊設(shè)計(jì)，另一部分是服務(wù)器端分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)。視頻點(diǎn)播模塊采用B/S架構(gòu)，用戶通過瀏覽器而不是復(fù)雜的應(yīng)用軟件實(shí)現(xiàn)視頻播放功能，可以節(jié)約系統(tǒng)資源。服務(wù)器端分布式存儲(chǔ)系統(tǒng)的部署，主要通過將服務(wù)器作為客戶端掛載到MooseFS分布式文件系統(tǒng)，實(shí)現(xiàn)視頻文件的分布式存

5、儲(chǔ)。
　　針對(duì)云計(jì)算快速發(fā)展的形勢(shì)下不斷增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求，本文對(duì)基于MooseFS的分布式存儲(chǔ)相關(guān)技術(shù)進(jìn)行研究，通過改進(jìn)MooseFS的存儲(chǔ)策略，使系統(tǒng)存儲(chǔ)節(jié)點(diǎn)之間的數(shù)據(jù)分布更加均衡，提高了系統(tǒng)的服務(wù)器資源利用率。通過搭建視頻點(diǎn)播分布式存儲(chǔ)系統(tǒng)，可以滿足大量視頻文件對(duì)存儲(chǔ)容量的需求，有效地分?jǐn)傁到y(tǒng)的存儲(chǔ)壓力和并發(fā)訪問壓力。本文對(duì)基于MooseFS分布式存儲(chǔ)策略的研究和系統(tǒng)實(shí)現(xiàn)，對(duì)于分布式存儲(chǔ)技術(shù)的研究和服務(wù)器集群的性能優(yōu)化方面有