面向MapReduce的調(diào)度策略優(yōu)化研究.pdf

1、互聯(lián)網(wǎng)時(shí)代的快速發(fā)展帶來了大數(shù)據(jù)時(shí)代，大規(guī)模數(shù)據(jù)的高效處理對(duì)生產(chǎn)和實(shí)踐意義重大，傳統(tǒng)的計(jì)算模式已無法滿足海量數(shù)據(jù)的處理需求。2004年，在Google發(fā)表了GFS和MapReduce的論文后，Hadoop開源項(xiàng)目應(yīng)運(yùn)而生。Hadoop由HDFS和MapReduce構(gòu)成，MapReduce作為其核心組件，主要負(fù)責(zé)海量數(shù)據(jù)的分布式處理，其計(jì)算性能是一個(gè)備受關(guān)注的熱點(diǎn)問題。通過大量的調(diào)研和實(shí)驗(yàn)分析發(fā)現(xiàn)，數(shù)據(jù)本地化是影響MapReduce計(jì)算框

2、架性能的一個(gè)重要因素，它對(duì)集群網(wǎng)絡(luò)帶寬的消耗和節(jié)點(diǎn)的計(jì)算效率都構(gòu)成影響。本文以MapReduce數(shù)據(jù)本地化為切入點(diǎn)，旨在通過提升MapReduce數(shù)據(jù)本地化來提升作業(yè)的執(zhí)行效率。
　　數(shù)據(jù)本地化即數(shù)據(jù)源在計(jì)算本地，本文深入剖析了MapReduce任務(wù)調(diào)度機(jī)制，發(fā)現(xiàn)MapReduce選擇數(shù)據(jù)塊和計(jì)算節(jié)點(diǎn)時(shí)的粗糙性是其數(shù)據(jù)本地化程度不高的主要原因。為了解決這個(gè)問題，本文對(duì)任務(wù)調(diào)度和資源分布進(jìn)行了高度抽象并建模，提出了Bolas和Bol

3、as+兩個(gè)高效的任務(wù)調(diào)度算法，解決了MapReduce數(shù)據(jù)本地化的問題，也提升了作業(yè)執(zhí)行效率。
　　在MapReduce調(diào)度優(yōu)化方面，本文有很好的創(chuàng)新性。Bolas創(chuàng)新性的將MapRe-duce的任務(wù)調(diào)度抽象為帶權(quán)二分圖的最優(yōu)匹配問題，并創(chuàng)新性的解決了二分圖匹配過程中計(jì)算節(jié)點(diǎn)和數(shù)據(jù)塊的不匹配問題。Bolas+創(chuàng)新性的提出基于數(shù)據(jù)塊標(biāo)記的輕量級(jí)調(diào)度策略，在調(diào)度中，對(duì)數(shù)據(jù)塊和節(jié)點(diǎn)進(jìn)行了更加精細(xì)化的考慮。
　　通過大量實(shí)驗(yàn)證明，B

4、olas可以將作業(yè)的數(shù)據(jù)本地化程度提升到100％，作業(yè)的執(zhí)行效率能平均提升25%，Bolas+的數(shù)據(jù)本地化程度平均能保持在95%以上，隨著作業(yè)規(guī)模變大，本地化趨于100%，作業(yè)執(zhí)行效率能平均提升15%。基于圖匹配Bolas雖然能取得很好的調(diào)度結(jié)果，但其算法復(fù)雜度為O(n3)，隨著作業(yè)規(guī)模的增大大，響應(yīng)時(shí)間增速變快；基于數(shù)據(jù)塊標(biāo)記的Bolas+的算法復(fù)雜度為O(n/m)，其響應(yīng)時(shí)間隨著作業(yè)規(guī)模的增大是線性增長(zhǎng)的，n代表數(shù)據(jù)塊的數(shù)量，m代表