基于遺傳算法的Hadoop平臺作業(yè)調度算法改進.pdf

1、隨著互聯(lián)網技術的迅猛發(fā)展，大規(guī)模的數據也隨之產生，傳統(tǒng)的數據存儲方式已經滿足不了海量數據對于存儲和處理的需求。云計算平臺的出現，則為海量數據帶來的問題給出了一個很好的解決方案。在眾多云計算平臺當中，本文選取了具有諸多優(yōu)點的Hadoop云計算平臺作為研究對象。Hadoop平臺是一個開源的、可擴展、可靠性高的分布式計算框架。作業(yè)調度算法是Hadoop平臺的關鍵技術之一，直接關系到Hadoop平臺的整體性能和系統(tǒng)資源的利用情況。
　　本

2、文首先闡述了Hadoop的背景知識，詳細分析了Hadoop技術，包括HDFS和MapReduce兩大核心內容，并深入研究了作業(yè)調度流程及系統(tǒng)自帶的三種調度算法:系統(tǒng)自帶三種算法中，先進先出算法思想簡單，不適用于多用戶處理作業(yè);計算能力調度算法和公平調度算法都需要合適的參數配置，對系統(tǒng)管理員壓力很大。而且，三種算法在面對大量短作業(yè)時，考慮到作業(yè)切換的時間花銷，處理速度并不如人意。
　　然后，本文以減少處理大規(guī)模短作業(yè)的時間，同時兼顧

3、長作業(yè)運行時間的要求為目的，改進現有的作業(yè)調度算法，從作業(yè)角度考慮，提出了把前若干個短作業(yè)分解的任務作為一個大隊列，并根據遺傳算法所提供的解空間來選擇運行序列，避免了短作業(yè)之間頻繁的切換需要的時間開銷。同時為了自適應長作業(yè)，設置了任務隊列長度限制來滿足需求。
　　最后搭建Hadoop平臺，并通過在平臺上運行作業(yè)的實驗結果，說明了面對大量的短作業(yè)，本文提出的算法比起原有的作業(yè)調度算法，在總體運行時間上有了較大的縮短。證明了提出的算法