Spark性能數(shù)據(jù)收集分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、伴隨著計算機(jī)信息技術(shù)的迅猛發(fā)展，分布式計算在行業(yè)內(nèi)得到了大力發(fā)展，Spark作為目前非常流行的分布式計算框架，已經(jīng)被開發(fā)者廣泛運用于企業(yè)業(yè)務(wù)中。開發(fā)者希望了解 Spark作業(yè)程序運行時集群底層的性能數(shù)據(jù)，從而掌握整個 Spark集群的運行情況，找出系統(tǒng)瓶頸，從而進(jìn)行性能調(diào)優(yōu)工作，提高計算效率，減少任務(wù)運行時間。所以，開發(fā)一套 Spark性能數(shù)據(jù)收集分析系統(tǒng)對于開發(fā)者進(jìn)行性能優(yōu)化顯得尤為重要。
　　本文對 Spark性能數(shù)據(jù)收集分析

2、系統(tǒng)的設(shè)計與實現(xiàn)做了詳細(xì)介紹。本文首先對于用戶需求進(jìn)行了詳細(xì)分析。之后根據(jù)功能性需求將系統(tǒng)的功能模塊劃分為配置與監(jiān)控、數(shù)據(jù)收集、數(shù)據(jù)處理與數(shù)據(jù)分析四個方面。本文設(shè)計并實現(xiàn)了所有功能模塊，最后設(shè)計了測試方案，給出了測試結(jié)論。
　　本系統(tǒng)設(shè)計實現(xiàn)的Spark性能數(shù)據(jù)收集系統(tǒng)基于Akka架構(gòu)，采用了主從節(jié)點的分布式設(shè)計思想，實現(xiàn)了分布式的性能數(shù)據(jù)收集處理功能。數(shù)據(jù)收集模塊通過運行在子節(jié)點上的DSTAT監(jiān)控工具來進(jìn)行Spark性能數(shù)據(jù)的采

3、集存儲，保證了數(shù)據(jù)收集結(jié)果的正確性與實時性，同時這種設(shè)計模塊便于開發(fā)新的系統(tǒng)服務(wù)，具有很高的擴(kuò)展性。數(shù)據(jù)處理模塊對于Spark運行日志與性能數(shù)據(jù)進(jìn)行解析，并將兩者的解析結(jié)果通過不同類型的統(tǒng)計圖進(jìn)行輸出展示。數(shù)據(jù)分析算法對于集群進(jìn)行狀態(tài)劃分，對資源空閑情況進(jìn)行分析，計算出未利用資源所占比例，同時將不同服務(wù)器上性能數(shù)據(jù)的差異轉(zhuǎn)化成歐氏距離計算出來，進(jìn)行負(fù)載平衡分析，給出自動化的分析報告，為開發(fā)者進(jìn)行性能調(diào)優(yōu)提供了直接的參考。
　　本文