云平臺(tái)中日志管理模塊的研究與實(shí)現(xiàn).pdf

1、隨著云計(jì)算的發(fā)展，現(xiàn)有的云計(jì)算平臺(tái)都有著龐大的組織和復(fù)雜的結(jié)構(gòu)。平臺(tái)中各個(gè)節(jié)點(diǎn)和組件模塊產(chǎn)生的日志數(shù)據(jù)巨大且分散在不同的地方，同時(shí)各個(gè)日志源獨(dú)立地產(chǎn)生不同格式的日志數(shù)據(jù)，使得日志數(shù)據(jù)的利用率低下，無法從已有的日志數(shù)據(jù)中得出有價(jià)值的信息。這就加大了云平臺(tái)開發(fā)與維護(hù)的難度。本文正是針對(duì)這樣的現(xiàn)狀和需求，圍繞云平臺(tái)中日志數(shù)據(jù)的管理與分析展開研究，并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)適用于云平臺(tái)的日志管理系統(tǒng)。從日志的收集到日志的分析以及最后的結(jié)果展示，將日志系

2、統(tǒng)劃分為日志聚合模塊、消息隊(duì)列模塊、日志分析模塊以及結(jié)果展示模塊。對(duì)每一個(gè)模塊都進(jìn)行了詳細(xì)的設(shè)計(jì)和實(shí)現(xiàn)，其中日志聚合模塊和日志分析模塊是最重要的兩個(gè)模塊。
　　針對(duì)云平臺(tái)復(fù)雜的架構(gòu)，在flume的基礎(chǔ)上實(shí)現(xiàn)了一個(gè)滿足高可用性、高可靠性、可擴(kuò)展性以及實(shí)時(shí)性要求的分布式日志收集模塊。并且在實(shí)現(xiàn)中針對(duì)flume的不足之處做出了相應(yīng)的改動(dòng)，包括功能上的改進(jìn)和性能上的優(yōu)化兩方面。功能改進(jìn)：(1)使HdfsSink能夠主動(dòng)創(chuàng)建索引，使得寫入到

3、HDFS的文件可以根據(jù)索引進(jìn)行切分，從而方便進(jìn)行并行數(shù)據(jù)處理；(2)實(shí)現(xiàn)通道切換的功能，使得各個(gè)日志采集agent發(fā)送到中心服務(wù)器的日志數(shù)據(jù)可以自動(dòng)根據(jù)當(dāng)前情況選擇不同的通道寫入，提高了吞吐量和穩(wěn)定性。性能優(yōu)化：(1)根據(jù)實(shí)際需求調(diào)整flume的基礎(chǔ)參數(shù)；(2)將HdfsSink細(xì)分，提高數(shù)據(jù)寫入存儲(chǔ)的效率。
　　日志分析模塊首先提出了日志分析的兩種方法，分布式調(diào)用跟蹤法和基于時(shí)間滑動(dòng)窗口的故障日志關(guān)聯(lián)分析法。分布式調(diào)用跟蹤法提供

4、了一種構(gòu)建分布式系統(tǒng)中請(qǐng)求調(diào)用鏈路的方法，使得分布式系統(tǒng)中構(gòu)建特定請(qǐng)求的完整路徑、計(jì)算特定請(qǐng)求耗時(shí)、計(jì)算請(qǐng)求中各個(gè)處理過程耗時(shí)以及分布式調(diào)試成為可能。故障日志關(guān)聯(lián)分析是在現(xiàn)有的經(jīng)典關(guān)聯(lián)分析算法的基礎(chǔ)上結(jié)合時(shí)間滑動(dòng)窗口的概念形成的一種適合故障日志間關(guān)聯(lián)關(guān)系分析的方法。在設(shè)計(jì)和實(shí)現(xiàn)中對(duì)滑動(dòng)窗口的確定方法進(jìn)行了改進(jìn)，避免了沖突和截?cái)噙@兩種典型的錯(cuò)誤。故障日志關(guān)聯(lián)分析最終輸出的結(jié)果是故障傳播樹，利用這棵樹可以做到故障預(yù)測(cè)和故障定位。