基于Spark大數(shù)據(jù)平臺(tái)日志審計(jì)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)、網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)安全已經(jīng)逐漸成為一個(gè)全球性問(wèn)題，受到世界范圍內(nèi)各行各業(yè)的高度重視。危害網(wǎng)絡(luò)安全的行為主要有偽造、修改、竊聽(tīng)和中斷。為排除系統(tǒng)隱含的安全威脅通常采用加密、身份認(rèn)證、授權(quán)和審計(jì)等安全措施以提高網(wǎng)絡(luò)的安全性。審計(jì)是通過(guò)追蹤客戶的訪問(wèn)內(nèi)容和訪問(wèn)方式進(jìn)而查找系統(tǒng)所存的安全隱患，從而制定相應(yīng)安全措施以彌補(bǔ)系統(tǒng)存在的安全漏洞。
　　日志審計(jì)系統(tǒng)是目前在計(jì)算機(jī)和網(wǎng)絡(luò)中廣泛使用的一種審計(jì)工具。隨著企業(yè)的網(wǎng)絡(luò)結(jié)構(gòu)日益復(fù)

2、雜，日志審計(jì)系統(tǒng)面臨數(shù)據(jù)量巨大、數(shù)據(jù)存儲(chǔ)格式和采集方式多樣性和數(shù)據(jù)處理實(shí)時(shí)性等諸多問(wèn)題。大數(shù)據(jù)技術(shù)的4V特征，Volume（大量）、Velocity（高速）、Variety（多樣性）、Value（價(jià)值），表明采用大數(shù)據(jù)技術(shù)的日志審計(jì)系統(tǒng)必然成為下一代審計(jì)系統(tǒng)的發(fā)展趨勢(shì)。本文通過(guò)對(duì)大數(shù)據(jù)Spark技術(shù)和日志審計(jì)系統(tǒng)的深入分析研究，對(duì)基于Spark技術(shù)的日志審計(jì)系統(tǒng)進(jìn)行了詳盡的設(shè)計(jì)和實(shí)現(xiàn)。
　　在需求分析階段，對(duì)需求進(jìn)行了整體概述并且

3、明確了系統(tǒng)開(kāi)發(fā)的目標(biāo)以及要解決的問(wèn)題。使用用例圖等UML工具按照功能性和非功能性的劃分對(duì)系統(tǒng)需求進(jìn)行了詳細(xì)說(shuō)明。其中功能性需求中對(duì)集中管理平臺(tái)、告警分析、統(tǒng)計(jì)查詢、審計(jì)倒查、日志采集進(jìn)行了用例描述，非功能性需求中給出了項(xiàng)目約束以及開(kāi)發(fā)和運(yùn)行期項(xiàng)目質(zhì)量需求。
　　在系統(tǒng)架構(gòu)部分根據(jù)系統(tǒng)需求分析得出了設(shè)計(jì)目標(biāo)及原則并進(jìn)一步給出了系統(tǒng)的物理架構(gòu)和整體架構(gòu)。其中物理架構(gòu)系統(tǒng)在物理環(huán)境下所處的位置;系統(tǒng)的體系結(jié)構(gòu)包括整個(gè)系統(tǒng)的完整功能模塊。

4、
　　在系統(tǒng)架構(gòu)設(shè)計(jì)完畢的基礎(chǔ)上，對(duì)系統(tǒng)進(jìn)行了更進(jìn)一步的詳細(xì)設(shè)計(jì)。詳細(xì)設(shè)計(jì)包括整體結(jié)構(gòu)設(shè)計(jì)、模塊設(shè)計(jì)和數(shù)據(jù)庫(kù)設(shè)計(jì)。整體的結(jié)構(gòu)設(shè)計(jì)又分為橫向和縱向兩個(gè)角度的設(shè)計(jì)。橫向結(jié)構(gòu)由三層構(gòu)成:展現(xiàn)層、業(yè)務(wù)層、模型層，縱向結(jié)構(gòu)由三個(gè)模塊構(gòu)成:集中管理平臺(tái)、分析模塊、日志模塊。該模塊設(shè)計(jì)實(shí)現(xiàn)了日志模塊、分析模塊和集中管理平臺(tái)，完成了日志采集、標(biāo)準(zhǔn)化、規(guī)則匹配、報(bào)警功能以及視圖展示功能。數(shù)據(jù)庫(kù)設(shè)計(jì)給出了數(shù)據(jù)庫(kù)的整體結(jié)構(gòu)設(shè)計(jì)和表結(jié)構(gòu)。
　　在詳

5、細(xì)設(shè)計(jì)的基礎(chǔ)上，描述了具體實(shí)現(xiàn)和測(cè)試的部分工作內(nèi)容。例如采集模塊Flume的配置文件，XML規(guī)范化文件，分析模塊主函數(shù)的代碼以及系統(tǒng)運(yùn)行情況等。最后對(duì)基于Spark大數(shù)據(jù)平臺(tái)日志審計(jì)系統(tǒng)的應(yīng)用情況作了簡(jiǎn)單介紹，并進(jìn)行了總結(jié)，對(duì)基Spark大數(shù)據(jù)平臺(tái)日志審計(jì)系統(tǒng)的發(fā)展進(jìn)行了展望。
　　本文所涉及實(shí)現(xiàn)的基于Spark大數(shù)據(jù)平臺(tái)日志審計(jì)系統(tǒng)，具有速度快、伸縮性良好、處理數(shù)據(jù)量大等優(yōu)點(diǎn)，在實(shí)際運(yùn)行中取得了良好效果，為日志審計(jì)系統(tǒng)的分析和研