基于時(shí)間序列數(shù)據(jù)挖掘的日志分析技術(shù)的研究.pdf

1、各種操作系統(tǒng)、應(yīng)用程序、設(shè)備等產(chǎn)生的日志數(shù)據(jù)蘊(yùn)藏著豐富的信息，對(duì)日志數(shù)據(jù)的挖掘和分析不僅能夠幫助管理人員提前發(fā)現(xiàn)、避開(kāi)潛在的隱患，找到安全事件的根本原因，還能夠挖掘出日志數(shù)據(jù)背后潛在的更多的信息。隨著日志數(shù)據(jù)的重視程度越來(lái)越高，如何有效的挖掘和分析日志數(shù)據(jù)已成為當(dāng)前的研究熱點(diǎn)。
　　日志數(shù)據(jù)具有時(shí)間序列的性質(zhì)，使用時(shí)間序列數(shù)據(jù)挖掘技術(shù)能夠?qū)ζ溥M(jìn)行更有效的挖掘和分析。序列模式挖掘作為時(shí)間序列數(shù)據(jù)挖掘技術(shù)的重要研究?jī)?nèi)容之一，能夠挖掘日

2、志數(shù)據(jù)中頻繁出現(xiàn)的序列模式，這些頻繁出現(xiàn)的序列模式往往反映了日志記錄的事件之間的相互關(guān)系，具有重要的研究意義和價(jià)值。本文對(duì)序列模式挖掘的兩個(gè)應(yīng)用廣泛的GSP算法和PrefixSpan算法進(jìn)行了改進(jìn)，主要的研究工作如下:
　　(1)針對(duì)GSP算法需要遍歷整個(gè)序列集、需要多次遍歷k頻繁序列以及遍歷k頻繁序列速度慢的缺陷，提出了一種基于序列集優(yōu)化及索引前綴樹(shù)的GSP改進(jìn)算法。該算法基于本文所提的序列集優(yōu)化方法以及本文設(shè)計(jì)的索引前綴樹(shù)數(shù)據(jù)

3、結(jié)構(gòu)，有效減少了算法的運(yùn)行時(shí)間。對(duì)比實(shí)驗(yàn)結(jié)果表明，基于序列集優(yōu)化及索引前綴樹(shù)的GSP改進(jìn)算法的運(yùn)行時(shí)間明顯低于未改進(jìn)的GSP算法，但會(huì)花費(fèi)了更多的空間代價(jià)。
　　(2)針對(duì)PrefixSpan算法占據(jù)了大量?jī)?nèi)存的缺陷，提出了一種基于后綴索引的PrefixSpan改進(jìn)算法。對(duì)比實(shí)驗(yàn)結(jié)果表明，基于后綴索引的PrefixSpan改進(jìn)算法在運(yùn)行時(shí)的內(nèi)存使用情況明顯低于未改進(jìn)的PrefixSpan算法，并且其運(yùn)行時(shí)間與未改進(jìn)的PrefixS

4、pan算法的運(yùn)行時(shí)間相接近。
　　(3)為了驗(yàn)證PrefixSpan算法記錄的后綴中含有非頻繁項(xiàng)對(duì)算法的時(shí)間性能是否會(huì)產(chǎn)生影響，提出了一種基于投影數(shù)據(jù)庫(kù)優(yōu)化的PrefixSpan算法。對(duì)比實(shí)驗(yàn)結(jié)果表明，后綴中含有非頻繁項(xiàng)不會(huì)降低PrefixSpan算法的時(shí)間性能，刪除后綴中非頻繁項(xiàng)的操作反而會(huì)花費(fèi)大量時(shí)間。本研究同時(shí)證明了基于后綴索引的PrefixSpan算法不會(huì)因?yàn)槭褂昧撕缶Y索引導(dǎo)致其時(shí)間性能的降低。
　　(4)對(duì)改進(jìn)前后