基于SDN的重復(fù)數(shù)據(jù)刪除方法研究.pdf

1、隨著大數(shù)據(jù)和移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)量急劇增加，需要備份保護(hù)的數(shù)據(jù)也越來(lái)越多，為了減少存儲(chǔ)空間的開銷和降低網(wǎng)絡(luò)傳輸?shù)耐ㄐ帕?，?shù)據(jù)去重技術(shù)已經(jīng)成為了存儲(chǔ)系統(tǒng)中的一個(gè)標(biāo)準(zhǔn)特性。雖然重復(fù)數(shù)據(jù)刪除技術(shù)在存儲(chǔ)系統(tǒng)中已經(jīng)較為成熟，但是在實(shí)際應(yīng)用，特別是網(wǎng)絡(luò)傳輸應(yīng)用中仍然存在諸多問(wèn)題和挑戰(zhàn)。例如在云備份系統(tǒng)中，由于客戶端緩存有限以及廣域網(wǎng)帶寬的限制，備份過(guò)程中重復(fù)數(shù)據(jù)的判斷需要在服務(wù)器端進(jìn)行，這導(dǎo)致很大的傳輸延遲，所以會(huì)阻塞后續(xù)數(shù)據(jù)的上傳，增加了備

2、份窗口，在全局去重時(shí)問(wèn)題更加嚴(yán)重。為提高云備份中源端去重的性能，高效的重復(fù)數(shù)據(jù)刪除方法對(duì)減少備份時(shí)間具有重要的意義。
　　隨著可編程網(wǎng)絡(luò)技術(shù)如SDN(Software Defined Network)的成熟，在網(wǎng)絡(luò)中部署復(fù)雜的應(yīng)用變得簡(jiǎn)單，本文提出在SDN Controller中檢測(cè)網(wǎng)絡(luò)中的冗余數(shù)據(jù)，加快冗余數(shù)據(jù)的判斷過(guò)程，減小備份時(shí)間，在SDN控制器中增設(shè)指紋緩存，而無(wú)需在每個(gè)客戶端都緩存指紋。一定程度上，在每個(gè)客戶端開辟指紋緩

3、存，引入了多個(gè)用戶之間緩存指紋的冗余。本文提出的方法主要是通過(guò)在SDN控制器上使用Bloom filter和緩存的索引結(jié)構(gòu)來(lái)進(jìn)行網(wǎng)內(nèi)的重復(fù)數(shù)據(jù)檢測(cè)，同時(shí)通過(guò)下發(fā)流表項(xiàng)實(shí)現(xiàn)對(duì)SDN控制器中指紋緩存的查詢和更新，從而快速判斷數(shù)據(jù)是否重復(fù)，這種方法的創(chuàng)新點(diǎn)在于將冗余檢測(cè)的邏輯引入到SDN網(wǎng)絡(luò)中，和傳統(tǒng)的重復(fù)數(shù)據(jù)刪除相比，其優(yōu)勢(shì)在于不僅可以減小備份客戶端的備份窗口，而且避免了在中間網(wǎng)絡(luò)設(shè)備中進(jìn)行編解碼的復(fù)雜操作。
　　實(shí)驗(yàn)結(jié)果表明，基于S