隨著云計算和大數(shù)據(jù)的興起,海量數(shù)據(jù)的處理成為了很多業(yè)務(wù)的瓶頸,而集群內(nèi)部機器之間數(shù)據(jù)傳輸?shù)男室彩瞧渲械年P(guān)鍵。所以在當(dāng)今的數(shù)據(jù)中心中,如何高效地使用網(wǎng)絡(luò)帶寬變得非常重要,學(xué)者們提出了很多方法。冗余去除(Redundancy Elimination)就是其中一種很高效的方法。冗余去除通過刪除網(wǎng)絡(luò)中數(shù)據(jù)包中的重復(fù)內(nèi)容來降低數(shù)據(jù)中心里交換機之間的網(wǎng)絡(luò)流量。在這篇文章中,我們提出了一種提高整個數(shù)據(jù)中心中網(wǎng)絡(luò)帶寬利用率的高效的緩存協(xié)議。在我們的協(xié)議中,數(shù)據(jù)中心中的每一個數(shù)據(jù)包由一個64位的整數(shù)值來標(biāo)記,這個整數(shù)值由MD5算法計算所得。為了實現(xiàn)冗余刪除,我們在數(shù)據(jù)中心的每一個交換機中緩存最常被訪問到的數(shù)據(jù)包,然后在一個服務(wù)器向另外一個服務(wù)器發(fā)送數(shù)據(jù)包的時候,第一跳交換機會根據(jù)胖樹的路由算法來分析當(dāng)前數(shù)據(jù)包所經(jīng)過的路徑上是否有了這個數(shù)據(jù)包的緩存,如果有的話就對該數(shù)據(jù)包進行壓縮。最后在有緩存的交換機上解壓出原始數(shù)據(jù)包,發(fā)往目的服務(wù)器。在我們的協(xié)議中沒有一個中心的節(jié)點來存儲整個數(shù)據(jù)中心里邊數(shù)據(jù)包的緩存信息,我們實現(xiàn)了一種完全分布式的協(xié)議。每個交換機除了保存自己本地緩存的數(shù)據(jù)包的信息,它還會存儲其他交換機...

【文章頁數(shù)】：61 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 導(dǎo)論
第二章 背景介紹
    2.1 胖樹數(shù)據(jù)中心拓撲結(jié)構(gòu)介紹
        2.1.1 拓撲結(jié)構(gòu)
        2.1.2 路由算法
    2.2 布隆過濾器介紹
        2.2.1 算法描述
        2.2.2 假陽性和哈希函數(shù)的選取
        2.2.3 布隆過濾器的應(yīng)用
    2.3 ServerSwitch
第三章 DCP協(xié)議
    3.1 協(xié)議概述
    3.2 協(xié)議包頭
    3.3 緩存共享機制
    3.4 數(shù)據(jù)包封裝和路由算法
    3.5 小結(jié)
第四章 DCP協(xié)議實現(xiàn)和性能分析
    4.1 協(xié)議實現(xiàn)
        4.1.1 實現(xiàn)胖樹數(shù)據(jù)中心拓撲結(jié)構(gòu)
        4.1.2 實現(xiàn)DCP協(xié)議
        4.1.3 實驗?zāi)M性能對比
        4.1.4 小結(jié)
    4.2 性能分析
        4.2.1 DCP性能測試
        4.2.2 布隆過濾器的有效性
        4.2.3 緩存替換算法的比較
        4.2.4 假陽性表性能測試
        4.2.5 不同數(shù)據(jù)分布的性能對比
        4.2.6 DCP的可擴展性
        4.2.7 小結(jié)
第五章 結(jié)論
參考文獻
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄
攻讀學(xué)位期間參與的項目



本文編號：3996156