在現(xiàn)代計算機系統(tǒng)中,幾個主要組成部分的速度存在明顯差異,其中以CPU緩存、內(nèi)存和硬盤最為明顯。其中處理速度排序為CPU緩存>內(nèi)存>硬盤。CPU緩存與內(nèi)存之間,內(nèi)存與硬盤之間的速度差異通常為指數(shù)級,而許多運算操作都是重復(fù)地針對某一小部分?jǐn)?shù)據(jù)的,因此在各級存儲器之間利用緩存技術(shù)（Cache）就可以大大提高處理速度。在操作系統(tǒng)層次,通常是在內(nèi)存和硬盤之間使用Page Cache來提高對文件訪問速度的。但隨著大數(shù)據(jù)處理應(yīng)用的爆炸式發(fā)展,傳統(tǒng)cache系統(tǒng)已經(jīng)不能滿足對大數(shù)據(jù)讀寫的性能要求,而大數(shù)據(jù)的讀寫已經(jīng)成為影響整個網(wǎng)絡(luò)性能的至關(guān)重要的一環(huán),并成為當(dāng)今科研的焦點。對于依賴I/O性能的應(yīng)用,典型的如數(shù)據(jù)庫,一直等待新的技術(shù)出現(xiàn)以打破性能瓶頸。在此之前,身軀龐大的高端存儲,動輒重達(dá)幾噸。相比于存儲里帶的硬盤來說,價格貴得離譜,而存儲的附加價值,在于I/O在大量硬盤之間的均衡分布,以及I/O鏈路的多路容災(zāi),以及部分固件層面的優(yōu)化和數(shù)據(jù)保護等。隨著SSD等固態(tài)硬盤的出現(xiàn),上述問題得到了緩解。SSD將硬盤存儲從機械產(chǎn)品變成了電子產(chǎn)品,性能更好,功耗更小,延時更優(yōu)。在這種情況下,Facebo... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 課題研究的背景和現(xiàn)狀
        1.1.1 大數(shù)據(jù)存儲的發(fā)展和現(xiàn)狀
        1.1.2 大數(shù)據(jù)四大典型特征
        1.1.3 大數(shù)據(jù)處理在緩存級別的嘗試
        1.1.4 分布式存儲的現(xiàn)狀
    1.2 課題研究意義
    1.3 論文的主要內(nèi)容和章節(jié)安排
第二章 Linux的Cache系統(tǒng)以及寫回算法
    2.1 Linux文件的Page Cache
        2.1.1 緩存方法
        2.1.2 Page Cache在Linux系統(tǒng)的作用
        2.1.3 Page Cache在Linux中的位置
        2.1.4 Page Cache的預(yù)讀取算法
        2.1.5 Page Cache替換算法
        2.1.6 Page Cache的刷新機制
    2.2 分布式寫回系統(tǒng)
        2.2.1 傳統(tǒng)閉環(huán)寫回系統(tǒng)
        2.2.2 新閉環(huán)寫回系統(tǒng)
    2.3 新型寫回算法
        2.3.1 改進(jìn)的細(xì)流寫回算法(Modified Trickle Write-Back)
        2.3.2 固定寫回間隔算法(Fixed Interval Algorithm)
        2.3.3 可變寫回間隔算法(Fixed Interval Algorithm)
        2.3.4 量子寫回算法(Quantum Write-Back)
        2.3.5 速率變化比例算法(Rate of Change Proportional Algorithm)
第三章 FsCache、NFS的設(shè)計與實現(xiàn)
    3.1 FsCache的設(shè)計與實現(xiàn)
        3.1.1 FsCache的設(shè)計構(gòu)架
        3.1.2 FsCache的基本操作和提供的服務(wù)
        3.1.3 FsCache在性能方面的折中
        3.1.4 FsCache的對象和索引設(shè)計
        3.1.5 FsCache的當(dāng)前性能
    3.2 NFS的設(shè)計與實現(xiàn)
        3.2.1 NFS在內(nèi)核中的調(diào)用
        3.2.2 服務(wù)器端的實現(xiàn)
        3.2.3 客戶端的實現(xiàn)
        3.2.4 從協(xié)議到分布式文件系統(tǒng)
        3.2.5 客戶端分布式文件系統(tǒng)的緩存
第四章 FsCache/NFS write-back緩存的設(shè)計
    4.1 FsCache write-back緩存的設(shè)計
        4.1.1 FsCache緩存項的結(jié)構(gòu)的設(shè)計
        4.1.2 FsCache寫回控制信息的數(shù)據(jù)結(jié)構(gòu)
        4.1.3 寫回控制信息數(shù)據(jù)結(jié)構(gòu)間的關(guān)系
        4.1.4 分布式文件系統(tǒng)的注冊
        4.1.5 FsCache的線程池寫回機制
    4.2 為NFS添加Write-Back FsCache的功能
        4.2.1 與Page Cache交互額數(shù)據(jù)機構(gòu)
        4.2.2 NFS將用戶數(shù)據(jù)寫入Page Cache的過程
        4.2.3 NFS傳統(tǒng)的臟頁刷新過程
        4.2.4 NFS改進(jìn)后的臟頁寫回過程
        4.2.5 NFS對FsCache寫回設(shè)備的注冊和注銷
第五章 FsCache/NFS寫回緩存性能分析
    5.1 客戶端密集寫操作速度
        5.1.1 默認(rèn)寫回算法的性能
        5.1.2 調(diào)整寫回算法的時間間隔T
        5.1.3 調(diào)整寫回算法的寫回強度H
    5.2 網(wǎng)絡(luò)情況的改善
        5.2.1 客戶端發(fā)送數(shù)據(jù)量
        5.2.2 客戶端接收的數(shù)據(jù)量
        5.2.3 客戶端對網(wǎng)絡(luò)帶寬的占用
第六章 結(jié)束語
    6.1 論文工作總結(jié)
    6.2 進(jìn)一步技術(shù)展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間發(fā)表的論文


【參考文獻(xiàn)】：
期刊論文
[1]架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J]. 王珊,王會舉,覃雄派,周烜.  計算機學(xué)報. 2011(10)
[2]Linux頁面緩存機制分析及其對磁盤I/O性能影響[J]. 張學(xué)亮,左小翠.  計算機與現(xiàn)代化. 2010(02)



本文編號：3375644