如今人們已經(jīng)進入云時代,該環(huán)境下存儲文件與用戶數(shù)據(jù)呈現(xiàn)快速上升趨勢,云存儲的重要性也日益凸顯。基于云理念下面向保存海量數(shù)據(jù)而制定的一種解決方案,被稱作云存儲,云存儲技術(shù)的關(guān)鍵在于運用集群技術(shù)、分布式文件系統(tǒng)在云端集中管理散落在網(wǎng)絡上的存儲資源,以滿足云環(huán)境下數(shù)據(jù)的存儲需求。大數(shù)據(jù)存儲技術(shù)中應用范圍最廣且最成熟的為HDFS系統(tǒng),基于HDFS自身存儲機制,在處理大量小文件時,面臨名字節(jié)點內(nèi)存較小等問題。因此,通過HDFS系統(tǒng)上的優(yōu)化策略讀取與文件存儲技術(shù)分析,在探討處理大數(shù)據(jù)處理、海量小文件方面具有一定現(xiàn)實意義。以下為本文完成的工作內(nèi)容:(1)本文提出PS文件合并算法,本算法主要用于存儲海量小文件方面,可以達到數(shù)據(jù)塊與文件關(guān)聯(lián)關(guān)系的相互平衡,組合多個小文件為大文件后在HDFS系統(tǒng)上保存,合并所有文件信息后保存在Redis內(nèi),利用本算法可以最大限度的使用較少的數(shù)據(jù)保存信息�；诒舅惴ńMM中間層對海量小文件處理,獲取HDFS上數(shù)據(jù)過程中采用緩存方式使得讀取信息效率更高。(2)基于Hadoop的分布式文件系統(tǒng)框架,根據(jù)小文件上的擴展名分為不同類型進行處理,完成后再組合為一個大文件,從而消耗...

【文章頁數(shù)】：78 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 研究現(xiàn)狀
        1.2.1 HDFS處理海量小文件的研究現(xiàn)狀
        1.2.2 云存儲系統(tǒng)的應用現(xiàn)狀
    1.3 主要研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 相關(guān)技術(shù)的研究
    2.1 分布式集群Hadoop相關(guān)技術(shù)
    2.2 Hadoop分布式文件系統(tǒng)(HDFS)
        2.2.1 HDFS的組成和讀寫流程
        2.2.2 HDFS的缺陷
    2.3 HBase
        2.3.1 HBase結(jié)構(gòu)組成
        2.3.2 HBase的請求處理流程
    2.4 Redis
    2.5 本章小結(jié)
第三章 小文件存儲系統(tǒng)的分析與設(shè)計
    3.1 功能性需求分析
        3.1.1 用戶角色定義
        3.1.2 用戶功能分析
    3.2 性能需求分析
        3.2.1 快速訪問
        3.2.2 高效的存儲訪問
        3.2.3 高可靠性
        3.2.4 緩存需求
        3.2.5 負載均衡
        3.2.6 廉價成本和高可擴容性
    3.3 云存儲系統(tǒng)的設(shè)計
        3.3.1 云存儲系統(tǒng)的優(yōu)化指標的分析
        3.3.2 基于Redis集群的小文件解決方案
            3.3.2.1 海量小文件存儲問題
            3.3.2.2 基于Redis集群的小文件解決方案
        3.3.3 系統(tǒng)整體架構(gòu)
    3.4 云存儲系統(tǒng)模塊設(shè)計
        3.4.1 用戶接口模塊設(shè)計
        3.4.2 預處理模塊設(shè)計
        3.4.3 文件合并模塊設(shè)計
        3.4.4 索引模塊設(shè)計
        3.4.5 緩存模塊設(shè)計
        3.4.6 提取模塊設(shè)計
        3.4.7 任務分發(fā)模塊設(shè)計
        3.4.8 前臺模塊設(shè)計
    3.5 本章小結(jié)
第四章 小文件存儲系統(tǒng)的實現(xiàn)
    4.1 預處理模塊的實現(xiàn)
    4.2 文件合并模塊的實現(xiàn)
        4.2.1 基于文件類型的小文件合并算法提出背景
        4.2.2 算法設(shè)計與實現(xiàn)
    4.3 索引模塊的實現(xiàn)
        4.3.1 基于文件類型的合并文件元數(shù)據(jù)多級索引算法的提出
        4.3.2 算法的設(shè)計和實現(xiàn)
    4.4 緩存模塊的實現(xiàn)
        4.4.1 緩存管理算法設(shè)計
        4.4.2 緩存管理算法的實現(xiàn)
        4.4.3 緩存區(qū)一致性
    4.5 提取模塊的實現(xiàn)
        4.5.1 寫文件
        4.5.2 讀文件
    4.6 任務分發(fā)模塊的實現(xiàn)
    4.7 前臺模塊的實現(xiàn)
    4.8 本章小結(jié)
第五章 系統(tǒng)測試及分析
    5.1 平臺測試環(huán)境
        5.1.1 集群搭建
        5.1.2 集群參數(shù)配置
        5.1.3 網(wǎng)絡文件系統(tǒng)配置
    5.2 實驗驗證與分析
        5.2.1 功能測試
        5.2.2 性能測試
    5.3 實驗結(jié)論分析
    5.4 本章小結(jié)
第六章 總結(jié)和展望
    6.1 工作總結(jié)
    6.2 未來展望
致謝
參考文獻



本文編號：3761789