發(fā)布時(shí)間：2023-02-21 18:29

　　在大數(shù)據(jù)的背景下,人們對(duì)海量數(shù)據(jù)的存儲(chǔ)和管理越來(lái)越依賴(lài)于分布式文件系統(tǒng),而文件的放置算法是影響分布式文件系統(tǒng)整體性能的重要因素之一。近年來(lái),研究者針對(duì)文件的訪問(wèn)熱度對(duì)分布式文件系統(tǒng)的文件放置問(wèn)題進(jìn)行了研究,取得了一定的效果。但是文件訪問(wèn)熱度信息是不確定的動(dòng)態(tài)值,而且在文件存儲(chǔ)時(shí)其訪問(wèn)熱度是未知的。本文針對(duì)這一不足,對(duì)分布式文件系統(tǒng)的文件放置問(wèn)題展開(kāi)了研究。首先本文對(duì)分布式文件系統(tǒng)進(jìn)行了研究。通過(guò)對(duì)HDFS(Hadoop Distributed File System)文件放置算法相關(guān)源代碼的分析和研究,提取了 HDFS分布式文件系統(tǒng)默認(rèn)文件放置算法模型;通過(guò)Hadoop集群進(jìn)行了數(shù)據(jù)存儲(chǔ)結(jié)果的驗(yàn)證和分析,指出了 HDFS分布式文件系統(tǒng)默認(rèn)文件放置算法的不足之處。然后本文針對(duì)文件訪問(wèn)熱度信息的不確定性問(wèn)題,提出了一種不依賴(lài)文件訪問(wèn)熱度信息的分布式文件放置算法,稱(chēng)為 WDFPA(Distributed File Placement Algorithm Without Depending on Popularity Information)算法。通過(guò)分析文件的訪問(wèn)壽命,發(fā)現(xiàn)文件已創(chuàng)建時(shí)間與文...

【文章頁(yè)數(shù)】：59 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 選題背景及研究意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 分布式文件系統(tǒng)研究
        1.2.2 分布式文件放置策略研究
    1.3 論文研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
2 分布式文件系統(tǒng)技術(shù)
    2.1 分布式文件系統(tǒng)概述
        2.1.1 分布式文件系統(tǒng)定義與特點(diǎn)
        2.1.2 分布式文件系統(tǒng)關(guān)鍵技術(shù)
        2.1.3 常見(jiàn)分布式文件系統(tǒng)舉例
    2.2 HDFS文件系統(tǒng)
        2.2.1 HDFS文件系統(tǒng)架構(gòu)
        2.2.2 HDFS文件系統(tǒng)基本特征
        2.2.3 HDFS文件系統(tǒng)寫(xiě)數(shù)據(jù)流程
    2.3 本章小結(jié)
3 不依賴(lài)訪問(wèn)熱度信息的分布式文件放置算法
    3.1 HDFS文件放置模型提取
        3.1.1 HDFS文件放置相關(guān)源碼分析
        3.1.2 HDFS文件放置算法描述
        3.1.3 HDFS文件放置算法的不足
    3.2 HDFS文件放置結(jié)果分析
        3.2.1 Hadoop集群環(huán)境
        3.2.2 Hadoop集群文件放置結(jié)果分析
    3.3 不依賴(lài)文件訪問(wèn)熱度的放置算法(WDFPA)實(shí)現(xiàn)
        3.3.1 時(shí)間區(qū)間的劃分
        3.3.2 各時(shí)間區(qū)間數(shù)據(jù)量的統(tǒng)計(jì)及其動(dòng)態(tài)更新
        3.3.3 定義文件放置負(fù)載因子
        3.3.4 基于負(fù)載因子文件放置策略
    3.4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
        3.4.1 實(shí)驗(yàn)平臺(tái)開(kāi)發(fā)環(huán)境
        3.4.2 實(shí)驗(yàn)設(shè)計(jì)
        3.4.3 實(shí)驗(yàn)數(shù)據(jù)
        3.4.4 實(shí)驗(yàn)結(jié)果及分析
    3.5 本章小結(jié)
4 基于WDFPA算法的副本管理策略
    4.1 常見(jiàn)的副本管理策略
        4.1.1 HDFS默認(rèn)的副本管理策略
        4.1.2 基于文件熱度的副本管理策略
    4.2 基于WDFPA算法的副本管理策略
        4.2.1 WDFPA算法的應(yīng)用
        4.2.2 基于WDFPA算法的副本管理策略實(shí)現(xiàn)
    4.3 實(shí)驗(yàn)及結(jié)果分析
        4.3.1 各數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)負(fù)載情況
        4.3.2 各數(shù)據(jù)節(jié)點(diǎn)訪問(wèn)負(fù)載情況
        4.3.3 文件系統(tǒng)的存儲(chǔ)負(fù)載變化情況
    4.4 本章小結(jié)
5 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
致謝
參考文獻(xiàn)
附錄



本文編號(hào)：3747791