隨著云計算及互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,日益增長的信息需求與互聯(lián)網(wǎng)之間的交互產(chǎn)生了海量的數(shù)據(jù),傳統(tǒng)的使用單臺服務(wù)器存儲數(shù)據(jù)的文件系統(tǒng)已經(jīng)不能很好的滿足海量數(shù)據(jù)的存儲,因此需求存儲大量數(shù)據(jù)的存儲系統(tǒng)應(yīng)運而生。分布式文件系統(tǒng)基于服務(wù)器客戶端模式的設(shè)計解決了單機存儲的局限性,通過多臺服務(wù)器之間協(xié)同存儲數(shù)據(jù)。對于云環(huán)境下海量數(shù)據(jù)的存儲,分布式文件系統(tǒng)涉及大量的數(shù)據(jù)服務(wù)器節(jié)點和網(wǎng)絡(luò)設(shè)備,這些節(jié)點可以分布在各個地方,節(jié)點之間的配置存在差異,隨著線上任務(wù)的運行以及數(shù)據(jù)的讀寫,會產(chǎn)生節(jié)點之間數(shù)據(jù)存儲的不均衡,數(shù)據(jù)存儲的均衡程度對系統(tǒng)性能有重要的意義。因此,如何解決云環(huán)境下分布式文件系統(tǒng)的數(shù)據(jù)負載均衡稱為了重要的研究課題。本文針對Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System,HDFS）中數(shù)據(jù)塊副本存放不均衡導(dǎo)致系統(tǒng)性能降低的問題,進行了詳細的研究和分析。主要從數(shù)據(jù)遷移過程中的閾值和節(jié)點匹配方案兩個角度分析,分別提出了基于多變量的動態(tài)閾值調(diào)整策略和基于隊列排序的改進算法。基于多變量的動態(tài)閾值調(diào)整策略是根據(jù)Hadoop集群數(shù)據(jù)節(jié)點的多方影響因素進行系統(tǒng)評價,通過定期循環(huán)... 

【文章來源】：南京郵電大學(xué)江蘇省

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 課題研究的目的與意義
    1.2 課題研究現(xiàn)狀
    1.3 本文主要工作與組織結(jié)構(gòu)
第二章 相關(guān)背景知識介紹
    2.1 Hadoop簡介
        2.1.1 Hadoop相關(guān)開源項目
        2.1.2 分布式計算框架MapReduce
        2.1.3 分布式文件系統(tǒng)HDFS
    2.2 HDFS負載均衡技術(shù)
        2.2.1 負載均衡的意義
        2.2.2 常用負載均衡算法
    2.3 多屬性權(quán)重確定方法
        2.3.1 層次分析法
        2.3.2 序關(guān)系分析法
    2.4 本章小結(jié)
第三章 基于多變量的動態(tài)閾值均衡策略
    3.1 Hadoop負載均衡算法
        3.1.1 HDFS負載均衡算法
        3.1.2 均衡算法問題描述
    3.2 多變量動態(tài)閾值獲取優(yōu)化模型
        3.2.1 算法思想分析
        3.2.2 磁盤空間使用離散度
        3.2.3 評價指標選取
        3.2.4 集群狀態(tài)評估
    3.3 多變量動態(tài)閾值算法描述
    3.4 本章小結(jié)
第四章 基于隊列排序的負載均衡算法優(yōu)化
    4.1 Balancer算法分析
        4.1.1 Balancer存在的意義
        4.1.2 Balancer算法描述
        4.1.3 相關(guān)規(guī)則
        4.1.4 算法缺陷
    4.2 基于隊列排序的優(yōu)化模型
        4.2.1 隊列排序策略
        4.2.2 算法思想分析
        4.2.3 算法描述
    4.3 基于隊列排序算法證明
    4.4 本章小結(jié)
第五章 實驗與結(jié)果分析
    5.1 實驗環(huán)境
        5.1.1 硬件環(huán)境
        5.1.2 軟件環(huán)境
    5.2 多因素動態(tài)閾值實驗結(jié)果分析
        5.2.1 參數(shù)計算
        5.2.2 實驗結(jié)果分析
    5.3 隊列排序優(yōu)化算法實驗結(jié)果分析
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 研究展望
參考文獻
附錄1 攻讀碩士學(xué)位期間撰寫的論文
附錄2 攻讀碩士學(xué)位期間申請的專利
附錄3 攻讀碩士學(xué)位期間參加的科研項目
致謝


【參考文獻】：
期刊論文
[1]基于Hopfield神經(jīng)網(wǎng)絡(luò)的云存儲負載均衡策略[J]. 李強,劉曉峰.  計算機應(yīng)用. 2017(08)
[2]一種自適應(yīng)文件系統(tǒng)元數(shù)據(jù)服務(wù)負載均衡策略[J]. 佘楚玉,溫武少,肖揚,劉育擘,賈殷.  軟件學(xué)報. 2017(08)
[3]基于大數(shù)據(jù)的鐵路信號系統(tǒng)數(shù)據(jù)存儲與分析系統(tǒng)設(shè)計與實現(xiàn)[J]. 王偉,廖正宇,張輝,郭棟.  信息網(wǎng)絡(luò)安全. 2017(01)
[4]分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)的負載均衡框架[J]. 孫耀,劉杰,葉丹,鐘華.  軟件學(xué)報. 2016(12)
[5]基于增量式分區(qū)策略的MapReduce數(shù)據(jù)均衡方法[J]. 王卓,陳群,李戰(zhàn)懷,潘巍,尤立.  計算機學(xué)報. 2016(01)
[6]基于序關(guān)系分析法的節(jié)水型社會評價指標權(quán)重的確定[J]. 徐健,杜貞棟,林洪孝,袁娜,馮忠倫,張昊.  水電能源科學(xué). 2014(10)
[7]基于Hadoop的PB級海量數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)[J]. 簡玲.  信息網(wǎng)絡(luò)安全. 2013(11)



本文編號：3000289