本文關(guān)鍵詞：基于HDFS的分布式存儲中負(fù)載均衡技術(shù)研究

  更多相關(guān)文章： 分布式存儲 HDFS 負(fù)載均衡 資源調(diào)度

【摘要】：在線教育模式的改變,導(dǎo)致了用戶量的急速增長和視頻資源的迅速增加,給存儲以及系統(tǒng)的整體性能帶來了考驗(yàn)。如何合理的進(jìn)行數(shù)據(jù)的存儲以及高效的給用戶返回所需的數(shù)據(jù)成為了問題的關(guān)鍵。分布式技術(shù)作為當(dāng)前的熱門技術(shù)為以上問題提供了解決方案。其中的負(fù)載均衡算法是影響系統(tǒng)性能的關(guān)鍵算法。在對比分析了各種負(fù)載均衡算法之后,本課題將對其進(jìn)行一些改進(jìn)并最終設(shè)計(jì)并實(shí)現(xiàn)一個高效的分布式視頻存儲系統(tǒng)。首先本課題針對處理視頻文件需要計(jì)算機(jī)各方面性能充分配合的特性,設(shè)計(jì)了一種基于多指標(biāo)的節(jié)點(diǎn)負(fù)載情況評價(jià)方程,并基于節(jié)點(diǎn)實(shí)時(shí)工作情況和該方程設(shè)計(jì)一個負(fù)載均衡算法,將能夠在視頻處理過程中起到作用的系統(tǒng)性能指標(biāo)都經(jīng)過量化后加進(jìn)算法。通過實(shí)驗(yàn)表明,引入新的負(fù)載均衡算法后,能夠較大的提升分布式存儲系統(tǒng)的整體資源利用率,使系統(tǒng)各個節(jié)點(diǎn)達(dá)到更完美的均衡,并且同時(shí)能夠保證用戶端請求服務(wù)的質(zhì)量。除此之外,本課題還針對視頻文件如果經(jīng)常大規(guī)模轉(zhuǎn)移會帶來系統(tǒng)性能嚴(yán)重下降的問題,對其原有的延遲調(diào)度策略針對處理視頻文件的特殊場景進(jìn)行了一些改進(jìn),使其可以動態(tài)的調(diào)整等待時(shí)間。通過實(shí)驗(yàn)表明,經(jīng)過改進(jìn)后無論是系統(tǒng)整體性能還是作業(yè)的平均響應(yīng)時(shí)間方面都有了較大的提升。最終本課題設(shè)計(jì)并實(shí)現(xiàn)了一個基于Hadoop的分布式存儲系統(tǒng),并且系統(tǒng)針對視頻文件的特性進(jìn)行了改進(jìn),具有以下特點(diǎn):1)在上傳視頻文件時(shí),系統(tǒng)會根據(jù)節(jié)點(diǎn)實(shí)時(shí)的負(fù)載情況選擇最優(yōu)的節(jié)點(diǎn)來存儲數(shù)據(jù),并且避免了節(jié)點(diǎn)的負(fù)載均衡操作對用戶請求服務(wù)質(zhì)量的影響。2)在用戶請求視頻文件時(shí),系統(tǒng)會盡量保證數(shù)據(jù)的本地性服務(wù),提高了系統(tǒng)的整體性能,同時(shí)又兼顧了用戶請求的響應(yīng)速度,保證了服務(wù)的質(zhì)量。
【關(guān)鍵詞】：分布式存儲 HDFS 負(fù)載均衡 資源調(diào)度
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第1章 緒論8-14
• 1.1 課題來源8
• 1.2 課題研究背景及意義8-9
• 1.3 國內(nèi)外研究現(xiàn)狀9-12
• 1.3.1 分布式存儲的研究現(xiàn)狀9-11
• 1.3.2 負(fù)載均衡技術(shù)研究現(xiàn)狀11-12
• 1.4 論文主要研究工作和結(jié)構(gòu)12-14
• 第2章 HDFS及負(fù)載均衡技術(shù)研究14-22
• 2.1 引言14
• 2.2 HDFS的整體介紹14-18
• 2.2.1 HDFS技術(shù)特征14-15
• 2.2.2 HDFS系統(tǒng)架構(gòu)15-16
• 2.2.3 HDFS讀寫機(jī)制分析16-18
• 2.3 負(fù)載均衡算法研究與分析18-21
• 2.3.1 負(fù)載均衡算法研究18
• 2.3.2 負(fù)載均衡算法分類18-19
• 2.3.3 常用負(fù)載均衡算法及其分析19-21
• 2.4 本章小結(jié)21-22
• 第3章 負(fù)載均衡算法設(shè)計(jì)與實(shí)現(xiàn)22-41
• 3.1 引言22
• 3.2 基于網(wǎng)絡(luò)帶寬的負(fù)載均衡算法22-29
• 3.2.1 節(jié)點(diǎn)負(fù)載評價(jià)方程的設(shè)計(jì)22-26
• 3.2.2 基于網(wǎng)絡(luò)帶寬的負(fù)載均衡算法設(shè)計(jì)26-27
• 3.2.3 算法對比實(shí)驗(yàn)27-29
• 3.3 基于延遲調(diào)度的負(fù)載均衡算法29-39
• 3.3.1 調(diào)度策略優(yōu)劣分析29-30
• 3.3.2 基于延遲調(diào)度的負(fù)載均衡算法設(shè)計(jì)30-34
• 3.3.3 算法對比實(shí)驗(yàn)34-39
• 3.4 本章小結(jié)39-41
• 第4章 基于HDFS的分布式存儲系統(tǒng)設(shè)計(jì)41-55
• 4.1 引言41
• 4.2 系統(tǒng)的總體設(shè)計(jì)41-43
• 4.2.1 系統(tǒng)架構(gòu)以及層次結(jié)構(gòu)設(shè)計(jì)41-43
• 4.2.2 系統(tǒng)的環(huán)境搭建43
• 4.3 系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)43-51
• 4.3.1 系統(tǒng)功能的設(shè)計(jì)與實(shí)現(xiàn)43-48
• 4.3.2 負(fù)載均衡模塊的實(shí)現(xiàn)48-51
• 4.4 系統(tǒng)性能測試51-54
• 4.4.1 實(shí)驗(yàn)環(huán)境51-52
• 4.4.2 性能測試結(jié)果分析52-54
• 4.5 本章總結(jié)54-55
• 結(jié)論55-57
• 參考文獻(xiàn)57-61
• 致謝61

，

本文編號：1077667