隨著云計算技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)用戶越來越多,在網(wǎng)絡(luò)上的交易量不斷增加,網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)指數(shù)增長,網(wǎng)絡(luò)上出現(xiàn)的海量數(shù)據(jù)急需處理。用傳統(tǒng)數(shù)據(jù)處理技術(shù)對海量數(shù)據(jù)處理,會出現(xiàn)并發(fā)性差和效率低等問題。本文一方面研究了負載均衡,并對加權(quán)輪詢算法進行改進,根據(jù)服務(wù)器的運行狀態(tài)動態(tài)的計算權(quán)值。經(jīng)過對加權(quán)輪詢算法的改進,算法在響應(yīng)時間、吞吐量和實際并發(fā)量方面都有提高。另一方面提出了海量小文件數(shù)據(jù)存儲的解決方案,該方案在HDFS中增加獨立的小文件數(shù)據(jù)存儲模塊,通過小文件合并、建立索引和數(shù)據(jù)緩存,提高HDFS對海量小文件數(shù)據(jù)存儲的效率,并且HDFS的擴展性不受影響。在理論研究的基礎(chǔ)之上,通過負載測試工具LoadRunner仿真實驗,驗證了改進的加權(quán)輪詢算法在一定程度上能夠提高算法性能。通過對元數(shù)據(jù)節(jié)點內(nèi)存消耗和小文件讀寫效率實驗測試,改進的HDFS效果更好,對以后海量小文件存儲的研究有一定的指導(dǎo)意義。 

【文章來源】：長春理工大學(xué)吉林省

【文章頁數(shù)】：53 頁

【學(xué)位級別】：碩士

【部分圖文】：

系統(tǒng)響應(yīng)時間圖

系統(tǒng)吞吐量圖

系統(tǒng)實際并發(fā)數(shù)圖

【參考文獻】：
期刊論文
[1]基于MapFile的HDFS小文件存取優(yōu)化[J]. 段隆振,洪新利,邱桃榮.  南昌大學(xué)學(xué)報(工科版). 2017(02)
[2]云數(shù)據(jù)中心資源利用率均衡的虛擬機調(diào)度算法[J]. 朱亞會,陳丹,莊毅.  小型微型計算機系統(tǒng). 2017(02)
[3]海量教育資源中小文件的存儲研究[J]. 游小容,曹晟.  計算機科學(xué). 2015(10)
[4]基于負載均衡的任務(wù)調(diào)度算法[J]. 張臘,劉淑芬,韓璐.  吉林大學(xué)學(xué)報(理學(xué)版). 2014(04)
[5]一種結(jié)合RDBMS和Hadoop的海量小文件存儲方法[J]. 劉小俊,徐正全,潘少明.  武漢大學(xué)學(xué)報(信息科學(xué)版). 2013(01)
[6]基于MapFile的HDFS小文件存儲效率問題[J]. 洪旭升,林世平.  計算機系統(tǒng)應(yīng)用. 2012(11)
[7]基于MapReduce的蟻群算法[J]. 吳昊,倪志偉,王會穎.  計算機集成制造系統(tǒng). 2012(07)
[8]基于Hadoop的海量MP3文件存儲架構(gòu)[J]. 趙曉永,楊揚,孫莉莉,陳宇.  計算機應(yīng)用. 2012(06)
[9]一種云數(shù)據(jù)中心資源的動態(tài)綜合負載均衡調(diào)度算法(英文)[J]. 田文洪,趙勇,仲元椋,徐敏賢,景晨.  中國通信. 2011(06)

碩士論文
[1]云計算中一種基于數(shù)據(jù)相關(guān)性的負載均衡技術(shù)的研究與實現(xiàn)[D]. 邵貴林.江蘇大學(xué) 2017
[2]基于Nginx高并發(fā)Web服務(wù)器的改進與實現(xiàn)[D]. 張堯.吉林大學(xué) 2016
[3]基于HDFS的海量小文件處理性能的研究與優(yōu)化[D]. 張榮.電子科技大學(xué) 2016
[4]基于Nginx高性能Web服務(wù)器性能優(yōu)化與負載均衡的改進與實現(xiàn)[D]. 王永輝.電子科技大學(xué) 2015
[5]基于動態(tài)反饋的加權(quán)最小連接數(shù)服務(wù)器負載均衡算法研究[D]. 張慧芳.華東理工大學(xué) 2013
[6]基于HDFS的小文件處理與相關(guān)MapReduce計算模型性能的優(yōu)化與改進[D]. 蔡睿誠.吉林大學(xué) 2012
[7]Web集群服務(wù)器的負載均衡和性能優(yōu)化[D]. 胡利軍.北京郵電大學(xué) 2010
[8]云計算中的網(wǎng)絡(luò)拓撲設(shè)計和Hadoop平臺研究[D]. 鄧自立.中國科學(xué)技術(shù)大學(xué) 2009



本文編號：3623951