隨著云計(jì)算技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)用戶越來(lái)越多,在網(wǎng)絡(luò)上的交易量不斷增加,網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)指數(shù)增長(zhǎng),網(wǎng)絡(luò)上出現(xiàn)的海量數(shù)據(jù)急需處理。用傳統(tǒng)數(shù)據(jù)處理技術(shù)對(duì)海量數(shù)據(jù)處理,會(huì)出現(xiàn)并發(fā)性差和效率低等問題。本文一方面研究了負(fù)載均衡,并對(duì)加權(quán)輪詢算法進(jìn)行改進(jìn),根據(jù)服務(wù)器的運(yùn)行狀態(tài)動(dòng)態(tài)的計(jì)算權(quán)值。經(jīng)過(guò)對(duì)加權(quán)輪詢算法的改進(jìn),算法在響應(yīng)時(shí)間、吞吐量和實(shí)際并發(fā)量方面都有提高。另一方面提出了海量小文件數(shù)據(jù)存儲(chǔ)的解決方案,該方案在HDFS中增加獨(dú)立的小文件數(shù)據(jù)存儲(chǔ)模塊,通過(guò)小文件合并、建立索引和數(shù)據(jù)緩存,提高HDFS對(duì)海量小文件數(shù)據(jù)存儲(chǔ)的效率,并且HDFS的擴(kuò)展性不受影響。在理論研究的基礎(chǔ)之上,通過(guò)負(fù)載測(cè)試工具LoadRunner仿真實(shí)驗(yàn),驗(yàn)證了改進(jìn)的加權(quán)輪詢算法在一定程度上能夠提高算法性能。通過(guò)對(duì)元數(shù)據(jù)節(jié)點(diǎn)內(nèi)存消耗和小文件讀寫效率實(shí)驗(yàn)測(cè)試,改進(jìn)的HDFS效果更好,對(duì)以后海量小文件存儲(chǔ)的研究有一定的指導(dǎo)意義。 

【文章來(lái)源】：長(zhǎng)春理工大學(xué)吉林省

【文章頁(yè)數(shù)】：53 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

系統(tǒng)響應(yīng)時(shí)間圖

系統(tǒng)吞吐量圖

系統(tǒng)實(shí)際并發(fā)數(shù)圖

【參考文獻(xiàn)】：
期刊論文
[1]基于MapFile的HDFS小文件存取優(yōu)化[J]. 段隆振,洪新利,邱桃榮.  南昌大學(xué)學(xué)報(bào)(工科版). 2017(02)
[2]云數(shù)據(jù)中心資源利用率均衡的虛擬機(jī)調(diào)度算法[J]. 朱亞會(huì),陳丹,莊毅.  小型微型計(jì)算機(jī)系統(tǒng). 2017(02)
[3]海量教育資源中小文件的存儲(chǔ)研究[J]. 游小容,曹晟.  計(jì)算機(jī)科學(xué). 2015(10)
[4]基于負(fù)載均衡的任務(wù)調(diào)度算法[J]. 張臘,劉淑芬,韓璐.  吉林大學(xué)學(xué)報(bào)(理學(xué)版). 2014(04)
[5]一種結(jié)合RDBMS和Hadoop的海量小文件存儲(chǔ)方法[J]. 劉小俊,徐正全,潘少明.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2013(01)
[6]基于MapFile的HDFS小文件存儲(chǔ)效率問題[J]. 洪旭升,林世平.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2012(11)
[7]基于MapReduce的蟻群算法[J]. 吳昊,倪志偉,王會(huì)穎.  計(jì)算機(jī)集成制造系統(tǒng). 2012(07)
[8]基于Hadoop的海量MP3文件存儲(chǔ)架構(gòu)[J]. 趙曉永,楊揚(yáng),孫莉莉,陳宇.  計(jì)算機(jī)應(yīng)用. 2012(06)
[9]一種云數(shù)據(jù)中心資源的動(dòng)態(tài)綜合負(fù)載均衡調(diào)度算法(英文)[J]. 田文洪,趙勇,仲元椋,徐敏賢,景晨.  中國(guó)通信. 2011(06)

碩士論文
[1]云計(jì)算中一種基于數(shù)據(jù)相關(guān)性的負(fù)載均衡技術(shù)的研究與實(shí)現(xiàn)[D]. 邵貴林.江蘇大學(xué) 2017
[2]基于Nginx高并發(fā)Web服務(wù)器的改進(jìn)與實(shí)現(xiàn)[D]. 張堯.吉林大學(xué) 2016
[3]基于HDFS的海量小文件處理性能的研究與優(yōu)化[D]. 張榮.電子科技大學(xué) 2016
[4]基于Nginx高性能Web服務(wù)器性能優(yōu)化與負(fù)載均衡的改進(jìn)與實(shí)現(xiàn)[D]. 王永輝.電子科技大學(xué) 2015
[5]基于動(dòng)態(tài)反饋的加權(quán)最小連接數(shù)服務(wù)器負(fù)載均衡算法研究[D]. 張慧芳.華東理工大學(xué) 2013
[6]基于HDFS的小文件處理與相關(guān)MapReduce計(jì)算模型性能的優(yōu)化與改進(jìn)[D]. 蔡睿誠(chéng).吉林大學(xué) 2012
[7]Web集群服務(wù)器的負(fù)載均衡和性能優(yōu)化[D]. 胡利軍.北京郵電大學(xué) 2010
[8]云計(jì)算中的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)和Hadoop平臺(tái)研究[D]. 鄧自立.中國(guó)科學(xué)技術(shù)大學(xué) 2009



本文編號(hào)：3623951