本文關(guān)鍵詞：Hadoop集群性能參數(shù)自動(dòng)調(diào)優(yōu)信息庫(kù)系統(tǒng)構(gòu)建

  更多相關(guān)文章： TaskConfigure服務(wù)器 Hadoop集群 參數(shù)信息庫(kù)系統(tǒng) 自動(dòng)調(diào)優(yōu)

【摘要】：為了使Hadoop集群系統(tǒng)能夠應(yīng)對(duì)多變的任務(wù)及系統(tǒng)本身節(jié)點(diǎn)差異對(duì)集群性能帶來(lái)的影響,采用TaskConfigure服務(wù)器構(gòu)建Hadoop集群參數(shù)信息庫(kù)系統(tǒng)實(shí)現(xiàn)對(duì)集群參數(shù)的自動(dòng)調(diào)優(yōu)配置.通過(guò)對(duì)集群節(jié)點(diǎn)及任務(wù)的分類(lèi),提出集群按類(lèi)分配配置參數(shù)及采用節(jié)點(diǎn)資源利用效率生成集群系統(tǒng)參數(shù)的優(yōu)化配置值.實(shí)驗(yàn)結(jié)果表明,參數(shù)信息庫(kù)系統(tǒng)的自動(dòng)調(diào)優(yōu)保證了集群工作性能的充分發(fā)揮,有效地縮短了集群執(zhí)行任務(wù)的工作時(shí)間,使集群具有良好的穩(wěn)定性和擴(kuò)展性.
【作者單位】： 遼寧師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院;
【關(guān)鍵詞】： TaskConfigure服務(wù)器 Hadoop集群 參數(shù)信息庫(kù)系統(tǒng) 自動(dòng)調(diào)優(yōu)
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61105059)資助
【分類(lèi)號(hào)】：TP393.05
【正文快照】： 1引言Hadoop[1]作為一種云計(jì)算系統(tǒng)發(fā)展十分迅速,現(xiàn)已包含眾多子項(xiàng)目.最核心的部分為HDFS(Hadoop Distributed FileSystem)文件系統(tǒng)和MapReduce計(jì)算框架,此外還有HBase、Hive、Pig等[2].其技術(shù)被廣泛的應(yīng)用在網(wǎng)頁(yè)索引、數(shù)據(jù)挖掘、日志分析、金融分析等方面[3].Hadoop的MapRedu

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 代棟;周學(xué)海;楊峰;王超;;一種基于模糊推理的Hadoop異構(gòu)機(jī)群自動(dòng)配置工具[J];中國(guó)科學(xué)院研究生院學(xué)報(bào);2011年06期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 俞能福;陳邦考;;主成分分析法在學(xué)生成績(jī)分析中的應(yīng)用[J];安徽建筑工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2007年01期

2 丁春;盛周君;;基于主成分分析法的南淝河水質(zhì)綜合評(píng)價(jià)[J];安徽農(nóng)業(yè)科學(xué);2007年35期

3 李兵;陳國(guó)華;楊滌塵;朱寧;;食品安全體系的抽樣理論研究[J];安徽農(nóng)業(yè)科學(xué);2009年22期

4 陳碧珊;潘安定;李冰;;有序聚類(lèi)方法在沉積物粒度分帶中的應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2009年35期

5 趙暉;溫學(xué)飛;赫曉輝;王政峰;安鈺;;基于因子分析法分析寧夏農(nóng)村信息化的發(fā)展[J];安徽農(nóng)業(yè)科學(xué);2010年13期

6 唐君;;我國(guó)31個(gè)省區(qū)農(nóng)村居民經(jīng)濟(jì)狀況排序和聚類(lèi)[J];安徽農(nóng)業(yè)科學(xué);2010年34期

7 龐發(fā)虎;杜瑞卿;王永勤;;優(yōu)化野生黃薔薇不定芽的分化[J];安徽農(nóng)業(yè)科學(xué);2011年28期

8 珊丹;劉艷萍;邢恩德;劉鐵軍;母吉君;;影響草原生態(tài)環(huán)境容量主要因子的主成分分析[J];安徽農(nóng)業(yè)科學(xué);2012年11期

9 杜瑞卿;楊建偉;;生物統(tǒng)計(jì)學(xué)教學(xué)方法改革探討[J];現(xiàn)代農(nóng)業(yè)科技;2011年02期

10 胡煜;;偏最小二乘方法和二次判別分析方法應(yīng)用于基因芯片數(shù)據(jù)分析[J];鞍山師范學(xué)院學(xué)報(bào);2007年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 趙暉;溫學(xué)飛;赫曉輝;王政峰;安鈺;;基于因子分析法分析寧夏農(nóng)村信息化的發(fā)展[A];2011全國(guó)灌區(qū)信息化建設(shè)與防滲抗凍脹新技術(shù)應(yīng)用專(zhuān)刊[C];2011年

2 黎暉暉;劉云波;韓婷;郭甲子;;中國(guó)財(cái)產(chǎn)保險(xiǎn)公司經(jīng)營(yíng)績(jī)效的實(shí)證研究[A];風(fēng)險(xiǎn)管理與經(jīng)濟(jì)安全：金融保險(xiǎn)業(yè)的視角——北大CCISSR論壇文集·2006[C];2006年

3 李桂華;胡進(jìn);李小翠;;消費(fèi)者關(guān)愛(ài)對(duì)壽險(xiǎn)購(gòu)買(mǎi)意向影響的實(shí)證分析[A];中國(guó)高等院校市場(chǎng)學(xué)研究會(huì)2009年年會(huì)論文集[C];2009年

4 孟凡香;徐淑琴;劉東;;三江平原水稻生育期蒸發(fā)量影響因子的主成分分析[A];寒區(qū)水科學(xué)及國(guó)際河流研究系列叢書(shū)2·寒區(qū)水循環(huán)及冰工程研究——第2屆“寒區(qū)水資源及其可持續(xù)利用”學(xué)術(shù)研討會(huì)論文集[C];2009年

5 朱壽增;黎智;李小明;劉毅;;柳州市紅粘土物理力學(xué)性質(zhì)指標(biāo)的多元統(tǒng)計(jì)分析[A];第20屆全國(guó)結(jié)構(gòu)工程學(xué)術(shù)會(huì)議論文集（第Ⅱ冊(cè)）[C];2011年

6 王慧;王銀;;主成分分析和因子分析的區(qū)別與聯(lián)系及其應(yīng)用[A];第九屆中國(guó)不確定系統(tǒng)年會(huì)、第五屆中國(guó)智能計(jì)算大會(huì)、第十三屆中國(guó)青年信息與管理學(xué)者大會(huì)論文集[C];2011年

7 李穎;王振會(huì);肖穩(wěn)安;曾慶鋒;楊天琦;;基于FFT的大氣電場(chǎng)頻譜分析及雷暴預(yù)報(bào)研究[A];第28屆中國(guó)氣象學(xué)會(huì)年會(huì)——S13雷電物理、監(jiān)測(cè)預(yù)警和防護(hù)[C];2011年

8 陳皓銳;高占義;黃介生;王少麗;;運(yùn)東平原區(qū)潛水位與人類(lèi)活動(dòng)和氣候因子關(guān)系分析[A];Collection of 2009 International Forum on Water Resources and Sustainable Development[C];2009年

9 牛惠芳;;回歸分析與課堂評(píng)價(jià)模型中指標(biāo)的選擇[A];中國(guó)現(xiàn)場(chǎng)統(tǒng)計(jì)研究會(huì)第十三屆學(xué)術(shù)年會(huì)論文集[C];2007年

10 斯日古楞;張瑞;;內(nèi)蒙古各盟市經(jīng)濟(jì)和教育情況的因子分析[A];中國(guó)現(xiàn)場(chǎng)統(tǒng)計(jì)研究會(huì)第十三屆學(xué)術(shù)年會(huì)論文集[C];2007年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 呂寧;基于數(shù)據(jù)驅(qū)動(dòng)的故障診斷模型及算法研究[D];哈爾濱理工大學(xué);2009年

2 楊娜;基于云參數(shù)干旱遙感監(jiān)測(cè)模型與集合卡爾曼濾波的土壤濕度同化研究[D];武漢大學(xué);2010年

3 李春洋;基于多態(tài)系統(tǒng)理論的可靠性分析與優(yōu)化設(shè)計(jì)方法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

4 張亞剛;基于廣域信息的電力系統(tǒng)故障元件定位方法研究[D];華北電力大學(xué)（北京）;2011年

5 王飛;入侵檢測(cè)分類(lèi)器設(shè)計(jì)及其融合技術(shù)研究[D];南京理工大學(xué);2011年

6 姚順春;激光誘導(dǎo)擊穿光譜技術(shù)在電站運(yùn)行診斷中的應(yīng)用研究[D];華南理工大學(xué);2011年

7 羅環(huán)敏;基于極化干涉SAR的森林結(jié)構(gòu)信息提取模型與方法[D];電子科技大學(xué);2011年

8 郭建校;改進(jìn)的高維非線性PLS回歸方法及應(yīng)用研究[D];天津大學(xué);2010年

9 曹玉蘋(píng);基于狀態(tài)估計(jì)的石化過(guò)程故障診斷與預(yù)報(bào)方法研究[D];中國(guó)石油大學(xué);2010年

10 孫揚(yáng);多變?cè)W(wǎng)絡(luò)數(shù)據(jù)可視化方法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 游振華;種子產(chǎn)業(yè)鏈企業(yè)合作績(jī)效影響因素實(shí)證研究[D];華中農(nóng)業(yè)大學(xué);2010年

2 薛明亮;人臉識(shí)別的加權(quán)模糊方法[D];大連理工大學(xué);2010年

3 張昆;基于逐步判別的農(nóng)戶小額貸款信用評(píng)價(jià)研究[D];大連理工大學(xué);2010年

4 劉莎;基于小樣本的農(nóng)戶小額貸款信用評(píng)價(jià)體系研究[D];大連理工大學(xué);2010年

5 熊超;基于潛在語(yǔ)義對(duì)偶空間的跨語(yǔ)言文本分類(lèi)研究[D];江西師范大學(xué);2010年

6 豐云秀;主成分分析方法在白車(chē)身焊裝誤差監(jiān)控方面的應(yīng)用研究[D];沈陽(yáng)理工大學(xué);2010年

7 薛婷婷;塔式起重機(jī)狀態(tài)監(jiān)測(cè)與故障診斷方法研究[D];沈陽(yáng)理工大學(xué);2010年

8 祖金鋒;Internet用戶訪問(wèn)模型研究[D];哈爾濱理工大學(xué);2010年

9 王園園;偏最小二乘回歸與判別分析在科技人員類(lèi)型及影響因素研究中的應(yīng)用[D];濰坊醫(yī)學(xué)院;2009年

10 張麗;高校教師教學(xué)質(zhì)量評(píng)價(jià)的實(shí)證研究[D];武漢科技大學(xué);2010年

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 尚敏，，李紅為;DEC網(wǎng)絡(luò)的應(yīng)用與管理[J];通信世界;1996年02期

2 ;本周熱門(mén)節(jié)點(diǎn)[J];每周電腦報(bào);1996年05期

3 黃周松,雷振明;網(wǎng)絡(luò)中影響實(shí)時(shí)業(yè)務(wù)質(zhì)量問(wèn)題節(jié)點(diǎn)的定位[J];計(jì)算機(jī)工程與應(yīng)用;2004年34期

4 吳起,畢經(jīng)平,王愷,黃靖,李忠誠(chéng);測(cè)量協(xié)同問(wèn)題研究——完全分布式的解決方案[J];計(jì)算機(jī)學(xué)報(bào);2004年11期

5 ;本周熱門(mén)節(jié)點(diǎn)[J];每周電腦報(bào);1996年03期

6 梅皓潔;用FrontPage輕松建立自己的HomePage[J];微電腦世界;1997年08期

7 夏素貞,楊德仁,曹靜霞;基于P-Grid的P2P信息共享系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;2004年S2期

8 ;每周熱門(mén)節(jié)點(diǎn)[J];每周電腦報(bào);1996年09期

9 王莉;開(kāi)放的自動(dòng)化網(wǎng)絡(luò)──ControlNet[J];儀器儀表標(biāo)準(zhǔn)化與計(jì)量;2000年03期

10 徐葵,王清亮,王云,錢(qián)松榮;基于對(duì)等結(jié)構(gòu)的元數(shù)據(jù)分發(fā)框架[J];計(jì)算機(jī)工程與應(yīng)用;2004年35期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 劉義銘;李?lèi)?邱敏;;P2P網(wǎng)絡(luò)信任模型的研究[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

2 仲峰;劉從新;何科;朱榮臻;;基于ARM的無(wú)線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)的設(shè)計(jì)[A];'2006系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2006年

3 馬曉琪;葛元秀;;基于DELNI以太網(wǎng)獨(dú)立構(gòu)型的DECnet-DOS端節(jié)點(diǎn)的應(yīng)用實(shí)例[A];第7屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集（二）[C];1994年

4 劉曉明;王潛平;黃海;;一種基于CC2431的改進(jìn)DV-Hop算法RDV-Hop[A];2008年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年

5 張建風(fēng);王汝傳;徐小龍;;基于一種新的激勵(lì)機(jī)制的P2P系統(tǒng)的UML建模[A];2008年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年

6 褚建勛;;Internet信息傳播與復(fù)雜性研究[A];Complexity Problems--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

7 龐彥斌;李令琦;;Lon Works節(jié)點(diǎn)與PC串行通信的研究與設(shè)計(jì)[A];中國(guó)儀器儀表學(xué)會(huì)測(cè)控技術(shù)在資源節(jié)約和環(huán)境保護(hù)中的應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2001年

8 王曉箴;劉寶旭;;Freenet綜述及P2P技術(shù)應(yīng)用探討[A];第13屆全國(guó)計(jì)算機(jī)、網(wǎng)絡(luò)在現(xiàn)代科學(xué)技術(shù)領(lǐng)域的應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2007年

9 余晟;;無(wú)線局域網(wǎng)中MAC層阻塞攻擊分析[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集（第二十四卷）[C];2009年

10 張鑌;黃遵國(guó);;DDoS防彈墻驗(yàn)證調(diào)度層設(shè)計(jì)與實(shí)現(xiàn)[A];中國(guó)電子學(xué)會(huì)第十六屆信息論學(xué)術(shù)年會(huì)論文集[C];2009年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 雷章;從戰(zhàn)略節(jié)點(diǎn)關(guān)注網(wǎng)絡(luò)安全[N];計(jì)算機(jī)世界;2001年

2 F5公司供稿;流量管理在CDN中的實(shí)現(xiàn)[N];計(jì)算機(jī)世界;2001年

3 中科院計(jì)算所信息網(wǎng)絡(luò)室 龐迪;移動(dòng)自組織網(wǎng)絡(luò)的關(guān)鍵技術(shù)—路由協(xié)議[N];計(jì)算機(jī)世界;2005年

4 ;高端商用集群[N];網(wǎng)絡(luò)世界;2002年

5 中國(guó)軟件評(píng)測(cè)中心;百兆帶寬節(jié)點(diǎn)無(wú)限制[N];中國(guó)計(jì)算機(jī)報(bào);2002年

6 冉隆科;IPv6鄰近發(fā)現(xiàn)協(xié)議發(fā)現(xiàn)什么[N];中國(guó)計(jì)算機(jī)報(bào);2000年

7 高悅;F5自動(dòng)傳輸遠(yuǎn)程內(nèi)容[N];中國(guó)計(jì)算機(jī)報(bào);2001年

8 ;特色方案六大亮點(diǎn)[N];中國(guó)計(jì)算機(jī)報(bào);2002年

9 本報(bào)記者 劉洪宇;誰(shuí)能扛鼎千萬(wàn)億次HPC高速互聯(lián)[N];中國(guó)計(jì)算機(jī)報(bào);2009年

10 宋家雨;胖節(jié)點(diǎn)和瘦節(jié)點(diǎn)[N];網(wǎng)絡(luò)世界;2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 任浩;P2P覆蓋網(wǎng)拓?fù)鋬?yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

2 熊繼平;對(duì)等網(wǎng)絡(luò)中路由機(jī)制及關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

3 郭磊濤;對(duì)等網(wǎng)絡(luò)中信任感知的資源交易模型[D];中國(guó)科學(xué)技術(shù)大學(xué);2007年

4 郭韋鈺;基于市場(chǎng)機(jī)制的知識(shí)流網(wǎng)絡(luò)研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

5 段迅;對(duì)等網(wǎng)絡(luò)路由算法研究[D];貴州大學(xué);2007年

6 黃保華;對(duì)等系統(tǒng)的安全與激勵(lì)機(jī)制研究[D];華中科技大學(xué);2006年

7 竇文;信任敏感的P2P拓?fù)錁?gòu)造及其相關(guān)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2003年

8 曹佳;P2P組通訊的網(wǎng)絡(luò)拓?fù)溲芯縖D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

9 李鐘華;網(wǎng)絡(luò)協(xié)同入侵響應(yīng)與自主事故快速恢復(fù)技術(shù)研究[D];西北工業(yè)大學(xué);2006年

10 李勇;分布式Web服務(wù)發(fā)現(xiàn)機(jī)制研究[D];北京郵電大學(xué);2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 黃海;基于激勵(lì)懲罰的P2P網(wǎng)絡(luò)信任機(jī)制研究[D];南京航空航天大學(xué);2012年

2 李麗娟;結(jié)構(gòu)化P2P系統(tǒng)中基于網(wǎng)絡(luò)定位的負(fù)載均衡模型[D];湖南大學(xué);2008年

3 韓丹;基于安全度量的網(wǎng)絡(luò)安全路由研究[D];電子科技大學(xué);2008年

4 張昊;面向多任務(wù)的對(duì)等網(wǎng)絡(luò)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

5 周健祥;基于神經(jīng)網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)的研究與實(shí)現(xiàn)[D];東北農(nóng)業(yè)大學(xué);2004年

6 吳歡歡;基于分布式測(cè)控系統(tǒng)的服務(wù)器集群負(fù)載均衡技術(shù)的研究[D];南京航空航天大學(xué);2006年

7 劉淑嫻;P2P網(wǎng)絡(luò)安全信任模型研究[D];新疆大學(xué);2006年

8 劉克非;基于P2P網(wǎng)絡(luò)的語(yǔ)義Web服務(wù)發(fā)現(xiàn)機(jī)制研究[D];山東師范大學(xué);2007年

9 盧天剛;P2P環(huán)境下基于分類(lèi)的訪問(wèn)控制研究[D];蘭州大學(xué);2008年

10 杜敏政;IPv6下網(wǎng)絡(luò)攻擊的研究與實(shí)現(xiàn)[D];清華大學(xué);2008年

本文編號(hào)：564886