本文關鍵詞：Hadoop集群性能參數(shù)自動調(diào)優(yōu)信息庫系統(tǒng)構(gòu)建

  更多相關文章： TaskConfigure服務器 Hadoop集群 參數(shù)信息庫系統(tǒng) 自動調(diào)優(yōu)

【摘要】：為了使Hadoop集群系統(tǒng)能夠應對多變的任務及系統(tǒng)本身節(jié)點差異對集群性能帶來的影響,采用TaskConfigure服務器構(gòu)建Hadoop集群參數(shù)信息庫系統(tǒng)實現(xiàn)對集群參數(shù)的自動調(diào)優(yōu)配置.通過對集群節(jié)點及任務的分類,提出集群按類分配配置參數(shù)及采用節(jié)點資源利用效率生成集群系統(tǒng)參數(shù)的優(yōu)化配置值.實驗結(jié)果表明,參數(shù)信息庫系統(tǒng)的自動調(diào)優(yōu)保證了集群工作性能的充分發(fā)揮,有效地縮短了集群執(zhí)行任務的工作時間,使集群具有良好的穩(wěn)定性和擴展性.
【作者單位】： 遼寧師范大學計算機與信息技術學院;
【關鍵詞】： TaskConfigure服務器 Hadoop集群 參數(shù)信息庫系統(tǒng) 自動調(diào)優(yōu)
【基金】：國家自然科學基金項目(61105059)資助
【分類號】：TP393.05
【正文快照】： 1引言Hadoop[1]作為一種云計算系統(tǒng)發(fā)展十分迅速,現(xiàn)已包含眾多子項目.最核心的部分為HDFS(Hadoop Distributed FileSystem)文件系統(tǒng)和MapReduce計算框架,此外還有HBase、Hive、Pig等[2].其技術被廣泛的應用在網(wǎng)頁索引、數(shù)據(jù)挖掘、日志分析、金融分析等方面[3].Hadoop的MapRedu

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 代棟;周學海;楊峰;王超;;一種基于模糊推理的Hadoop異構(gòu)機群自動配置工具[J];中國科學院研究生院學報;2011年06期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 俞能福;陳邦考;;主成分分析法在學生成績分析中的應用[J];安徽建筑工業(yè)學院學報(自然科學版);2007年01期

2 丁春;盛周君;;基于主成分分析法的南淝河水質(zhì)綜合評價[J];安徽農(nóng)業(yè)科學;2007年35期

3 李兵;陳國華;楊滌塵;朱寧;;食品安全體系的抽樣理論研究[J];安徽農(nóng)業(yè)科學;2009年22期

4 陳碧珊;潘安定;李冰;;有序聚類方法在沉積物粒度分帶中的應用[J];安徽農(nóng)業(yè)科學;2009年35期

5 趙暉;溫學飛;赫曉輝;王政峰;安鈺;;基于因子分析法分析寧夏農(nóng)村信息化的發(fā)展[J];安徽農(nóng)業(yè)科學;2010年13期

6 唐君;;我國31個省區(qū)農(nóng)村居民經(jīng)濟狀況排序和聚類[J];安徽農(nóng)業(yè)科學;2010年34期

7 龐發(fā)虎;杜瑞卿;王永勤;;優(yōu)化野生黃薔薇不定芽的分化[J];安徽農(nóng)業(yè)科學;2011年28期

8 珊丹;劉艷萍;邢恩德;劉鐵軍;母吉君;;影響草原生態(tài)環(huán)境容量主要因子的主成分分析[J];安徽農(nóng)業(yè)科學;2012年11期

9 杜瑞卿;楊建偉;;生物統(tǒng)計學教學方法改革探討[J];現(xiàn)代農(nóng)業(yè)科技;2011年02期

10 胡煜;;偏最小二乘方法和二次判別分析方法應用于基因芯片數(shù)據(jù)分析[J];鞍山師范學院學報;2007年04期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 趙暉;溫學飛;赫曉輝;王政峰;安鈺;;基于因子分析法分析寧夏農(nóng)村信息化的發(fā)展[A];2011全國灌區(qū)信息化建設與防滲抗凍脹新技術應用�？痆C];2011年

2 黎暉暉;劉云波;韓婷;郭甲子;;中國財產(chǎn)保險公司經(jīng)營績效的實證研究[A];風險管理與經(jīng)濟安全：金融保險業(yè)的視角——北大CCISSR論壇文集·2006[C];2006年

3 李桂華;胡進;李小翠;;消費者關愛對壽險購買意向影響的實證分析[A];中國高等院校市場學研究會2009年年會論文集[C];2009年

4 孟凡香;徐淑琴;劉東;;三江平原水稻生育期蒸發(fā)量影響因子的主成分分析[A];寒區(qū)水科學及國際河流研究系列叢書2·寒區(qū)水循環(huán)及冰工程研究——第2屆“寒區(qū)水資源及其可持續(xù)利用”學術研討會論文集[C];2009年

5 朱壽增;黎智;李小明;劉毅;;柳州市紅粘土物理力學性質(zhì)指標的多元統(tǒng)計分析[A];第20屆全國結(jié)構(gòu)工程學術會議論文集（第Ⅱ冊）[C];2011年

6 王慧;王銀;;主成分分析和因子分析的區(qū)別與聯(lián)系及其應用[A];第九屆中國不確定系統(tǒng)年會、第五屆中國智能計算大會、第十三屆中國青年信息與管理學者大會論文集[C];2011年

7 李穎;王振會;肖穩(wěn)安;曾慶鋒;楊天琦;;基于FFT的大氣電場頻譜分析及雷暴預報研究[A];第28屆中國氣象學會年會——S13雷電物理、監(jiān)測預警和防護[C];2011年

8 陳皓銳;高占義;黃介生;王少麗;;運東平原區(qū)潛水位與人類活動和氣候因子關系分析[A];Collection of 2009 International Forum on Water Resources and Sustainable Development[C];2009年

9 �；莘�;;回歸分析與課堂評價模型中指標的選擇[A];中國現(xiàn)場統(tǒng)計研究會第十三屆學術年會論文集[C];2007年

10 斯日古楞;張瑞;;內(nèi)蒙古各盟市經(jīng)濟和教育情況的因子分析[A];中國現(xiàn)場統(tǒng)計研究會第十三屆學術年會論文集[C];2007年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 呂寧;基于數(shù)據(jù)驅(qū)動的故障診斷模型及算法研究[D];哈爾濱理工大學;2009年

2 楊娜;基于云參數(shù)干旱遙感監(jiān)測模型與集合卡爾曼濾波的土壤濕度同化研究[D];武漢大學;2010年

3 李春洋;基于多態(tài)系統(tǒng)理論的可靠性分析與優(yōu)化設計方法研究[D];國防科學技術大學;2010年

4 張亞剛;基于廣域信息的電力系統(tǒng)故障元件定位方法研究[D];華北電力大學（北京）;2011年

5 王飛;入侵檢測分類器設計及其融合技術研究[D];南京理工大學;2011年

6 姚順春;激光誘導擊穿光譜技術在電站運行診斷中的應用研究[D];華南理工大學;2011年

7 羅環(huán)敏;基于極化干涉SAR的森林結(jié)構(gòu)信息提取模型與方法[D];電子科技大學;2011年

8 郭建校;改進的高維非線性PLS回歸方法及應用研究[D];天津大學;2010年

9 曹玉蘋;基于狀態(tài)估計的石化過程故障診斷與預報方法研究[D];中國石油大學;2010年

10 孫揚;多變元網(wǎng)絡數(shù)據(jù)可視化方法研究[D];國防科學技術大學;2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 游振華;種子產(chǎn)業(yè)鏈企業(yè)合作績效影響因素實證研究[D];華中農(nóng)業(yè)大學;2010年

2 薛明亮;人臉識別的加權模糊方法[D];大連理工大學;2010年

3 張昆;基于逐步判別的農(nóng)戶小額貸款信用評價研究[D];大連理工大學;2010年

4 劉莎;基于小樣本的農(nóng)戶小額貸款信用評價體系研究[D];大連理工大學;2010年

5 熊超;基于潛在語義對偶空間的跨語言文本分類研究[D];江西師范大學;2010年

6 豐云秀;主成分分析方法在白車身焊裝誤差監(jiān)控方面的應用研究[D];沈陽理工大學;2010年

7 薛婷婷;塔式起重機狀態(tài)監(jiān)測與故障診斷方法研究[D];沈陽理工大學;2010年

8 祖金鋒;Internet用戶訪問模型研究[D];哈爾濱理工大學;2010年

9 王園園;偏最小二乘回歸與判別分析在科技人員類型及影響因素研究中的應用[D];濰坊醫(yī)學院;2009年

10 張麗;高校教師教學質(zhì)量評價的實證研究[D];武漢科技大學;2010年

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 尚敏，，李紅為;DEC網(wǎng)絡的應用與管理[J];通信世界;1996年02期

2 ;本周熱門節(jié)點[J];每周電腦報;1996年05期

3 黃周松,雷振明;網(wǎng)絡中影響實時業(yè)務質(zhì)量問題節(jié)點的定位[J];計算機工程與應用;2004年34期

4 吳起,畢經(jīng)平,王愷,黃靖,李忠誠;測量協(xié)同問題研究——完全分布式的解決方案[J];計算機學報;2004年11期

5 ;本周熱門節(jié)點[J];每周電腦報;1996年03期

6 梅皓潔;用FrontPage輕松建立自己的HomePage[J];微電腦世界;1997年08期

7 夏素貞,楊德仁,曹靜霞;基于P-Grid的P2P信息共享系統(tǒng)的設計和實現(xiàn)[J];計算機應用;2004年S2期

8 ;每周熱門節(jié)點[J];每周電腦報;1996年09期

9 王莉;開放的自動化網(wǎng)絡──ControlNet[J];儀器儀表標準化與計量;2000年03期

10 徐葵,王清亮,王云,錢松榮;基于對等結(jié)構(gòu)的元數(shù)據(jù)分發(fā)框架[J];計算機工程與應用;2004年35期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 劉義銘;李愷;邱敏;;P2P網(wǎng)絡信任模型的研究[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

2 仲峰;劉從新;何科;朱榮臻;;基于ARM的無線傳感器網(wǎng)絡節(jié)點的設計[A];'2006系統(tǒng)仿真技術及其應用學術交流會論文集[C];2006年

3 馬曉琪;葛元秀;;基于DELNI以太網(wǎng)獨立構(gòu)型的DECnet-DOS端節(jié)點的應用實例[A];第7屆全國核電子學與核探測技術學術年會論文集（二）[C];1994年

4 劉曉明;王潛平;黃海;;一種基于CC2431的改進DV-Hop算法RDV-Hop[A];2008年全國開放式分布與并行計算機學術會議論文集(下冊)[C];2008年

5 張建風;王汝傳;徐小龍;;基于一種新的激勵機制的P2P系統(tǒng)的UML建模[A];2008年全國開放式分布與并行計算機學術會議論文集(下冊)[C];2008年

6 褚建勛;;Internet信息傳播與復雜性研究[A];Complexity Problems--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

7 龐彥斌;李令琦;;Lon Works節(jié)點與PC串行通信的研究與設計[A];中國儀器儀表學會測控技術在資源節(jié)約和環(huán)境保護中的應用學術會議論文集[C];2001年

8 王曉箴;劉寶旭;;Freenet綜述及P2P技術應用探討[A];第13屆全國計算機、網(wǎng)絡在現(xiàn)代科學技術領域的應用學術會議論文集[C];2007年

9 余晟;;無線局域網(wǎng)中MAC層阻塞攻擊分析[A];全國計算機安全學術交流會論文集（第二十四卷）[C];2009年

10 張鑌;黃遵國;;DDoS防彈墻驗證調(diào)度層設計與實現(xiàn)[A];中國電子學會第十六屆信息論學術年會論文集[C];2009年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 雷章;從戰(zhàn)略節(jié)點關注網(wǎng)絡安全[N];計算機世界;2001年

2 F5公司供稿;流量管理在CDN中的實現(xiàn)[N];計算機世界;2001年

3 中科院計算所信息網(wǎng)絡室 龐迪;移動自組織網(wǎng)絡的關鍵技術—路由協(xié)議[N];計算機世界;2005年

4 ;高端商用集群[N];網(wǎng)絡世界;2002年

5 中國軟件評測中心;百兆帶寬節(jié)點無限制[N];中國計算機報;2002年

6 冉隆科;IPv6鄰近發(fā)現(xiàn)協(xié)議發(fā)現(xiàn)什么[N];中國計算機報;2000年

7 高悅;F5自動傳輸遠程內(nèi)容[N];中國計算機報;2001年

8 ;特色方案六大亮點[N];中國計算機報;2002年

9 本報記者 劉洪宇;誰能扛鼎千萬億次HPC高速互聯(lián)[N];中國計算機報;2009年

10 宋家雨;胖節(jié)點和瘦節(jié)點[N];網(wǎng)絡世界;2009年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 任浩;P2P覆蓋網(wǎng)拓撲優(yōu)化技術研究[D];國防科學技術大學;2007年

2 熊繼平;對等網(wǎng)絡中路由機制及關鍵技術研究[D];中國科學技術大學;2006年

3 郭磊濤;對等網(wǎng)絡中信任感知的資源交易模型[D];中國科學技術大學;2007年

4 郭韋鈺;基于市場機制的知識流網(wǎng)絡研究[D];中國科學院研究生院（計算技術研究所）;2006年

5 段迅;對等網(wǎng)絡路由算法研究[D];貴州大學;2007年

6 黃保華;對等系統(tǒng)的安全與激勵機制研究[D];華中科技大學;2006年

7 竇文;信任敏感的P2P拓撲構(gòu)造及其相關技術研究[D];國防科學技術大學;2003年

8 曹佳;P2P組通訊的網(wǎng)絡拓撲研究[D];中國科學院研究生院（計算技術研究所）;2006年

9 李鐘華;網(wǎng)絡協(xié)同入侵響應與自主事故快速恢復技術研究[D];西北工業(yè)大學;2006年

10 李勇;分布式Web服務發(fā)現(xiàn)機制研究[D];北京郵電大學;2008年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 黃海;基于激勵懲罰的P2P網(wǎng)絡信任機制研究[D];南京航空航天大學;2012年

2 李麗娟;結(jié)構(gòu)化P2P系統(tǒng)中基于網(wǎng)絡定位的負載均衡模型[D];湖南大學;2008年

3 韓丹;基于安全度量的網(wǎng)絡安全路由研究[D];電子科技大學;2008年

4 張昊;面向多任務的對等網(wǎng)絡技術研究[D];國防科學技術大學;2008年

5 周健祥;基于神經(jīng)網(wǎng)絡入侵檢測系統(tǒng)的研究與實現(xiàn)[D];東北農(nóng)業(yè)大學;2004年

6 吳歡歡;基于分布式測控系統(tǒng)的服務器集群負載均衡技術的研究[D];南京航空航天大學;2006年

7 劉淑嫻;P2P網(wǎng)絡安全信任模型研究[D];新疆大學;2006年

8 劉克非;基于P2P網(wǎng)絡的語義Web服務發(fā)現(xiàn)機制研究[D];山東師范大學;2007年

9 盧天剛;P2P環(huán)境下基于分類的訪問控制研究[D];蘭州大學;2008年

10 杜敏政;IPv6下網(wǎng)絡攻擊的研究與實現(xiàn)[D];清華大學;2008年

本文編號：564886