本文選題：云計算 + Hadoop　； 參考：《北京郵電大學》2014年碩士論文

【摘要】：如今我們已經步入了一個全新的時代——大數(shù)據(jù)時代。我們每天的生活、學習和工作都要產生上T級別的網絡數(shù)據(jù)量。因此,隨著互聯(lián)網技術的飛速發(fā)展而產生的一種新型的分布式計算模式云計算應運而生。它的出現(xiàn)解決了海量數(shù)據(jù)存儲和實時備份等一系列和大數(shù)據(jù)息息相關的問題。 近年來,國內外各大互聯(lián)網公司和學者專家們都積極投身云計算技術的研究,資源調度則是云計算研究的關鍵技術之一。云計算環(huán)境中資源調度策略的優(yōu)劣直接影響整個集群系統(tǒng)的性能。因此對云計算環(huán)境中資源調度策略的研究具有十分重大的意義。 本文主要的研究內容如下所示： (1)研究分析了云計算環(huán)境下的資源調度策略。分析了Hadoop平臺的系統(tǒng)結構、MapReduce框架和分布式文件系統(tǒng)HDFS。 (2)深入研究了開源分布式Hadoop平臺的資源調度策略。并對Hadoop平臺常用的三種資源調度策略：FIFO、計算能力和公平分配資源調度策略進行了仿真實驗。通過實驗結果來對比分析三種資源調度策略在系統(tǒng)吞吐率和系統(tǒng)響應時間的性能區(qū)別。 (3)針對Hadoop平臺常用資源調度策略沒有考慮作業(yè)任務有時間限制的問題,本文提出了一種基于LLF的Deadline資源調度策略——LLFD。設計了數(shù)據(jù)本地性管理算法、Master的全局調度算法和系統(tǒng)節(jié)點本地調度算法。 (4)在CloudSim仿真平臺上驗證LLFD資源調度策略的性能。通過實驗仿真結果可以證實,該資源調度策略可以在云計算大規(guī)模的基礎設施環(huán)境中盡可能使每個作業(yè)任務在截止日期之前得到執(zhí)行,同時能夠使集群中滿足時間期限的節(jié)點數(shù)目達到最小化,在可接受的超時時間范圍內實現(xiàn)了最小化由于超時帶來的懲罰率。從而可以提升整個集群系統(tǒng)的性能。
[Abstract]:Now we have entered a new era-big data era. Our daily life, study and work must produce T-level network data. Therefore, with the rapid development of Internet technology, a new distributed computing model cloud computing came into being. It solves a series of problems related to big data, such as massive data storage and real-time backup. In recent years, domestic and foreign major Internet companies and scholars and experts are actively engaged in the research of cloud computing technology, resource scheduling is one of the key technologies in cloud computing research. The resource scheduling strategy in cloud computing environment directly affects the performance of the whole cluster system. Therefore, the research of resource scheduling strategy in cloud computing environment is of great significance. The main contents of this paper are as follows: 1) the resource scheduling strategy in cloud computing environment is studied and analyzed. The system structure of Hadoop platform and the distributed file system HDFS are analyzed. The resource scheduling strategy of open source distributed Hadoop platform is studied in detail. Three kinds of resource scheduling strategies: FIFO, computational power and fair resource allocation are simulated on Hadoop platform. The performance differences of the three resource scheduling strategies in the throughput and response time of the system are compared and analyzed by the experimental results. 3) aiming at the problem that the resource scheduling policy in common use in Hadoop platform does not consider the time limit of job tasks, this paper proposes a Deadline resource scheduling strategy based on LLF, LLFD-LLFD. The global scheduling algorithm of Master and the local scheduling algorithm of system node are designed. 4) verify the performance of LLFD resource scheduling strategy on CloudSim simulation platform. The simulation results show that the resource scheduling strategy can make every task execute before the deadline in the large-scale infrastructure environment of cloud computing. At the same time, it can minimize the number of nodes meeting the time limit in the cluster, and minimize the penalty rate due to the timeout in the acceptable timeout range. Thus, the performance of the whole cluster system can be improved.
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP393.01

【參考文獻】

相關期刊論文 前8條

1 葉志強;劉晨鳴;王一梅;;基于Hadoop開源框架的視頻內容分發(fā)平臺研究[J];廣播電視信息;2013年03期

2 王峰;;Hadoop集群作業(yè)的調度算法[J];程序員;2009年12期

3 冼進;余桂城;;基于云計算的作業(yè)調度算法研究[J];計算機與數(shù)字工程;2011年07期

4 張建勛;古志民;鄭超;;云計算研究進展綜述[J];計算機應用研究;2010年02期

5 辛軍;陳康;鄭緯民;;虛擬化的集群資源管理技術研究[J];計算機科學與探索;2010年04期

6 高宏卿;邢穎;;基于經濟學的云資源管理模型研究[J];計算機工程與設計;2010年19期

7 金嘉暉;羅軍舟;宋愛波;東方;;基于數(shù)據(jù)中心負載分析的自適應延遲調度算法[J];通信學報;2011年07期

8 黃義強;;基于Hadoop的中醫(yī)數(shù)據(jù)存儲平臺設計與開發(fā)[J];江西中醫(yī)學院學報;2011年06期

，

本文編號：1925592