【摘要】：隨著信息時代的到來,海量數(shù)據(jù)處理成為越來越多行業(yè)面臨的挑戰(zhàn)。云計算以龐大的集群作支撐,為用戶提供類似超級計算機的計算能力,成為處理海量數(shù)據(jù)的關(guān)鍵手段。Hadoop以其高可靠性、高可擴展性等優(yōu)點成為最熱門的云平臺之一。然而,對于數(shù)據(jù)分析人員和算法研究人員,維護(hù)與使用Hadoop平臺的成本較高,需要花很多精力學(xué)習(xí)Hadoop的交互細(xì)節(jié),而無法專注于自已的分析研究之中。針對以上問題,項目組基于Hadoop研發(fā)了 一套面向數(shù)據(jù)分析人員和算法研究人員的海量數(shù)據(jù)處理與分析平臺,稱為Eole系統(tǒng)。Eole系統(tǒng)的目標(biāo)是采用標(biāo)準(zhǔn)數(shù)據(jù)格式,為用戶提供海量數(shù)據(jù)的存儲與計算能力。本文基于Web設(shè)計實現(xiàn)了 Eole系統(tǒng)的任務(wù)管理模塊。任務(wù)管理是Eole系統(tǒng)的核心功能之一。Hadoop本身由Yarn負(fù)責(zé)任務(wù)管理的功能,但存在一些不足之處。第一,鑒權(quán)機制存在缺陷,用戶身份容易被仿冒。第二,主要靠命令行或API與用戶交互,Web端功能較少。Eole系統(tǒng)任務(wù)管理模塊負(fù)責(zé)MapReduce作業(yè)從創(chuàng)建到結(jié)束整個生命周期的管理,以 HDFS(Hadoop Distribute File System,Hadoop分布式文件系統(tǒng))作為數(shù)據(jù)存儲方式,MapReduce作為數(shù)據(jù)處理方式,并且使用Kerberos用于系統(tǒng)鑒權(quán),保證用戶作業(yè)與數(shù)據(jù)的安全。同時,該模塊還為用戶提供Web端的可視化操作界面。用戶可以通過瀏覽器或者HTTP協(xié)議完成與系統(tǒng)的交互,使用方便。且HTTP這樣一種目前最廣泛使用的網(wǎng)絡(luò)協(xié)議也將滿足絕大部分應(yīng)用場景。定時執(zhí)行、合理資源分配、狀態(tài)監(jiān)控、豐富的結(jié)果信息展示等多種管理功能也將為用戶的使用帶來便利。該模塊以MapReduce這一通用計算框架為計算基礎(chǔ),保證了通用性,通過Web端界面為用戶提供友好的交互方式,可有效提高用戶處理數(shù)據(jù)的效率。
【圖文】：

ＭａｐＲｅｄｕｃｅ的資源管理與作業(yè)管理均由ＪｏｂＴｒａｃｋｅｒ負(fù)責(zé)，，造成ＪｏｂＴｒａｃｋｅｒ逡逑負(fù)載過大，且存在擴展性差等缺點。Ｈａｄ00Ｐ２．０對此做了重大改動，實現(xiàn)了邋Ｙａｍ逡逑資源管理系統(tǒng)。Ｙａｒｎ的系統(tǒng)架構(gòu)如圖２－１所示：逡逑媝逡逑圖２－１邋Ｙａｍ系統(tǒng)架構(gòu)圖逡逑６逡逑

窖通用戶邐Ａ列管／逡逑圖３－１任務(wù)管理模塊用例圖逡逑由圖３－１可知，管理員用戶可以對所有作業(yè)與隊列進(jìn)行管理，并且能夠新建逡逑隊列。普通用戶可以進(jìn)行作業(yè)計算、作業(yè)管理、隊列管理操作，但這些操作都受逡逑到相應(yīng)權(quán)限控制。逡逑這種權(quán)限管理機制與Ｅｏｌｅ系統(tǒng)的用戶管理體系是一致的。Ｅｏｌｅ系統(tǒng)作為一逡逑個開放的大數(shù)據(jù)分析平臺，應(yīng)用場景可能是一個公司的多個部門或者一個實驗室逡逑的多個項目組，每個部門或項目組又會擁有許多項目，由此Ｅｏｌｅ系統(tǒng)中設(shè)定了逡逑一個“Ｐｒｏｊｅｃｔ”的概念，對應(yīng)于現(xiàn)實世界中的一個項目或者一類相關(guān)工作的集合。逡逑每個Ｐｒｏｊｅｃｔ在Ｅｏｌｅ系統(tǒng)中擁有自己的存儲空間和計算資源，不同的用戶根據(jù)自逡逑己的權(quán)限設(shè)置參與到各個Ｐｒｏｊｅｃｔ中。每個Ｐｒｏｊｅｃｔ設(shè)置了一個Ｏｗｎｅｒ邋（類比于實逡逑際生活中的項目組長），多個Ｗｏｒｋｅｒ（類比于項目參與者）。Ｏｗｎｅｒ擁有這個Ｐｒｏｊｅｃｔ逡逑的全部權(quán)限，包括對文件的查看，作業(yè)的管理，以及添加刪除Ｗｏｒｋｅｒ和對Ｗｏｒｋｅｒ逡逑權(quán)限的修改。Ｗｏｒｋｅｒ只擁有所設(shè)置的權(quán)限。Ｏｗｎｅｒ和Ｗｏｒｋｅｒ均只針對于某一個逡逑具體的Ｐｒｏｊｅｃｔ
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.52;TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 禹水琴;;Kerberos實驗系統(tǒng)設(shè)計與分析[J];電腦知識與技術(shù);2015年24期

2 陳昊;高楚舒;魏峻;葉丹;;基于Actor模型的高性能分布式XMPP服務(wù)器[J];計算機系統(tǒng)應(yīng)用;2015年10期

3 竇青嵩;;關(guān)于對計算機“云計算”技術(shù)現(xiàn)狀及發(fā)展的幾點探討[J];電子技術(shù)與軟件工程;2015年16期

4 堯煒;馬又良;;淺析Hadoop 1.0與2.0設(shè)計原理[J];郵電設(shè)計技術(shù);2014年07期

5 陳吉榮;樂嘉錦;;基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J];計算機工程與科學(xué);2013年10期

6 李春艷;何一舟;戴彬;;Hadoop平臺的多隊列作業(yè)調(diào)度優(yōu)化方法研究[J];計算機應(yīng)用研究;2014年03期

相關(guān)博士學(xué)位論文 前1條

1 劉森;云計算技術(shù)的價值創(chuàng)造及作用機理研究[D];浙江大學(xué);2014年

相關(guān)碩士學(xué)位論文 前2條

1 張京一;基于Hadoop的Web查詢平臺的權(quán)限控制與性能優(yōu)化模塊[D];北京郵電大學(xué);2015年

2 王剛;云平臺下HDFS HA的研究與實現(xiàn)[D];西北大學(xué);2013年

本文編號：2573127