伴隨著企業(yè)自身業(yè)務(wù)種類的快速增加以及業(yè)務(wù)范圍的不斷擴(kuò)大,企業(yè)所掌握的數(shù)據(jù)量呈指數(shù)級增長。龐大的業(yè)務(wù)數(shù)據(jù)量往往蘊(yùn)含著重要的商業(yè)價值。企業(yè)發(fā)展過程中,企業(yè)高層人員逐漸認(rèn)識到對過往數(shù)據(jù)的合理使用可以給企業(yè)帶來豐厚的回報。并且隨著大數(shù)據(jù)技術(shù)的日漸成熟,各種商業(yè)化且穩(wěn)定有效的方案可以做到既節(jié)約大量的成本,又給企業(yè)發(fā)展帶來合理有效的數(shù)據(jù)支持。當(dāng)前企業(yè)進(jìn)行大數(shù)據(jù)分析主要依靠在分布式集群如Hadoop集群上進(jìn)行數(shù)據(jù)存儲,使用Hadoop生態(tài)圈組件如Hive、Spark、Flink、Storm進(jìn)行數(shù)據(jù)的計算,基本涵蓋了離線數(shù)據(jù)倉庫、實時計算、實時數(shù)據(jù)倉庫等多個方面的功能建設(shè)。通常企業(yè)中的運(yùn)營人員、數(shù)據(jù)分析人員并非都畢業(yè)于計算機(jī)類相關(guān)專業(yè)。他們普遍具有統(tǒng)計學(xué)類知識,并且對相關(guān)業(yè)務(wù)領(lǐng)域具有較深的理解,這些人員基本掌握SQL語言但是對于Linux、大數(shù)據(jù)等技術(shù)了解不深。如果直接讓運(yùn)營人員、數(shù)據(jù)分析人員直接通過CRT或Xshell等工具連接Hadoop集群進(jìn)行數(shù)據(jù)分析開發(fā)任務(wù),可能存在學(xué)習(xí)成本高、工作效率低、數(shù)據(jù)存在泄漏、集群安全性等等一系列問題。但是分析人員又需要可以編寫SQL腳本并且對腳本進(jìn)行試錯修改的地方... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１企業(yè)數(shù)據(jù)開發(fā)系統(tǒng)功能劃分包圖??企業(yè)數(shù)據(jù)開發(fā)系統(tǒng)的主要使用場景是數(shù)據(jù)分析人員、數(shù)據(jù)倉庫人員創(chuàng)建數(shù)據(jù)??

?山東大學(xué)碩士學(xué)位論文???理需求分析五個主要部分。??２．３．１用戶管理需求分析??用戶管理模塊的主要功能是對用戶個人信息以及集群庫表權(quán)限等內(nèi)容統(tǒng)一??管理。在用戶管理中，使用本系統(tǒng)的數(shù)據(jù)幵發(fā)人員主要可以執(zhí)行個人權(quán)限管理、??申請管理、新手引導(dǎo)設(shè)置等相關(guān)操作。??用戶管理用例圖如圖２－３所示。??壞境權(quán)酵商）??々職限申９??￣ｘ￣???人＼?、￣??數(shù)紐發(fā)人員???、＾氣申請歷史麵））??々手引導(dǎo)??、、、＾取新耗丨＾＾??＇Ｖ￣＾??＾在線使ｓ手冊ｊ??圖２－３用戶管理用例圖??１．個人權(quán)限管理。個人權(quán)限管理是指對數(shù)據(jù)開發(fā)人員已經(jīng)獲得的各個集群、??庫權(quán)限等信息進(jìn)行管理。主要對用戶己具備的集群、庫權(quán)限進(jìn)行列表展示、條件??檢索。??２．申請管理。申請管理主要以管理數(shù)據(jù)開發(fā)人員在系統(tǒng)中的各項環(huán)境、庫表??權(quán)限的申請為主要任務(wù)。由于只申請集群環(huán)境而不申請庫權(quán)限仍會使得腳本無法??讀寫表，順利完成數(shù)據(jù)開發(fā)任務(wù)。因此申請集群環(huán)境只能同時申請一個庫權(quán)限，??若需申請多個庫則提交多次權(quán)限申請，選擇同一集群環(huán)境不同庫即可。數(shù)據(jù)開發(fā)??人員申請使用某個集群環(huán)境需要提交相應(yīng)集群環(huán)境申請信息，包括申請賬號、申??請集群環(huán)境、申請庫環(huán)境、申請原因等。并且在用戶管理申請歷史中可以對己提??８??

?山東大學(xué)碩士學(xué)位論文???交申請記錄進(jìn)行査詢。??３．新手引導(dǎo)設(shè)置。新手引導(dǎo)設(shè)置是針對剛開始使用企業(yè)數(shù)據(jù)開發(fā)系統(tǒng)用戶提??供的指引功能，包括提供新手引導(dǎo)、在線使用手冊等。??２．３．２項目管理需求分析??項目管理模塊主要針對用戶的項目相關(guān)信息進(jìn)行管理。在項目管理模塊中，??使用本系統(tǒng)的數(shù)據(jù)開發(fā)人員可以執(zhí)行普通項目管理、Ｇｉｔ項目管理、項目列表相??關(guān)、項目文件維護(hù)、項目傳輸?shù)认嚓P(guān)操作。??項目管理用例圖如圖２－４所示。??Ｘ＂＂＜＜５ｒ＞ｄｕ６ｅ？－??－４—????Ａ．?Ｊ?＜＾ｕｄｅ？?廣??＼?＾?’?項目使用?）??數(shù)斷發(fā)人員???Ｖ?夕??ｒ項＠傳輸）１＾＼?ｙ項目文件刪除１??ｔ?－ｉ?＼??？ｉｎｃｋｉｅ＞＾＇，?ｓ〇％ｔ?ｓ＜ｒ??＾?、、％?１?？目文麟增）??￣??ｋ瑣巨文件上傳ｊ?Ｌ文件打包下載」??圖２－４項目管理用例圖??１．普通項目管理。數(shù)據(jù)開發(fā)使用流程中需要首先創(chuàng)建一個項目，可創(chuàng)建的項??９??

【參考文獻(xiàn)】：
期刊論文
[1]MySQL得到廣泛使用的原因以及它的嵌入應(yīng)用[J]. 鄭智方,魏愷樂,李彬,謝易壯.  科技風(fēng). 2020(05)
[2]大數(shù)據(jù)實時交互式分析[J]. 袁喆,文繼榮,魏哲巍,劉家俊,姚斌,鄭凱.  軟件學(xué)報. 2020(01)
[3]基于Hive的高可用雙引擎數(shù)據(jù)倉庫[J]. 李翀,張彤彤,杜偉靜,劉學(xué)敏.  計算機(jī)系統(tǒng)應(yīng)用. 2019(09)
[4]大數(shù)據(jù)的發(fā)展及數(shù)據(jù)倉庫的融合應(yīng)用[J]. 楊磊.  數(shù)字技術(shù)與應(yīng)用. 2019(06)
[5]大數(shù)據(jù)技術(shù)在精準(zhǔn)營銷中的應(yīng)用[J]. 張黎平.  電子技術(shù)與軟件工程. 2019(09)
[6]大數(shù)據(jù)在企業(yè)中的應(yīng)用[J]. 劉德松.  電子技術(shù)與軟件工程. 2019(07)
[7]Hadoop變局[J]. 李昊原.  IT經(jīng)理世界. 2018(23)
[8]大數(shù)據(jù)在企業(yè)營銷管理中的應(yīng)用分析[J]. 唐曉燕.  現(xiàn)代國企研究. 2018(20)
[9]大數(shù)據(jù)的商業(yè)應(yīng)用及問題探究[J]. 郭堯元.  智庫時代. 2018(35)
[10]基于阿里云大數(shù)據(jù)平臺的“數(shù)據(jù)挖掘”課程實驗教學(xué)方法探討[J]. 王振武.  實驗室研究與探索. 2018(06)

碩士論文
[1]基于Hadoop的離線數(shù)據(jù)分析平臺設(shè)計與實現(xiàn)[D]. 朱雪.河北工程大學(xué) 2018
[2]基于Hive on Spark的列式存儲性能分析和優(yōu)化研究[D]. 聶偉.華中科技大學(xué) 2017
[3]基于hadoop的web管理系統(tǒng)[D]. 金鳳.北京郵電大學(xué) 2015



本文編號：3255074