《中國制造2025》提出了建設制造業(yè)強國的目標,中國的制造業(yè)逐漸邁入智能制造時代。隨著智能制造的發(fā)展和信息化建設的普及,制造業(yè)企業(yè)的智能終端、傳感器和工業(yè)軟件在生產(chǎn)中會產(chǎn)生海量的業(yè)務數(shù)據(jù),這些海量的業(yè)務數(shù)據(jù)一般都具有大數(shù)據(jù)的基本特征,但是企業(yè)對這些工業(yè)大數(shù)據(jù)的存儲和計算都相對困難。同時,在企業(yè)中信息化建設中,由于信息隔離、數(shù)據(jù)駁雜和標準不統(tǒng)一等原因,各個工業(yè)軟件間數(shù)椐隔離,在企業(yè)中產(chǎn)生了“信息孤島”現(xiàn)象。“信息孤島”現(xiàn)象使得生產(chǎn)數(shù)據(jù)未得到充分整合和應用,嚴重制約了以數(shù)據(jù)為驅動的智能制造模式的發(fā)展。如何解決工業(yè)大數(shù)據(jù)的存儲與計算問題,幫助企業(yè)消除“信息孤島”現(xiàn)象,從海量的數(shù)據(jù)中找到有價值的信息,在企業(yè)智能制造的發(fā)展中具有重要的意義。針對上述問題,本文以制造業(yè)中倉儲業(yè)務為例進行研究,采用大數(shù)據(jù)+數(shù)據(jù)倉庫的方式對倉儲歷史訂單數(shù)據(jù)進行處理和分析,主要解決數(shù)據(jù)存儲、計算困難和數(shù)據(jù)不互通的問題。設計并實現(xiàn)了一個基于Spark+Impala的分布式數(shù)據(jù)倉庫系統(tǒng),對制造業(yè)倉儲業(yè)務的相關數(shù)據(jù)進行統(tǒng)一處理,最后利用數(shù)據(jù)挖掘和可視化技術將工業(yè)軟件中的數(shù)據(jù)進行應用,解決倉庫貨位擺放的問題,實現(xiàn)工業(yè)軟件中數(shù)據(jù)的... 

【文章來源】：南昌大學江西省 211工程院校

【文章頁數(shù)】：72 頁

【學位級別】：碩士

【部分圖文】：

圖２．１?Ｋｉｍｂａ丨１的ＤＷ／Ｂ卜架構模銷??

ｌｌ資源。丨ｆｌ］?Ｗｏｒｋｅｒ主要負ｋ：力ＥｘｅｃｕＵ）ｒ?（執(zhí)彳ｊ？器）外為Ｋｘｅｃｕｔｏｒ分Ｗ資??源。Ｓｐａ丨？�。迹�?ｏｎ?Ｙａｍ?足?Ｓｐａｒｋ?堪于?Ｙａｒｎ?的運汗？?Ｓｐａｒｋ?ｏｎ?Ｙａｒｎ?丨丨丨，由?Ｙａｒｎ??的?ＲｅｓｏｕｒｃｅＭａｎａｇｅｉ．?ｆ々代?Ｍａｓｔｅｒ，ＮｏｄｅＭａｎａｇｅｒ?ｆ々代?Ｗｏｒｋｅｒ，、義：現(xiàn)?ｆ?資源的統(tǒng)？??管理。??無論是哪種形式，它們都有？致的架構模式；，都是ｆｆｉ?ｒＭａｓｔｅｒ／Ｓｌａｖｅｓ的主從??架構。它們的架構如圖２．３所不。?????Ｄｒｉｖｅｒ??Ｃｌｉｅｎｔ??？??ＳｐａｒｋＣｏｎｔｅｘｔ?，??ｖ??Ｙａｒｎ／Ｓｔａｎｄａ?ｏｎｅ等集Ｉ２冒逗器???＾??節(jié)點１?芳點２?節(jié)點３??Ｅｘｅｃｕｔｏｒ?Ｅｘｅｃｕｔｏｒ?Ｅｘｅｃｕｔｏｒ??Ｔａｓｋ?Ｔａｓｋ?丁ａｓｋ??Ｔａｓｋ?Ｔａｓｋ?Ｔａｓｋ??圖２．３?Ｓｐａｒｋ架構模型圖??符先山Ｃｌｉｅｎｔ向集群提交任務，集群中的坫？個節(jié)點運行該程序汴成為該??務的丨）ｒｉｖｅｒ?（�。覄悠鳎到簧剑ǎ欤酰螅簦澹�?Ｍａｎａｇｅｒ?（Ｕ、丨丨丫丨器）ｊ射ｒｆ「：務、資??源的分配和節(jié)點的監(jiān)拽。在集群的每？個節(jié)點中都存彳１：?＿個丨Ｅｘｅｃｕｔｏｒ，｜〖１丨Ｅｘｅｃｕｔｏｒ??是計算住務實際的執(zhí)行者，負貴ｉ丨黨程序，１（１濃毎個Ｅｘｅｃｕｔｏｒ屮存／Ｉ：?？個或??１３??

?第３章ＥＴＬ系統(tǒng)的設計???（２）通過Ｃｌｉｅｎｔ提交的Ｋｅｔｔｌｅ腳本，Ｋｅｔｔｌｅ集群執(zhí)行編輯好的ＥＴＬ過程，??最后把ＥＴＬ過程的結果輸出到ＯＤＳ數(shù)據(jù)庫中，作為數(shù)據(jù)緩存。??（３）在一定時間期限后，Ｃｌｉｅｎｔ開始執(zhí)行Ｓｑｏｏｐ腳本，利用Ｓｑｏｏｐ抽�。希模�??數(shù)據(jù)庫中的數(shù)據(jù)，該步驟使用多線程操作，以提高效率。??（４）數(shù)據(jù)抽取完成后加載到數(shù)據(jù)倉庫中，即分布式文件系統(tǒng)ＨＤＦＳ中，隨??后關閉輸出流和應用程序。??ＨＤＦＳ?Ｉ??＇Ｔ＂＂＇?Ｔ￣?ｌｉ，??Ｓｑｏｏｐ?Ｉ??ＯＤＳ??：…?ｆ?ｓ??ｆ?ｆ?ｆ??！?ｋｅｔｔｌｅ?Ｉ?！?ｋｅｔｔｌｅ?Ｉ?ｊ?ｋｅｔｔｌｅ?１??ｌ?１?ｉ?ｉ?［?ｉ??ｆ??圖３．１分布式ＥＴＬ架構模型圖??３．３分布式ＥＴＬ系統(tǒng)的模型設計??數(shù)據(jù)的ＥＴＬ過程是構建數(shù)據(jù)倉庫至關重要的－步，主要用于從源事務系統(tǒng)??２２??

【參考文獻】：
期刊論文
[1]基于MapReduce和Spark的大數(shù)據(jù)主動學習比較研究[J]. 翟俊海,齊家興,沈矗,宋丹丹,王謨瀚,田石.  計算機工程與科學. 2019(10)
[2]智能數(shù)據(jù)管理與分析技術�？把訹J]. 樊文飛,王國仁,王朝坤.  軟件學報. 2019(03)
[3]工業(yè)智能網(wǎng)——工業(yè)互聯(lián)網(wǎng)的深化與升級[J]. 張平,劉會永,李文璟,周凡欽.  通信學報. 2018(12)
[4]面向服務的智能制造[J]. 陶飛,戚慶林.  機械工程學報. 2018(16)
[5]生命周期大數(shù)據(jù)驅動的復雜產(chǎn)品智能制造服務新模式研究[J]. 任杉,張映鋒,黃彬彬.  機械工程學報. 2018(22)
[6]工業(yè)大數(shù)據(jù)分析技術的發(fā)展及其面臨的挑戰(zhàn)[J]. 何文韜,邵誠.  信息與控制. 2018(04)
[7]工業(yè)互聯(lián)網(wǎng)的體系框架與關鍵技術——解讀《工業(yè)互聯(lián)網(wǎng):體系與技術》[J]. 夏志杰.  中國機械工程. 2018(10)
[8]MapReduce與Spark用于大數(shù)據(jù)分析之比較[J]. 吳信東,嵇圣硙.  軟件學報. 2018(06)
[9]全面實現(xiàn)數(shù)字化是通向智能制造的必由之路——解讀《智能制造之路:數(shù)字化工廠》[J]. 唐堂,滕琳,吳杰,陳明.  中國機械工程. 2018(03)
[10]對工業(yè)4.0背景下的智能制造的回顧[J]. 鐘潤陽,徐旬,Eberhard Klotz,Stephen T.Newman.  Engineering. 2017(05)

碩士論文
[1]基于關聯(lián)規(guī)則的貨位分配和訂單分批優(yōu)化研究[D]. 李亞芳.北京交通大學 2019
[2]非傳統(tǒng)布局倉儲貨位分配與揀選作業(yè)優(yōu)化研究[D]. 胡穎聰.南昌大學 2019
[3]分布式數(shù)據(jù)存儲關鍵技術研究[D]. 張永福.南京郵電大學 2016
[4]基于Hadoop的非結構化文本數(shù)據(jù)ETL系統(tǒng)設計與實現(xiàn)[D]. 習云峰.中國科學院大學(工程管理與信息技術學院) 2016
[5]基于Spark的數(shù)據(jù)管理平臺的設計與實現(xiàn)[D]. 劉鵬.浙江大學 2016



本文編號：3106733