當(dāng)今,“得數(shù)據(jù)者得天下”已經(jīng)成為全球共識,數(shù)據(jù)不再是社會生產(chǎn)的“副產(chǎn)物”,它變成了生產(chǎn)資料、可被多次加工的原料,并從中挖掘出更大價值�？梢灶A(yù)言,未來企業(yè)的核心競爭力的基礎(chǔ)就是該公司數(shù)據(jù)的積累、處理與變現(xiàn)能力。然而,作為實體經(jīng)濟(jì)的“掌上明珠”的制造業(yè),正成為大數(shù)據(jù)融合的主戰(zhàn)場,隨著產(chǎn)業(yè)結(jié)構(gòu)的持續(xù)升級,以及軟件、網(wǎng)絡(luò)、裝備等各交叉領(lǐng)域間技術(shù)跨界融合,都為工業(yè)大數(shù)據(jù)在制造業(yè)的發(fā)展提供了一定的技術(shù)基礎(chǔ)。本文提出一種基于Hadoop生態(tài)圈的工業(yè)數(shù)據(jù)平臺設(shè)計方案,并進(jìn)行分析研究;探討了HDFS分布式文件系統(tǒng)、Spark計算框架、列式數(shù)據(jù)庫、可視化應(yīng)用的信息化工業(yè)數(shù)據(jù)平臺搭建全過程多個關(guān)鍵技術(shù)點。剖析了所運(yùn)用到的Hadoop生態(tài)圈組件的詳細(xì)運(yùn)行機(jī)制,并針對Hadoop實際數(shù)據(jù)存儲場景的不足補(bǔ)充關(guān)于列式設(shè)計與大規(guī)模并行處理的關(guān)系型數(shù)據(jù)庫優(yōu)化策略;本文從實際項目中總結(jié)平臺需求,梳理平臺整體的客戶要求,然后從技術(shù)角度上描述了該平臺所需要的技術(shù)功能模塊,進(jìn)而以運(yùn)維人員和使用客戶的角度,以及從穩(wěn)定性、人際交互等要素對平臺進(jìn)行了非功能性需求分析,最終明確了平臺最終規(guī)模、預(yù)期效果。本文以前沿技術(shù)理論為依托,結(jié)合先... 

【文章來源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【部分圖文】：

工業(yè)大數(shù)據(jù)在智能制造中的關(guān)鍵作用目前，工業(yè)、信息通信和互聯(lián)網(wǎng)等各領(lǐng)域的企業(yè)紛紛布局

發(fā)掘行業(yè)信息資源價值，提高工業(yè)大數(shù)據(jù)的利用率，是當(dāng)前迫切需要解決的問題。1.3 Hadoop 生態(tài)圈Hadoop[11-12]起源于谷歌在 2003 年和 2004 年發(fā)表了 GFS[13]和 MapReduce[14]兩篇論文，最開始是針對大數(shù)據(jù)處理需求提出的分布式存儲技術(shù)。自 2006 年面世以來Hadoop 技術(shù)發(fā)展迅猛，其技術(shù)生態(tài)圈也日益壯大，從原先只有 HDFS 和 MapRedu兩個組件發(fā)展到目前的 60 多個組件，覆蓋了從數(shù)據(jù)存儲、計算引擎到數(shù)據(jù)訪問框架等各個層面，目前大數(shù)據(jù)技術(shù)基本都依賴于 Hadoop 生態(tài)系統(tǒng)下的東西（除了谷歌自有系統(tǒng)），HDFS，Hive，HBase 仍然是解決巨量數(shù)據(jù)存儲和 ETL 的必要工具（即使是亞馬遜的 S3 也是 HDFS）。Hadoop 繼承了 GFS 和 MapReduce 的高效分布式計算框架，在提供了前所未有的計算能力的同時，也大大降低了計算成本，使其在大規(guī)模數(shù)據(jù)處理分析和處理，為大數(shù)據(jù)提供了一個完整的、多種選擇地解決方案。

設(shè)計靈感來自谷歌發(fā)表于 2003 年 10 月的 GFS 論文，它是 Had統(tǒng)，也是本文平臺存儲架構(gòu)的核心。HDFS 有著同其他分布式文主要指適合運(yùn)行在低成本通用硬件集群上[16]，但又同其他分布式或者說進(jìn)一步得到優(yōu)化。 是一個多層次的架構(gòu)，除了緒論中的簡單介紹之外，它是基于模式，一個 Namenode（管理節(jié)點）和多個 Datanode（工作節(jié)點訊即 RPC[17]來實現(xiàn)層間的信息交互。 由三個層次組成：客戶端層、名稱節(jié)點層和數(shù)據(jù)節(jié)點層，基于集群，并可以通過增加附加集群節(jié)點擴(kuò)展數(shù)據(jù)存儲規(guī)模，分布于taNode），并對文件塊進(jìn)行備份存儲，由 Namenode（數(shù)據(jù)管理據(jù)塊將均衡地分布，建立高容錯性和保護(hù)機(jī)制，保證數(shù)據(jù)或節(jié)點使用，實時監(jiān)測數(shù)據(jù)和性能；如圖 2-1 所示。

【參考文獻(xiàn)】：
期刊論文
[1]使用虛擬機(jī)搭建Hadoop3.0集群安裝環(huán)境[J]. 楊云海,章芬芬.  現(xiàn)代信息科技. 2018(10)
[2]基于HTML5與物聯(lián)網(wǎng)技術(shù)的大數(shù)據(jù)中心機(jī)房智能管理系統(tǒng)[J]. 彭燦華,楊呈永,張玉斌.  實驗室研究與探索. 2018(04)
[3]基于HTML5的大數(shù)據(jù)可視化展示平臺設(shè)計與實踐[J]. 吳曉寧.  信息技術(shù)與標(biāo)準(zhǔn)化. 2018(04)
[4]大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J]. 余聶芳.  數(shù)碼世界. 2017(12)
[5]工業(yè)大數(shù)據(jù)發(fā)展現(xiàn)狀及前景展望[J]. 范學(xué)軍.  現(xiàn)代電信科技. 2017(04)
[6]基于ASP.NET MVC6框架的Web應(yīng)用開發(fā)研究[J]. 周寶昌.  電腦知識與技術(shù). 2017(02)
[7]大數(shù)據(jù)流式計算:應(yīng)用特征和技術(shù)挑戰(zhàn)[J]. 孫大為.  大數(shù)據(jù). 2015(03)
[8]大數(shù)據(jù)平臺下的工業(yè)優(yōu)化——面向節(jié)能降耗的水泥生產(chǎn)優(yōu)化決策系統(tǒng)簡介[J]. 凡福林.  中國設(shè)備工程. 2015(06)
[9]面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J]. 彭小圣,鄧迪元,程時杰,文勁宇,李朝暉,牛林.  中國電機(jī)工程學(xué)報. 2015(03)
[10]云平臺下輸變電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理[J]. 宋亞奇,周國亮,朱永利,李莉,王劉旺,王德文.  中國電機(jī)工程學(xué)報. 2015(02)

博士論文
[1]大數(shù)據(jù)處理技術(shù)與系統(tǒng)研究[D]. 顧榮.南京大學(xué) 2016
[2]面向PLM的數(shù)據(jù)挖掘技術(shù)和應(yīng)用研究[D]. 徐河杭.浙江大學(xué) 2010

碩士論文
[1]基于Hadoop的女裝商品推薦系統(tǒng)設(shè)計與實現(xiàn)[D]. 虞樂文.華中科技大學(xué) 2018
[2]基于Hadoop的電子商務(wù)推薦系統(tǒng)的設(shè)計與實現(xiàn)[D]. 彭興.閩南師范大學(xué) 2016
[3]MES車間生產(chǎn)調(diào)度系統(tǒng)及其數(shù)據(jù)挖掘方法的研究[D]. 徐玉婷.南京航空航天大學(xué) 2007



本文編號：3548212