本文關(guān)鍵詞：制造業(yè)大數(shù)據(jù)分布式存儲管理方法研究

  更多相關(guān)文章： 制造業(yè)大數(shù)據(jù) 分布式存儲 對象代理模型 關(guān)聯(lián)關(guān)系 存儲優(yōu)化

【摘要】：德國工業(yè)4.0的產(chǎn)生與興起使得制造業(yè)逐漸邁入了大數(shù)據(jù)時代。從產(chǎn)品的設(shè)計、制造到維修的整個生命周期中,都會產(chǎn)生大量的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),它們具有多模態(tài)、高通量、強關(guān)聯(lián)等特性。作為新一代信息技術(shù)的關(guān)鍵,制造業(yè)大數(shù)據(jù)將逐漸成為產(chǎn)業(yè)革命的核心,是實現(xiàn)智慧生產(chǎn)的重要因素,因此如何存儲和管理制造業(yè)大數(shù)據(jù)成為人們研究的熱點。對大數(shù)據(jù)的管理一般采用分布式存儲的方法,雖然目前已有許多分布式存儲方案,也出現(xiàn)了一些工業(yè)大數(shù)據(jù)管理平臺,但采用現(xiàn)有方法對制造業(yè)大數(shù)據(jù)進行存儲存在以下幾方面的不足:(1)數(shù)據(jù)管理分散,當需要進行信息共享時,會造成人員之間的頻繁溝通;(2)對復雜關(guān)聯(lián)關(guān)系的管理能力不夠;(3)現(xiàn)有的管理系統(tǒng)均為通用系統(tǒng),從而缺乏對制造業(yè)大數(shù)據(jù)獨有特征的支持等等。為了對制造業(yè)大數(shù)據(jù)進行高效地存儲管理,解決現(xiàn)有存儲方案的不足,本文設(shè)計并實現(xiàn)了針對制造業(yè)大數(shù)據(jù)的分布式存儲引擎,利用對象代理數(shù)據(jù)庫實現(xiàn)元數(shù)據(jù)存儲管理功能,以HDFS為文件系統(tǒng)實現(xiàn)分布式數(shù)據(jù)存儲管理的功能,并根據(jù)元數(shù)據(jù)信息與數(shù)據(jù)間的關(guān)聯(lián)關(guān)系對小文件存儲和副本機制進行優(yōu)化。本文的工作主要包括以下幾方面:(1)利用源類與代理類之間的代理關(guān)系,本文提出了基于對象代理模型的制造業(yè)非結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)管理方法,分別對其元數(shù)據(jù)、實體組成關(guān)系與約束關(guān)系、實體數(shù)據(jù)對應(yīng)關(guān)系進行建模;(2)由于制造業(yè)大數(shù)據(jù)中存在海量的小文件,而HDFS存儲小文件時存在著存儲空間浪費等問題,因此本文對小文件存儲進行優(yōu)化,綜合考慮文件之間的關(guān)聯(lián)關(guān)系以及合并后的存儲空間利用率對文件聚簇,將小文件組織成聚簇文件進行存儲;(3)針對制造業(yè)數(shù)據(jù)訪問具有時效性這一特征,本文對HDFS的副本管理機制進行了改進,根據(jù)文件的歷史訪問頻率以及系統(tǒng)的存儲空間使用情況,計算文件當前的副本需求量并動態(tài)調(diào)整副本,當需要增加副本時,本文根據(jù)節(jié)點的工作狀態(tài)、副本復制的網(wǎng)絡(luò)開銷以及相關(guān)用戶的讀取效率,為文件選擇最優(yōu)的副本存放節(jié)點。最后將本文設(shè)計的分布式存儲引擎在實際環(huán)境中進行部署,對以上方案從功能和性能兩方面進行了驗證。實驗結(jié)果不僅表明了功能的正確性與完整性,而且也說明了本文方法在性能上是有效的,能夠顯著地提高系統(tǒng)的讀取效率。
【學位授予單位】：武漢大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP333;TP311.13

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王征;劉心松;李美安;;企業(yè)信息分布式存儲的熱點處理策略[J];計算機集成制造系統(tǒng);2006年09期

2 李磊;沈海斌;黃凱;嚴曉浪;Han Sangil;Ahmed A Jerraya;;分布式存儲管理在多核設(shè)計中的高層建模[J];電子與信息學報;2008年11期

3 劉翔;汪海玲;;分布式存儲中的一種數(shù)據(jù)放置策略[J];計算機與數(shù)字工程;2009年05期

4 陳衛(wèi)衛(wèi);吳海佳;胥光輝;;分布式存儲中文件分割的最優(yōu)化模型[J];解放軍理工大學學報(自然科學版);2010年04期

5 崔忠強;左德承;張展;;在云間可重構(gòu)的分布式存儲[J];系統(tǒng)工程理論與實踐;2011年S2期

6 郝杰;逯彥博;劉鑫吉;夏樹濤;;分布式存儲中的再生碼綜述[J];重慶郵電大學學報(自然科學版);2013年01期

7 唐京偉;;基于云計算的分布式存儲技術(shù)[J];中國傳媒科技;2013年15期

8 郭棟;王偉;曾國蓀;;基于一致性樹分布的數(shù)據(jù)分布式存儲方法[J];計算機應(yīng)用;2013年12期

9 蘇李亮;王云福;侯斌;;海量設(shè)計文檔分布式存儲及負載均衡的研究與實現(xiàn)[J];電信科學;2013年12期

10 謝然;;敢問存儲之路在何方?見分布式存儲搖曳在數(shù)據(jù)枝頭[J];互聯(lián)網(wǎng)周刊;2014年02期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 蘇李亮;王云福;侯斌;;海量設(shè)計文檔分布式存儲及負載均衡的研究與實現(xiàn)[A];2013電力行業(yè)信息化年會論文集[C];2013年

2 蘇李亮;王云福;侯斌;;海量設(shè)計文檔分布式存儲及負載均衡的研究與實現(xiàn)[A];2013電力行業(yè)信息化年會論文集[C];2013年

3 鄭文武;李先緒;黃植勤;邱紅飛;;云存儲關(guān)鍵技術(shù)[A];2012全國無線及移動通信學術(shù)大會論文集（下）[C];2012年

4 蔣軼林;郭淑琴;;分布式存儲在數(shù)字集群移動通信系統(tǒng)中的應(yīng)用[A];浙江省電子學會2013學術(shù)年會論文集[C];2013年

5 姜繼忱;陳鋼;;P2P之路——締造“分布式對等”的Internet3.0[A];全面建設(shè)小康社會：中國科技工作者的歷史責任——中國科協(xié)2003年學術(shù)年會論文集（下）[C];2003年

6 付偉;肖儂;盧錫城;;QoS感知的副本放置問題研究綜述[A];第15屆全國信息存儲技術(shù)學術(shù)會議論文集[C];2008年

7 張彥;劉欣然;徐慧彬;;一種基于虛擬計算環(huán)境的分布式存儲體系結(jié)構(gòu)[A];2009全國計算機網(wǎng)絡(luò)與通信學術(shù)會議論文集[C];2009年

中國重要報紙全文數(shù)據(jù)庫 前8條

1 京東架構(gòu)委員會主任 云平臺首席架構(gòu)師 系統(tǒng)技術(shù)部負責人 劉海鋒;京東:分布式存儲體系成為業(yè)務(wù)基石[N];中國信息化周報;2014年

2 《網(wǎng)絡(luò)世界》記者 于翔;京東分布式存儲體系研發(fā)歷程[N];網(wǎng)絡(luò)世界;2014年

3 《網(wǎng)絡(luò)世界》記者 于翔;融合一體機投入大規(guī)模商用[N];網(wǎng)絡(luò)世界;2013年

4 記者 余榮華;大數(shù)據(jù)，催生大變革[N];人民日報;2014年

5 本報記者 張佳星;新生產(chǎn)業(yè)布局如何“云”中索驥[N];科技日報;2014年

6 本報記者 甘露;物聯(lián)網(wǎng)讓管理更美妙[N];計算機世界;2013年

7 本報記者 郭濤;華為幫用戶定制HANA一體機[N];中國計算機報;2013年

8 臨江;手機瀏覽器,3G時代的采礦機？[N];人民郵電;2009年

中國博士學位論文全文數(shù)據(jù)庫 前9條

1 吳思;容錯分布式存儲系統(tǒng)擴容機制研究[D];中國科學技術(shù)大學;2016年

2 胡q，

本文編號：1296924