本文關(guān)鍵詞：制造業(yè)大數(shù)據(jù)分布式存儲(chǔ)管理方法研究

  更多相關(guān)文章： 制造業(yè)大數(shù)據(jù) 分布式存儲(chǔ) 對(duì)象代理模型 關(guān)聯(lián)關(guān)系 存儲(chǔ)優(yōu)化

【摘要】：德國(guó)工業(yè)4.0的產(chǎn)生與興起使得制造業(yè)逐漸邁入了大數(shù)據(jù)時(shí)代。從產(chǎn)品的設(shè)計(jì)、制造到維修的整個(gè)生命周期中,都會(huì)產(chǎn)生大量的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),它們具有多模態(tài)、高通量、強(qiáng)關(guān)聯(lián)等特性。作為新一代信息技術(shù)的關(guān)鍵,制造業(yè)大數(shù)據(jù)將逐漸成為產(chǎn)業(yè)革命的核心,是實(shí)現(xiàn)智慧生產(chǎn)的重要因素,因此如何存儲(chǔ)和管理制造業(yè)大數(shù)據(jù)成為人們研究的熱點(diǎn)。對(duì)大數(shù)據(jù)的管理一般采用分布式存儲(chǔ)的方法,雖然目前已有許多分布式存儲(chǔ)方案,也出現(xiàn)了一些工業(yè)大數(shù)據(jù)管理平臺(tái),但采用現(xiàn)有方法對(duì)制造業(yè)大數(shù)據(jù)進(jìn)行存儲(chǔ)存在以下幾方面的不足:(1)數(shù)據(jù)管理分散,當(dāng)需要進(jìn)行信息共享時(shí),會(huì)造成人員之間的頻繁溝通;(2)對(duì)復(fù)雜關(guān)聯(lián)關(guān)系的管理能力不夠;(3)現(xiàn)有的管理系統(tǒng)均為通用系統(tǒng),從而缺乏對(duì)制造業(yè)大數(shù)據(jù)獨(dú)有特征的支持等等。為了對(duì)制造業(yè)大數(shù)據(jù)進(jìn)行高效地存儲(chǔ)管理,解決現(xiàn)有存儲(chǔ)方案的不足,本文設(shè)計(jì)并實(shí)現(xiàn)了針對(duì)制造業(yè)大數(shù)據(jù)的分布式存儲(chǔ)引擎,利用對(duì)象代理數(shù)據(jù)庫(kù)實(shí)現(xiàn)元數(shù)據(jù)存儲(chǔ)管理功能,以HDFS為文件系統(tǒng)實(shí)現(xiàn)分布式數(shù)據(jù)存儲(chǔ)管理的功能,并根據(jù)元數(shù)據(jù)信息與數(shù)據(jù)間的關(guān)聯(lián)關(guān)系對(duì)小文件存儲(chǔ)和副本機(jī)制進(jìn)行優(yōu)化。本文的工作主要包括以下幾方面:(1)利用源類(lèi)與代理類(lèi)之間的代理關(guān)系,本文提出了基于對(duì)象代理模型的制造業(yè)非結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)管理方法,分別對(duì)其元數(shù)據(jù)、實(shí)體組成關(guān)系與約束關(guān)系、實(shí)體數(shù)據(jù)對(duì)應(yīng)關(guān)系進(jìn)行建模;(2)由于制造業(yè)大數(shù)據(jù)中存在海量的小文件,而HDFS存儲(chǔ)小文件時(shí)存在著存儲(chǔ)空間浪費(fèi)等問(wèn)題,因此本文對(duì)小文件存儲(chǔ)進(jìn)行優(yōu)化,綜合考慮文件之間的關(guān)聯(lián)關(guān)系以及合并后的存儲(chǔ)空間利用率對(duì)文件聚簇,將小文件組織成聚簇文件進(jìn)行存儲(chǔ);(3)針對(duì)制造業(yè)數(shù)據(jù)訪問(wèn)具有時(shí)效性這一特征,本文對(duì)HDFS的副本管理機(jī)制進(jìn)行了改進(jìn),根據(jù)文件的歷史訪問(wèn)頻率以及系統(tǒng)的存儲(chǔ)空間使用情況,計(jì)算文件當(dāng)前的副本需求量并動(dòng)態(tài)調(diào)整副本,當(dāng)需要增加副本時(shí),本文根據(jù)節(jié)點(diǎn)的工作狀態(tài)、副本復(fù)制的網(wǎng)絡(luò)開(kāi)銷(xiāo)以及相關(guān)用戶(hù)的讀取效率,為文件選擇最優(yōu)的副本存放節(jié)點(diǎn)。最后將本文設(shè)計(jì)的分布式存儲(chǔ)引擎在實(shí)際環(huán)境中進(jìn)行部署,對(duì)以上方案從功能和性能兩方面進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果不僅表明了功能的正確性與完整性,而且也說(shuō)明了本文方法在性能上是有效的,能夠顯著地提高系統(tǒng)的讀取效率。
【學(xué)位授予單位】：武漢大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TP333;TP311.13

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王征;劉心松;李美安;;企業(yè)信息分布式存儲(chǔ)的熱點(diǎn)處理策略[J];計(jì)算機(jī)集成制造系統(tǒng);2006年09期

2 李磊;沈海斌;黃凱;嚴(yán)曉浪;Han Sangil;Ahmed A Jerraya;;分布式存儲(chǔ)管理在多核設(shè)計(jì)中的高層建模[J];電子與信息學(xué)報(bào);2008年11期

3 劉翔;汪海玲;;分布式存儲(chǔ)中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)與數(shù)字工程;2009年05期

4 陳衛(wèi)衛(wèi);吳海佳;胥光輝;;分布式存儲(chǔ)中文件分割的最優(yōu)化模型[J];解放軍理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年04期

5 崔忠強(qiáng);左德承;張展;;在云間可重構(gòu)的分布式存儲(chǔ)[J];系統(tǒng)工程理論與實(shí)踐;2011年S2期

6 郝杰;逯彥博;劉鑫吉;夏樹(shù)濤;;分布式存儲(chǔ)中的再生碼綜述[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年01期

7 唐京偉;;基于云計(jì)算的分布式存儲(chǔ)技術(shù)[J];中國(guó)傳媒科技;2013年15期

8 郭棟;王偉;曾國(guó)蓀;;基于一致性樹(shù)分布的數(shù)據(jù)分布式存儲(chǔ)方法[J];計(jì)算機(jī)應(yīng)用;2013年12期

9 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[J];電信科學(xué);2013年12期

10 謝然;;敢問(wèn)存儲(chǔ)之路在何方?見(jiàn)分布式存儲(chǔ)搖曳在數(shù)據(jù)枝頭[J];互聯(lián)網(wǎng)周刊;2014年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

2 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

3 鄭文武;李先緒;黃植勤;邱紅飛;;云存儲(chǔ)關(guān)鍵技術(shù)[A];2012全國(guó)無(wú)線(xiàn)及移動(dòng)通信學(xué)術(shù)大會(huì)論文集（下）[C];2012年

4 蔣軼林;郭淑琴;;分布式存儲(chǔ)在數(shù)字集群移動(dòng)通信系統(tǒng)中的應(yīng)用[A];浙江省電子學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

5 姜繼忱;陳鋼;;P2P之路——締造“分布式對(duì)等”的Internet3.0[A];全面建設(shè)小康社會(huì)：中國(guó)科技工作者的歷史責(zé)任——中國(guó)科協(xié)2003年學(xué)術(shù)年會(huì)論文集（下）[C];2003年

6 付偉;肖儂;盧錫城;;QoS感知的副本放置問(wèn)題研究綜述[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

7 張彥;劉欣然;徐慧彬;;一種基于虛擬計(jì)算環(huán)境的分布式存儲(chǔ)體系結(jié)構(gòu)[A];2009全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)與通信學(xué)術(shù)會(huì)議論文集[C];2009年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前8條

1 京東架構(gòu)委員會(huì)主任 云平臺(tái)首席架構(gòu)師 系統(tǒng)技術(shù)部負(fù)責(zé)人 劉海鋒;京東:分布式存儲(chǔ)體系成為業(yè)務(wù)基石[N];中國(guó)信息化周報(bào);2014年

2 《網(wǎng)絡(luò)世界》記者 于翔;京東分布式存儲(chǔ)體系研發(fā)歷程[N];網(wǎng)絡(luò)世界;2014年

3 《網(wǎng)絡(luò)世界》記者 于翔;融合一體機(jī)投入大規(guī)模商用[N];網(wǎng)絡(luò)世界;2013年

4 記者 余榮華;大數(shù)據(jù)，催生大變革[N];人民日?qǐng)?bào);2014年

5 本報(bào)記者 張佳星;新生產(chǎn)業(yè)布局如何“云”中索驥[N];科技日?qǐng)?bào);2014年

6 本報(bào)記者 甘露;物聯(lián)網(wǎng)讓管理更美妙[N];計(jì)算機(jī)世界;2013年

7 本報(bào)記者 郭濤;華為幫用戶(hù)定制HANA一體機(jī)[N];中國(guó)計(jì)算機(jī)報(bào);2013年

8 臨江;手機(jī)瀏覽器,3G時(shí)代的采礦機(jī)？[N];人民郵電;2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前9條

1 吳思;容錯(cuò)分布式存儲(chǔ)系統(tǒng)擴(kuò)容機(jī)制研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

2 胡q，

本文編號(hào)：1296924