本文關(guān)鍵詞： 大數(shù)據(jù)平臺 分布式并行化 STKmeans 不均衡數(shù)據(jù)　出處：《山東大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著大數(shù)據(jù)技術(shù)逐漸成為工業(yè)4.0的標(biāo)配技術(shù)之一,生產(chǎn)制造企業(yè)邁入了智能制造時代,基于數(shù)據(jù)的生產(chǎn)和管理需求越來越高。由于基于物聯(lián)網(wǎng)技術(shù)的數(shù)據(jù)采集和控制模塊的廣泛應(yīng)用,形成了極為龐大的數(shù)據(jù)源,傳統(tǒng)數(shù)據(jù)庫技術(shù)對這種大規(guī)模的數(shù)據(jù)的存儲、管理以及分析能力顯得捉襟見肘。而利用大數(shù)據(jù)技術(shù),可以給企業(yè)提供高效的數(shù)據(jù)分析能力,提高質(zhì)量管控、工藝提升、服務(wù)升級等方面的管理和決策能力。為解決生產(chǎn)制造企業(yè)無法通過傳統(tǒng)數(shù)據(jù)分析方法從企業(yè)大數(shù)據(jù)中獲取有價值信息的痛點,本文實現(xiàn)了一套大數(shù)據(jù)分析解決方案并進(jìn)行了實例分析。首先介紹了平臺的基礎(chǔ)架構(gòu),然后針對大數(shù)據(jù)平臺核心功能模塊如數(shù)據(jù)獲取、大數(shù)據(jù)分析模塊、平臺可視化等模塊進(jìn)行了詳細(xì)設(shè)計,尤其針對大數(shù)據(jù)平臺的運行特點以KNN為例對分析模塊給出了分布式并行化的實現(xiàn)思路。針對某生產(chǎn)制造企業(yè)具體的業(yè)務(wù)需求,分別給出了大數(shù)據(jù)平臺支撐下的數(shù)據(jù)預(yù)處理、特征提取、聚類模型及算法設(shè)計和實現(xiàn),結(jié)合企業(yè)擰緊工藝的數(shù)據(jù)分析案例進(jìn)行了詳細(xì)闡述。在此過程中,針對該企業(yè)數(shù)據(jù)特征,提出了一種改進(jìn)的針對大規(guī)模不均衡數(shù)據(jù)的聚類分析算法—STKmeans(Second Time Kmeans),企業(yè)數(shù)據(jù)的分析結(jié)果證明了其聚類效果遠(yuǎn)遠(yuǎn)高于傳統(tǒng)聚類方法,同時驗證了平臺的實用性。
[Abstract]:With big data technology becoming one of the standard technologies in industry 4.0, manufacturing enterprises have entered the era of intelligent manufacturing. Because of the wide application of data acquisition and control module based on the Internet of things, a huge data source has been formed, and the traditional database technology stores this kind of large-scale data. The ability of management and analysis is overstretched. By using big data technology, we can provide efficient data analysis ability, improve quality control, and improve technology. In order to solve the problem that manufacturing enterprises can not obtain valuable information from big data through traditional data analysis, This paper has realized a set of big data analysis solution and carried on the example analysis. First, introduced the platform infrastructure, then aimed at the big data platform core function module such as the data acquisition, the big data analysis module, The platform visualization module is designed in detail, especially according to the running characteristics of big data platform, taking KNN as an example, the realization of distributed parallelization is given. The data preprocessing, feature extraction, clustering model and algorithm design and implementation based on big data platform are presented, and the data analysis cases of enterprise tightening process are described in detail. This paper presents an improved clustering algorithm for large scale unbalanced data-STKmeans second Time Kmeansan. The results of enterprise data analysis show that the clustering effect of this algorithm is much higher than that of the traditional clustering method, and the practicability of the platform is verified at the same time.
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 得州;;挖出不一樣的秘密 數(shù)據(jù)分析師[J];電腦愛好者;2010年13期

2 張文霖;;數(shù)據(jù)分析初體驗[J];數(shù)據(jù);2013年05期

3 古福;;讓大數(shù)據(jù)分析更快速、更簡化[J];互聯(lián)網(wǎng)周刊;2013年11期

4 于宗民;;數(shù)據(jù)分析應(yīng)用的最大障礙[J];中國金融電腦;2007年08期

5 魏巍巍;;論數(shù)據(jù)分析在企業(yè)經(jīng)營管理中的重要性[J];產(chǎn)業(yè)與科技論壇;2012年12期

6 張文霖;;數(shù)據(jù)分析六步曲[J];數(shù)據(jù);2013年06期

7 戴未琰;;大數(shù)據(jù)分析概要[J];物聯(lián)網(wǎng)技術(shù);2013年08期

8 王海蘊;;大數(shù)據(jù)分析 市場成倍增長 深耕空間巨大[J];財經(jīng)界;2013年10期

9 ;大數(shù)據(jù)分析系列3:大數(shù)據(jù)分析如何權(quán)衡存儲[J];電腦與電信;2013年10期

10 馬_";;對大數(shù)據(jù)分析相關(guān)問題的思考[J];信息通信技術(shù);2013年06期

相關(guān)會議論文 前10條

1 申敏;;數(shù)據(jù)分析的原則和一般方法[A];2010年云南電力技術(shù)論壇論文集（文摘部分）[C];2010年

2 劉剛;;小學(xué)生數(shù)據(jù)分析觀念的培養(yǎng)[A];中華教育理論與實踐科研論文成果選編(第五卷)[C];2013年

3 石勇;;在銀行和金融數(shù)據(jù)分析中的評分方法[A];Data Analysis, Econo-physics and Risk Management--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

4 吳一平;;基于數(shù)據(jù)分析的離校工作改進(jìn)[A];中國高等教育學(xué)會教育信息化分會第十二次學(xué)術(shù)年會論文集[C];2014年

5 呂大青;;送變電施工企業(yè)中數(shù)據(jù)分析的運用[A];第二屆浙江中西部科技論壇論文集（第一卷）[C];2005年

6 李小花;李姝;;大數(shù)據(jù)分析在指揮信息系統(tǒng)中的應(yīng)用[A];2014第二屆中國指揮控制大會論文集（下）[C];2014年

7 范麗偉;唐煥文;唐一源;;空間獨立成分分析在fMRⅠ數(shù)據(jù)分析中的應(yīng)用[A];第九次全國生物物理大會學(xué)術(shù)會議論文摘要集[C];2002年

8 張軍;李婕;;中國國民休閑狀態(tài)變化研究——基于網(wǎng)上數(shù)據(jù)分析[A];第十五屆全國區(qū)域旅游學(xué)術(shù)開發(fā)研討會暨度假旅游論壇論文冊[C];2010年

9 徐小龍;王汝傳;姜波;;一種新的基于P2P的電信海量數(shù)據(jù)分析業(yè)務(wù)模式[A];普適計算及其軟件新技術(shù)——第三屆長三角計算機科技論壇文集[C];2006年

10 邵東華;;高速公路的平面控制復(fù)測與數(shù)據(jù)分析[A];第四屆“測繪科學(xué)前沿技術(shù)論壇”論文精選[C];2012年

相關(guān)重要報紙文章 前10條

1 匿銘;數(shù)據(jù)分析的“磨刀階段”[N];中華讀書報;2013年

2 胡英;澳發(fā)布政府可信數(shù)據(jù)分析指導(dǎo)草案[N];人民郵電;2014年

3 鄭愛民;陜西加強消費維權(quán)數(shù)據(jù)分析利用[N];中國工商報;2014年

4 本報駐美國記者 吳成良;“數(shù)據(jù)分析”成了“金飯碗”[N];人民日報;2014年

5 本報記者 楊群;大數(shù)據(jù)分析亮出專家的“自貿(mào)研判”[N];解放日報;2014年

6 周桂生　湯建國;數(shù)據(jù)分析行業(yè)登陸湖南,帶來巨大商機[N];中國企業(yè)報;2008年

7 朱文明 甫瀚公司咨詢專家;數(shù)據(jù)分析提升決策智慧[N];中國審計報;2009年

8 ;國采中心空調(diào)協(xié)議供貨數(shù)據(jù)分析[N];政府采購信息報;2010年

9 武虹 審計署駐沈陽特派辦;以數(shù)據(jù)分析為統(tǒng)領(lǐng)開展數(shù)字化審計工作[N];中國審計報;2012年

10 杰弗尼;行走在大數(shù)據(jù)分析誤區(qū)旁的零售商[N];中國商報;2013年

相關(guān)博士學(xué)位論文 前7條

1 劉岳;區(qū)域地球化學(xué)數(shù)據(jù)分析及成礦信息融合模型研究[D];中國地質(zhì)大學(xué);2015年

2 徐曉琳;面向大規(guī)模數(shù)據(jù)分析與分類的正則化回歸算法[D];安徽大學(xué);2017年

3 董媛香;基于軟集合的不完備不一致數(shù)據(jù)分析及決策方法研究[D];重慶大學(xué);2014年

4 張睿;數(shù)據(jù)分析在污染控制領(lǐng)域的節(jié)能優(yōu)化應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2014年

5 陳宜治;函數(shù)型數(shù)據(jù)分析若干方法及應(yīng)用[D];浙江工商大學(xué);2011年

6 郭廣報;基于并行統(tǒng)計計算的金融數(shù)據(jù)分析[D];山東大學(xué);2012年

7 孫建強;生物磁共振數(shù)據(jù)分析中的幾個問題[D];中國科學(xué)院研究生院（武漢物理與數(shù)學(xué)研究所）;2014年

相關(guān)碩士學(xué)位論文 前10條

1 周儒軍;基于Hadoop的分布式監(jiān)控平臺的研究與實現(xiàn)[D];華南理工大學(xué);2015年

2 施建輝;中職生職業(yè)道德認(rèn)識現(xiàn)狀調(diào)查研究[D];上海師范大學(xué);2015年

3 丁國輝;核磁共振數(shù)據(jù)分析中的兩個問題[D];中國科學(xué)院研究生院(武漢物理與數(shù)學(xué)研究所);2015年

4 張清;面向精準(zhǔn)廣告投放的數(shù)據(jù)分析與可視化系統(tǒng)設(shè)計與實現(xiàn)[D];山東大學(xué);2015年

5 周徐;基于分層采樣的DeepWeb數(shù)據(jù)分析方法研究[D];蘇州大學(xué);2015年

6 王佳琦;糾正性反饋對高中生英語冠詞習(xí)得的影響[D];內(nèi)蒙古師范大學(xué);2015年

7 顧星竹;基于Hadoop的PCF系統(tǒng)的設(shè)計與實現(xiàn)[D];南京大學(xué);2014年

8 張海洋;大數(shù)據(jù)的統(tǒng)計分析技術(shù)比較研究[D];南京大學(xué);2014年

9 扎娟娟;銀保通管理系統(tǒng)的構(gòu)建與實施[D];電子科技大學(xué);2014年

10 關(guān)晨靜;高中生英語跨文化交際能力的調(diào)查研究[D];江西師范大學(xué);2015年

，

本文編號：1551600