【摘要】：針對(duì)企業(yè)生產(chǎn)過(guò)程中存在大量原始數(shù)據(jù)需要實(shí)時(shí)處理的問(wèn)題,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于自定義架構(gòu)的局部處理機(jī)。在設(shè)計(jì)之初以Hadoop的并行架構(gòu)為參考,對(duì)MapReduce的工作原理和緩存方式進(jìn)行了分析,在此基礎(chǔ)上根據(jù)實(shí)際生產(chǎn)環(huán)境設(shè)計(jì)了一個(gè)"多類(lèi)線(xiàn)程協(xié)同處理"的程序架構(gòu),并輔以?xún)深?lèi)自定義的數(shù)據(jù)緩存方式,保證了分布式系統(tǒng)中的局部處理機(jī)在接收、計(jì)算、上傳各環(huán)節(jié)的并發(fā)性和正確性。該系統(tǒng)投入實(shí)際生產(chǎn)并連續(xù)使用一年有余,實(shí)現(xiàn)了將企業(yè)多個(gè)車(chē)間生成的原始數(shù)據(jù)進(jìn)行實(shí)時(shí)處理的預(yù)期目標(biāo),具有很好的穩(wěn)定性、有效性和可擴(kuò)展性。實(shí)際應(yīng)用結(jié)果表明,自定義的程序架構(gòu)和有效的緩存方式能實(shí)現(xiàn)大量數(shù)據(jù)的同步處理及分析。
[Abstract]:A local processor based on custom architecture is designed and implemented to solve the problem that a lot of raw data need to be processed in real time. At the beginning of the design, taking the parallel architecture of Hadoop as a reference, the working principle and cache mode of MapReduce are analyzed. Based on this, a program architecture of "multi-class thread cooperative processing" is designed according to the actual production environment. Two kinds of self-defined data buffering methods are used to ensure the concurrency and correctness of the local processor in receiving, calculating and uploading each link in the distributed system. The system has been put into actual production and used continuously for more than one year. It realizes the expected goal of real-time processing of raw data generated by multiple workshops of the enterprise, and has good stability, effectiveness and expansibility. The practical application results show that the self-defined program architecture and efficient cache can realize the synchronization and analysis of a large number of data.
【作者單位】： 江南大學(xué)數(shù)字媒體學(xué)院;
【分類(lèi)號(hào)】：TP338.8;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 周志遠(yuǎn);張大方;繆力;;基于Java內(nèi)存模型的并發(fā)程序模型檢測(cè)[J];計(jì)算機(jī)工程與科學(xué);2010年03期

2 張垠波;;線(xiàn)程池技術(shù)在并發(fā)服務(wù)器中的應(yīng)用[J];計(jì)算機(jī)與數(shù)字工程;2012年07期

3 羅勇軍;邵志清;;Agent技術(shù)的標(biāo)準(zhǔn)化進(jìn)程與前景[J];計(jì)算機(jī)應(yīng)用與軟件;2009年03期

4 雷達(dá);曾慶凱;;基于摘要的內(nèi)存泄露分析方法改進(jìn)[J];計(jì)算機(jī)應(yīng)用研究;2011年11期

5 劉新強(qiáng);曾兵義;;用線(xiàn)程池解決服務(wù)器并發(fā)請(qǐng)求的方案設(shè)計(jì)[J];現(xiàn)代電子技術(shù);2011年15期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃慶;;Java同步線(xiàn)程模型分析與改進(jìn)[J];電源技術(shù)應(yīng)用;2013年01期

2 倪朔東;施Oz;;智能數(shù)據(jù)流傳輸在網(wǎng)絡(luò)視頻中的應(yīng)用與實(shí)現(xiàn)[J];電視技術(shù);2014年07期

3 鐘健;;Java同步線(xiàn)程模型分析與改進(jìn)研究[J];電腦知識(shí)與技術(shù);2014年18期

4 陳佳俊;安曉宇;蔡希輝;李忠偉;;基于A(yíng)gent的人員疏散系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2010年14期

5 唐富強(qiáng);于鴻洋;張萍;;Linux下通用線(xiàn)程池的改進(jìn)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2012年28期

6 許永達(dá);;基于線(xiàn)程池的高并發(fā)訪(fǎng)問(wèn)考試系統(tǒng)設(shè)計(jì)[J];計(jì)算機(jī)與現(xiàn)代化;2013年03期

7 黃飛龍;;分布式計(jì)算中多隊(duì)列線(xiàn)程池的設(shè)計(jì)與實(shí)現(xiàn)[J];科協(xié)論壇(下半月);2013年04期

8 孫秀斌;李云敏;;基于線(xiàn)程池技術(shù)的云閃定位遠(yuǎn)程控制軟件設(shè)計(jì)[J];測(cè)控技術(shù);2014年11期

9 劉娟;豆育升;何晨;唐紅;;基于調(diào)度器的Hadoop性能優(yōu)化方法研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2013年01期

10 梁明剛;陳西曲;;Linux下基于epoll+線(xiàn)程池高并發(fā)服務(wù)器實(shí)現(xiàn)研究[J];武漢工業(yè)學(xué)院學(xué)報(bào);2012年03期

相關(guān)博士學(xué)位論文 前1條

1 賀利堅(jiān);多Agent系統(tǒng)中信任和信譽(yù)模型的研究[D];北京交通大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 陳齊;PSO算法在人群應(yīng)急疏散模擬的研究與應(yīng)用[D];中山大學(xué);2011年

2 汪偉;基于M2M數(shù)據(jù)傳輸?shù)尼t(yī)療監(jiān)護(hù)網(wǎng)關(guān)系統(tǒng)研究與設(shè)計(jì)[D];西南交通大學(xué);2012年

3 唐富強(qiáng);基于Linux的多媒體系統(tǒng)服務(wù)器端的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2012年

4 謝志棟;基于智能視頻分析的多媒體信息處理與無(wú)線(xiàn)傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京郵電大學(xué);2013年

5 李新;基于Web服務(wù)器集群的動(dòng)態(tài)負(fù)載均衡算法改進(jìn)及實(shí)現(xiàn)研究[D];湖南大學(xué);2012年

6 張禮哲;網(wǎng)絡(luò)安全管理系統(tǒng)中定制通信中間件的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

7 魯賓賓;基于Java NIO的通用框架的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

8 何龍文;車(chē)輛駕駛行為實(shí)時(shí)監(jiān)測(cè)關(guān)鍵技術(shù)的研究[D];華南理工大學(xué);2013年

9 馮濤;網(wǎng)絡(luò)計(jì)算機(jī)聯(lián)鎖仿真系統(tǒng)研究[D];蘭州交通大學(xué);2013年

10 林耀城;面向移動(dòng)互聯(lián)網(wǎng)應(yīng)用的視頻上傳關(guān)鍵技術(shù)研究與應(yīng)用[D];華南理工大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫根琴;胡靜麗;;基于WinSock的郵件服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2008年35期

2 胡巧玲;王艷杰;;電子郵件收發(fā)系統(tǒng)的研究與設(shè)計(jì)[J];電腦知識(shí)與技術(shù);2009年21期

3 羅凱明,李興源;基于多代理技術(shù)的不間斷電力變電站設(shè)計(jì)方案[J];電網(wǎng)技術(shù);2004年22期

4 李東暉;肖和平;賀小川;郭長(zhǎng)國(guó);;實(shí)時(shí)中間件中高性能線(xiàn)程池的研究與實(shí)現(xiàn)[J];湖南農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年03期

5 陳寧江;林盤(pán);;一種基于排隊(duì)系統(tǒng)的啟發(fā)式中間件動(dòng)態(tài)線(xiàn)程池管理機(jī)制[J];計(jì)算機(jī)科學(xué);2010年10期

6 郭輝;;多線(xiàn)程的效率[J];計(jì)算機(jī)應(yīng)用;2008年S2期

7 王華,馬亮,顧明;線(xiàn)程池技術(shù)研究與應(yīng)用[J];計(jì)算機(jī)應(yīng)用研究;2005年11期

8 劉廷蒼;董華彪;;Java多線(xiàn)程機(jī)制[J];科技廣場(chǎng);2008年12期

9 蔣溢;黃進(jìn);王化晶;;基于多線(xiàn)程技術(shù)的聊天系統(tǒng)研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2008年15期

10 張淵;崔濱;余小清;萬(wàn)旺根;;線(xiàn)程池技術(shù)在網(wǎng)絡(luò)游戲服務(wù)器中的應(yīng)用[J];微計(jì)算機(jī)信息;2006年18期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 閆鈞華,張煥春,經(jīng)亞枝;一種改進(jìn)的分布式系統(tǒng)任務(wù)名字解析機(jī)制[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年01期

2 姚星;基于分布式系統(tǒng)的設(shè)計(jì)模式[J];計(jì)算機(jī)應(yīng)用;2004年S2期

3 陳世翔;胡愛(ài)群;;分布式系統(tǒng)可靠性的一種計(jì)算方法[J];計(jì)算機(jī)應(yīng)用;2007年S1期

4 姜冬;王慧強(qiáng);馮光升;呂宏武;林俊宇;;基于模糊層次化評(píng)估的分布式系統(tǒng)自毀感知方法及應(yīng)用[J];小型微型計(jì)算機(jī)系統(tǒng);2012年04期

5 ;分布式系統(tǒng)概念與設(shè)計(jì)[J];計(jì)算機(jī)教育;2013年08期

6 陸維明;一種分布式系統(tǒng)的設(shè)計(jì)原理[J];計(jì)算機(jī)學(xué)報(bào);1992年06期

7 畢軍,吳建平,朱江;基于擴(kuò)展變遷系統(tǒng)的分布式系統(tǒng)一致性測(cè)試研究[J];電子學(xué)報(bào);2000年02期

8 叢桂茹;分布式系統(tǒng)在石化中的應(yīng)用[J];河南機(jī)電高等專(zhuān)科學(xué)校學(xué)報(bào);2001年02期

9 陳艷芬;分布式系統(tǒng)中的模式應(yīng)用(上)[J];廣東通信技術(shù);2002年06期

10 陳寧;王忠仁;丁香榮;;分布式系統(tǒng)中的全局狀態(tài)算法及實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué);2002年09期

相關(guān)會(huì)議論文 前10條

1 許趙云;黃林鵬;;分布式系統(tǒng)動(dòng)態(tài)更新的研究[A];2007年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2007年

2 殷躍鵬;郭長(zhǎng)國(guó);李小玲;王懷民;;基于事件的分布式系統(tǒng)行為分析框架[A];2010年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集[C];2010年

3 王曉鵬;蘇亮;韓偉紅;周斌;;大型分布式系統(tǒng)部署一致性的研究與實(shí)現(xiàn)[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

4 何明;裘杭萍;楊飛;劉勇;;基于可信分布式系統(tǒng)的可信認(rèn)證技術(shù)研究[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集（第二十三卷）[C];2008年

5 王剛;喬純捷;王躍科;;基于時(shí)鐘同步的分布式系統(tǒng)一致全局狀態(tài)[A];第三屆全國(guó)虛擬儀器大會(huì)論文集[C];2008年

6 周方;周光霞;;分布式系統(tǒng)軟件可靠性評(píng)估的研究[A];2005第二屆電子信息系統(tǒng)質(zhì)量與可靠性學(xué)術(shù)研討會(huì)論文集[C];2005年

7 馮錫煒;賈傳熒;楊家軒;;JMS技術(shù)在分布式系統(tǒng)中的應(yīng)用與實(shí)現(xiàn)[A];促進(jìn)企業(yè)信息化進(jìn)程——第十屆中國(guó)Java技術(shù)及應(yīng)用大會(huì)文集[C];2007年

8 蔣勇;李光文;張若文;;多業(yè)務(wù)數(shù)字分布式系統(tǒng)(MDAS)及其應(yīng)用[A];四川省通信學(xué)會(huì)2013年學(xué)術(shù)年會(huì)論文集[C];2013年

9 徐長(zhǎng)盛;高欣;;分布式系統(tǒng)與Ice[A];全國(guó)冶金自動(dòng)化信息網(wǎng)2009年會(huì)論文集[C];2009年

10 劉淵;姜建國(guó);繆繼東;范曉嵐;;一個(gè)分布式系統(tǒng)通信控制軟件的設(shè)計(jì)與實(shí)現(xiàn)[A];中國(guó)工程物理研究院科技年報(bào)（2002）[C];2002年

相關(guān)重要報(bào)紙文章 前9條

1 撫蘇;大數(shù)據(jù)帶來(lái)價(jià)值[N];電腦報(bào);2013年

2 ;首席“云”官[N];中國(guó)計(jì)算機(jī)報(bào);2009年

3 本報(bào)記者 黃舍予;得“數(shù)據(jù)”者得天下[N];人民郵電;2012年

4 范范　編譯;Docker威力：輕松化解“云鎖定”[N];網(wǎng)絡(luò)世界;2014年

5 ;IBM改進(jìn)大機(jī)管理[N];網(wǎng)絡(luò)世界;2006年

6 首都經(jīng)濟(jì)貿(mào)易大學(xué) 金勇;用Java和XML構(gòu)建分布式系統(tǒng)[N];計(jì)算機(jī)世界;2002年

7 沈建苗編譯;嬗變中的大型機(jī)[N];計(jì)算機(jī)世界;2006年

8 沈建苗 編譯;棄用大型機(jī)時(shí)機(jī)已成熟？[N];計(jì)算機(jī)世界;2006年

9 ;企業(yè)用戶(hù)再次傾心大型機(jī)[N];網(wǎng)絡(luò)世界;2008年

相關(guān)博士學(xué)位論文 前10條

1 鄭紅;分布式系統(tǒng)形式化建模技術(shù)研究[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2003年

2 尚慶紅;半分布式系統(tǒng)資源發(fā)現(xiàn)與資源分配研究[D];電子科技大學(xué);2013年

3 王德俊;面向服務(wù)的分布式系統(tǒng)動(dòng)態(tài)更新研究[D];上海交通大學(xué);2010年

4 陳曉江;分布式系統(tǒng)軟件體系結(jié)構(gòu)建模與開(kāi)發(fā)方法研究[D];西北大學(xué);2010年

5 何盼;面向可靠性?xún)?yōu)化設(shè)計(jì)的分布式系統(tǒng)資源分配研究[D];重慶大學(xué);2012年

6 唐小勇;異構(gòu)并行分布式系統(tǒng)可信調(diào)度理論與方法研究[D];湖南大學(xué);2013年

7 龔奕利;分布式環(huán)境中的資源發(fā)現(xiàn)研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

8 彭艦;基于CORBA的分布式系統(tǒng)中實(shí)時(shí)—容錯(cuò)性的研究——分布式系統(tǒng)中動(dòng)態(tài)調(diào)度的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2004年

9 劉國(guó)良;分布式系統(tǒng)中回卷恢復(fù)技術(shù)研究[D];重慶大學(xué);2012年

10 閔帆;基于試探的任務(wù)分配算法研究[D];電子科技大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 殷躍鵬;基于事件的分布式系統(tǒng)行為分析框架的設(shè)計(jì)與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

2 胡俊;構(gòu)建分布式系統(tǒng)的關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];南京郵電大學(xué);2012年

3 謝志海;分布式系統(tǒng)測(cè)試關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2013年

4 項(xiàng)震;基于多核處理機(jī)構(gòu)建分布式系統(tǒng)的關(guān)鍵技術(shù)研究[D];南京郵電大學(xué);2011年

5 盧旭;分布式系統(tǒng)自愈調(diào)控關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2009年

6 徐志成;策略性分布式系統(tǒng)中機(jī)制設(shè)計(jì)問(wèn)題的研究[D];上海交通大學(xué);2009年

7 李艷麗;分布式系統(tǒng)測(cè)試方法研究及應(yīng)用[D];南京郵電大學(xué);2011年

8 任偉;Social Networks對(duì)恢復(fù)大規(guī)模分布式系統(tǒng)的性能影響研究[D];電子科技大學(xué);2010年

9 楊利;分布式系統(tǒng)測(cè)試技術(shù)研究及其應(yīng)用[D];河北工業(yè)大學(xué);2007年

10 陳亞龍;高校學(xué)分制學(xué)費(fèi)信息分布式系統(tǒng)的設(shè)計(jì)[D];電子科技大學(xué);2008年

，

本文編號(hào)：2185583