【摘要】：本文詳細(xì)介紹一種基于分布式內(nèi)存的通信數(shù)據(jù)管理平臺(tái),可以有效支持針對(duì)通信數(shù)據(jù)的實(shí)時(shí)處理以及在線查詢分析任務(wù).首先,通過對(duì)分布式技術(shù)、內(nèi)存技術(shù)進(jìn)行分析,依據(jù)通信業(yè)務(wù)的特點(diǎn)進(jìn)行技術(shù)選型;然后,基于高性能的分布式內(nèi)存計(jì)算環(huán)境,設(shè)計(jì)、實(shí)現(xiàn)針對(duì)通信數(shù)據(jù)的實(shí)時(shí)處理與在線查詢分析平臺(tái);最后,利用內(nèi)存技術(shù)對(duì)平臺(tái)實(shí)現(xiàn)方案進(jìn)行技術(shù)優(yōu)化.實(shí)驗(yàn)結(jié)果表明,基于內(nèi)存的分布式計(jì)算系統(tǒng)在查詢響應(yīng)速度、實(shí)時(shí)數(shù)據(jù)處理效率、系統(tǒng)資源利用率以及數(shù)據(jù)吞吐量上較基于硬盤的系統(tǒng)較大的性能提升.
[Abstract]:In this paper, a communication data management platform based on distributed memory is introduced in detail, which can effectively support real-time processing of communication data and on-line query and analysis task. First of all, through the analysis of distributed technology and memory technology, according to the characteristics of the communication business, the technology selection is carried out; then, based on the high-performance distributed memory computing environment, the design, Finally, the realization of real-time processing of communication data and online query and analysis platform; finally, the platform implementation scheme is optimized by using memory technology. The experimental results show that the performance of the memory based distributed computing system is better than that of the hard-disk system in terms of query response speed, real-time data processing efficiency, system resource utilization and data throughput.
【作者單位】： 華東師范大學(xué)軟件學(xué)院;華東師范大學(xué)數(shù)據(jù)科學(xué)與工程學(xué)院;
【基金】：國家自然科學(xué)基金(61103039);國家自然科學(xué)基金重點(diǎn)項(xiàng)目(61232002) 武漢大學(xué)重點(diǎn)實(shí)驗(yàn)室開放基金(SKLSE2012-09-16)
【分類號(hào)】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

2 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

4 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺(tái)下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計(jì)算環(huán)境下排序算法的性能分析[J];重慶大學(xué)學(xué)報(bào);2014年04期

9 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測[J];北京郵電大學(xué)學(xué)報(bào);2014年S1期

10 劉瓊;趙榮;孫立堅(jiān);;Map/Reduce框架下的粗糙集空間數(shù)據(jù)挖掘改進(jìn)算法[J];測繪科學(xué);2014年05期

相關(guān)博士學(xué)位論文 前10條

1 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

6 孫鵬;動(dòng)車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識(shí)挖掘與管理方法研究[D];武漢大學(xué);2013年

8 程興國;仿生算法的動(dòng)態(tài)反饋機(jī)制及其并行化實(shí)現(xiàn)方法研究[D];華南理工大學(xué);2013年

9 馬馮;數(shù)據(jù)密集型計(jì)算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

10 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學(xué);2013年

2 張丹;HDFS中文件存儲(chǔ)優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

3 潘吳斌;基于云計(jì)算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

4 趙洪昌;云計(jì)算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

5 汪洋;通信網(wǎng)云計(jì)算平臺(tái)資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

6 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺(tái)及關(guān)鍵技術(shù)研究[D];河南大學(xué);2013年

7 但光祥;云計(jì)算環(huán)境下混合加密算法研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

8 周濤;基于Hadoop的遙感數(shù)字圖像處理方法研究[D];東北師范大學(xué);2013年

9 程偉;海量信令并行即時(shí)分析系統(tǒng)的研究與設(shè)計(jì)[D];中國海洋大學(xué);2013年

10 賈玉輝;面向語音交互的云計(jì)算系統(tǒng)的研究[D];中國海洋大學(xué);2013年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 郇義鵬,虞水俊;利用API攔截技術(shù)實(shí)現(xiàn)串口通信數(shù)據(jù)攔截[J];計(jì)算機(jī)應(yīng)用;2003年11期

2 沈國珍;;干擾下航空通信數(shù)據(jù)結(jié)構(gòu)彈性魯棒性檢測方法[J];計(jì)算機(jī)仿真;2014年07期

3 ;[J];;年期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關(guān)碩士學(xué)位論文 前1條

1 顧霞;網(wǎng)絡(luò)通信數(shù)據(jù)中的隱寫技術(shù)研究[D];南京理工大學(xué);2006年

，

本文編號(hào)：2268945