【摘要】：移動(dòng)通信大數(shù)據(jù)對底層云存儲(chǔ)系統(tǒng)提出了三大苛刻的需求:高性能、高可靠、低成本,但是通用云存儲(chǔ)系統(tǒng)無法滿足移動(dòng)通信業(yè)務(wù)的現(xiàn)實(shí)需求。針對三大需求,提出對應(yīng)的三項(xiàng)優(yōu)化技術(shù):面對高性能需求,提出一種小文件讀寫訪問性能優(yōu)化技術(shù);面對高可靠需求,提出一種日志寫入與回放優(yōu)化技術(shù);面對低成本需求,提出一種固態(tài)硬盤垃圾回收優(yōu)化技術(shù)。相關(guān)測試表明,在典型的移動(dòng)通信大數(shù)據(jù)應(yīng)用場景中,相較于優(yōu)化前,性能最多提升54%,平均提升27%~37%;可靠性處理效率最多提升67%,平均提升18%~22%;成本最多降低80%,平均降低26%~42%。
[Abstract]:Big data has put forward three demanding requirements for the underlying cloud storage system: high performance, high reliability and low cost, but the general cloud storage system can not meet the actual needs of mobile communication services. In view of the three major requirements, three corresponding optimization techniques are proposed: in the face of high performance requirements, a small file read-write access performance optimization technology is proposed, and a log write and playback optimization technology is proposed in the face of high reliability requirements. In the face of low cost demand, a solid state hard disk garbage collection optimization technology is proposed. The relevant tests show that in typical mobile communication big data application scenarios, the performance is up to 54, and the average increase is 2737, while the reliability processing efficiency is increased by 67 percent, and the average increase by 18 percent. The cost is reduced by up to 80, and the average is reduced by 26 and 42.
【作者單位】： 中興通訊股份有限公司南京研發(fā)中心;清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系;甲骨文軟件研究開發(fā)中心(北京)有限公司南京分公司;南京郵電大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國家科技重大專項(xiàng)(2013ZX03002004-003) 江蘇省創(chuàng)新能力建設(shè)專項(xiàng)資金資助項(xiàng)目(BM2015008) 江蘇省自然科學(xué)基金青年基金資助項(xiàng)目(BK20130876)
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 曾嘉;劉詩凱;袁明軒;;電信大數(shù)據(jù)關(guān)鍵技術(shù)挑戰(zhàn)[J];大數(shù)據(jù);2016年03期

2 周江;王偉平;孟丹;馬燦;古曉艷;蔣杰;;面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2014年02期

3 沈青;董波;肖德寶;;基于服務(wù)器集群的云監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與科學(xué);2012年10期

相關(guān)博士學(xué)位論文 前3條

1 黃平;基于固態(tài)盤特征的存儲(chǔ)優(yōu)化研究[D];華中科技大學(xué);2013年

2 王禹;分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)冗余與維護(hù)技術(shù)研究[D];華南理工大學(xué);2011年

3 萬武南;分布式安全存儲(chǔ)系統(tǒng)糾刪碼技術(shù)的研究[D];中國科學(xué)院研究生院（成都計(jì)算機(jī)應(yīng)用研究所）;2006年

相關(guān)碩士學(xué)位論文 前1條

1 王敬軒;分布式文件系統(tǒng)存儲(chǔ)效率優(yōu)化研究[D];華中科技大學(xué);2013年

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊洪章;羅圣美;施景超;王志坤;季一木;;面向移動(dòng)通信大數(shù)據(jù)的云存儲(chǔ)系統(tǒng)優(yōu)化[J];計(jì)算機(jī)應(yīng)用;2017年S1期

2 張樂;;基于大數(shù)據(jù)的分布式中壓配電網(wǎng)空間負(fù)荷分配方法研究[J];科學(xué)技術(shù)與工程;2017年15期

3 朱嘉舟;邵培南;陳景;;影像數(shù)據(jù)分布并行計(jì)算處理平臺體系架構(gòu)研究[J];計(jì)算機(jī)工程;2017年05期

4 程滔;;遙感影像樣本大數(shù)據(jù)建庫與應(yīng)用方法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2017年05期

5 莫國柱;高鵬;于國際;;基于海量數(shù)據(jù)下的分布式IT資產(chǎn)安全監(jiān)測分析[J];自動(dòng)化與儀器儀表;2017年04期

6 萬歆;朱立峰;左銘;姚晴虹;;預(yù)約掛號及違約情況數(shù)據(jù)分析[J];中國衛(wèi)生信息管理雜志;2017年02期

7 田肖;;基于流量高峰預(yù)警機(jī)制的云平臺監(jiān)控系統(tǒng)[J];電子技術(shù)與軟件工程;2017年05期

8 汪保友;錢晶;袁時(shí)金;;基于Hadoop的電信大數(shù)據(jù)采集方案研究與實(shí)現(xiàn)[J];電信科學(xué);2017年01期

9 姚雪梅;李少波;璩晶磊;陳偉興;;制造大數(shù)據(jù)相關(guān)技術(shù)架構(gòu)分析[J];電子技術(shù)應(yīng)用;2016年11期

10 高愛蓮;劉增磊;劉中艷;;高可用集群系統(tǒng)的研究[J];信息系統(tǒng)工程;2016年10期

相關(guān)博士學(xué)位論文 前10條

1 李紅艷;針對固態(tài)盤的I/O優(yōu)化技術(shù)研究[D];華中科技大學(xué);2016年

2 張菁;大規(guī)模分布式糾刪碼存儲(chǔ)系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2015年

3 石偉;基于閃存特性的存儲(chǔ)優(yōu)化及應(yīng)用研究[D];清華大學(xué);2015年

4 王國華;高效重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學(xué);2014年

5 劉應(yīng)波;太陽望遠(yuǎn)鏡海量數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（云南天文臺）;2014年

6 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

7 姜春茂;基于移動(dòng)P2P的分布式存儲(chǔ)和傳輸機(jī)制研究[D];哈爾濱工程大學(xué);2013年

8 蔣海波;海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

9 肖宜龍;隨機(jī)化數(shù)據(jù)冗余方法及其在存儲(chǔ)系統(tǒng)中的應(yīng)用[D];電子科技大學(xué);2013年

10 王禹;分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)冗余與維護(hù)技術(shù)研究[D];華南理工大學(xué);2011年

相關(guān)碩士學(xué)位論文 前4條

1 莫飛;P2P分布式存儲(chǔ)系統(tǒng)效率優(yōu)化研究[D];重慶大學(xué);2016年

2 李劍;基于糾刪碼的分布式分層存儲(chǔ)系統(tǒng)研究[D];華中科技大學(xué);2015年

3 張學(xué)山;基于云計(jì)算的海量球形地形數(shù)據(jù)處理方法的研究[D];電子科技大學(xué);2015年

4 董懷普;面向智能電網(wǎng)云存儲(chǔ)的容錯(cuò)存儲(chǔ)技術(shù)研究[D];華北電力大學(xué);2015年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 藍(lán)友樞;陳健;張章學(xué);;主動(dòng)式服務(wù)器管理技術(shù)研究[J];情報(bào)探索;2011年05期

2 馮幼樂;朱六璋;;CEPH動(dòng)態(tài)元數(shù)據(jù)管理方法分析與改進(jìn)[J];電子技術(shù);2010年09期

3 安俊秀;;基于服務(wù)器集群的云檢索系統(tǒng)的研究與示范[J];計(jì)算機(jī)科學(xué);2010年07期

4 王珊;肖艷芹;劉大為;覃雄派;;內(nèi)存數(shù)據(jù)庫關(guān)鍵技術(shù)研究[J];計(jì)算機(jī)應(yīng)用;2007年10期

5 熊勁,范志華,馬捷,唐榮鋒,李暉,孟丹;DCFS2的元數(shù)據(jù)一致性策略[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

相關(guān)博士學(xué)位論文 前8條

1 胡洋;高性能固態(tài)盤的多級并行性及算法研究[D];華中科技大學(xué);2012年

2 毛波;盤陣列的數(shù)據(jù)布局技術(shù)研究[D];華中科技大學(xué);2010年

3 田敬;對等存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

4 周婧;P2P分布存儲(chǔ)系統(tǒng)中海量數(shù)據(jù)的數(shù)據(jù)一致性維護(hù)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

5 萬武南;分布式安全存儲(chǔ)系統(tǒng)糾刪碼技術(shù)的研究[D];中國科學(xué)院研究生院（成都計(jì)算機(jī)應(yīng)用研究所）;2006年

6 周旭;面向Internet的大規(guī)模分布式存儲(chǔ)技術(shù)研究[D];電子科技大學(xué);2004年

7 鄧玉輝;基于網(wǎng)絡(luò)磁盤陣列的海量信息存儲(chǔ)系統(tǒng)[D];華中科技大學(xué);2004年

8 黃遵國;面向生存能力的應(yīng)急響應(yīng)與事故恢復(fù)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2003年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 羅金明;湖北農(nóng)村移動(dòng)通信現(xiàn)狀及發(fā)展措施[J];湖北郵電技術(shù);2000年02期

2 陶雄強(qiáng);民族企業(yè)發(fā)展3G移動(dòng)通信之思考[J];通信世界;2000年16期

3 ;移動(dòng)通信又逢革命時(shí)[J];數(shù)字通信;2000年10期

4 陳麗珊;亞信移動(dòng)通信反欺詐系統(tǒng)[J];通訊世界;2000年08期

5 ;北京將舉辦“中國國際移動(dòng)通信與網(wǎng)絡(luò)展”[J];中國數(shù)據(jù)通訊網(wǎng)絡(luò);2000年12期

6 ;中國移動(dòng)通信集團(tuán)2000年發(fā)展大計(jì)[J];移動(dòng)通信;2000年01期

7 ;一個(gè)極具發(fā)展空間和潛力的通信傳媒《移動(dòng)通信》誠征合作伙伴[J];移動(dòng)通信;2000年02期

8 ;江西移動(dòng)通信率先推出新華社快訊聲訊服務(wù)[J];移動(dòng)通信;2000年04期

9 ;國家移動(dòng)通信設(shè)備研發(fā)招標(biāo)會(huì)召開[J];郵電商情;2000年20期

10 楊冬梅;淺議移動(dòng)通信的起源及在我國我市的發(fā)展[J];甘肅科技;2001年02期

相關(guān)會(huì)議論文 前10條

1 ;《移動(dòng)通信》[A];2005'全國微波毫米波會(huì)議論文集（第一冊）[C];2006年

2 蔣同澤;;陸上移動(dòng)通信的展望[A];IEEE北京分會(huì)第一屆學(xué)術(shù)年會(huì)論文集[C];1987年

3 鄧文東;曾欽海;;衛(wèi)星定位及移動(dòng)通信技術(shù)在物流方面的應(yīng)用[A];2004年中國機(jī)械工程學(xué)會(huì)年會(huì)論文集：物流工程與中國現(xiàn)代經(jīng)濟(jì)——第七屆物流工程學(xué)術(shù)年會(huì)專輯[C];2004年

4 王非;呂召彪;;機(jī)載移動(dòng)通信技術(shù)及其應(yīng)用研究[A];2011全國無線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集[C];2011年

5 酆廣增;;移動(dòng)通信的技術(shù)發(fā)展[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學(xué)術(shù)年會(huì)文集[C];2000年

6 ;第三屆中國(北京)移動(dòng)通信國際論壇技術(shù)總結(jié)(摘要)[A];中國通信學(xué)會(huì)學(xué)術(shù)會(huì)議總結(jié)匯編（一）[C];2003年

7 劉學(xué)觀;汪一鳴;;移動(dòng)通信課程教學(xué)改革與實(shí)踐[A];電子高等教育學(xué)會(huì)2004年學(xué)術(shù)年會(huì)論文集[C];2004年

8 鄧文東;曾欽海;;衛(wèi)星定位及移動(dòng)通信技術(shù)在物流方面的應(yīng)用[A];人才、創(chuàng)新與老工業(yè)基地的振興——2004年中國機(jī)械工程學(xué)會(huì)年會(huì)論文集[C];2004年

9 ;廣東移動(dòng)通信有限責(zé)任公司珠海分公司[A];實(shí)踐與思考——二OO四學(xué)會(huì)文集[C];2004年

10 郭恒平;;淺談移動(dòng)IP技術(shù)與移動(dòng)通信[A];2005年安徽通信論文集[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 宋學(xué)龍;黑龍江移動(dòng)通信[N];黑龍江日報(bào);2004年

2 鄭立琪 本報(bào)記者 王燕寧;尤肖虎：讓我國移動(dòng)通信有發(fā)言權(quán)[N];科技日報(bào);2004年

3 □東南大學(xué)移動(dòng)通信國家重點(diǎn)實(shí)驗(yàn)室主任尤肖虎○本報(bào)記者　王芳;移動(dòng)通信產(chǎn)業(yè)江蘇大有可為[N];江蘇經(jīng)濟(jì)報(bào);2006年

4 陳俊璧;未來十年移動(dòng)通信的變革[N];中國電子報(bào);2001年

5 ;營銷與“我能”[N];大眾科技報(bào);2005年

6 愛立信總裁兼首席執(zhí)行官 柯德川;北京要優(yōu)先發(fā)展移動(dòng)通信[N];光明日報(bào);2001年

7 包國新;信威集團(tuán)布局移動(dòng)通信安全業(yè)務(wù)[N];人民郵電;2014年

8 湖南省人民政府副省長 鄭茂清;發(fā)展移動(dòng)通信促進(jìn)人類溝通[N];湖南日報(bào);2003年

9 孫曉勝;我國成為世界規(guī)模最大移動(dòng)通信市場[N];經(jīng)濟(jì)參考報(bào);2002年

10 記者 康玉虹;關(guān)注綠色環(huán)保網(wǎng)絡(luò)[N];吉林日報(bào);2002年

相關(guān)博士學(xué)位論文 前10條

1 王恒;混能供電移動(dòng)通信網(wǎng)絡(luò)的節(jié)能方法研究[D];重慶大學(xué);2015年

2 童恩;LTE移動(dòng)通信系統(tǒng)能效優(yōu)化關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

3 王延明;從牛馬載信到移動(dòng)通信[D];蘭州大學(xué);2010年

4 鄧映峰;天津移動(dòng)通信市場非線性預(yù)測及面向3G的發(fā)展策略研究[D];天津大學(xué);2007年

5 游思晴;平流層CDMA移動(dòng)通信蜂窩網(wǎng)的性能研究[D];北京郵電大學(xué);2012年

6 劉志鵬;移動(dòng)通信數(shù)據(jù)挖掘關(guān)鍵應(yīng)用技術(shù)研究[D];南京航空航天大學(xué);2015年

7 韓科鋒;應(yīng)用于2G/3G移動(dòng)通信的多模發(fā)射機(jī)芯片的研究[D];復(fù)旦大學(xué);2011年

8 賀黎滔;基于移動(dòng)通信網(wǎng)絡(luò)的高精度定位關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2010年

9 楊霖;移動(dòng)通信中快速算法的研究[D];南京理工大學(xué);2007年

10 張立新;基于客戶的移動(dòng)通信品牌資產(chǎn)模型及影響機(jī)理研究[D];北京郵電大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 隋昌鵬;移動(dòng)通信技術(shù)的倫理問題研究[D];吉林大學(xué);2010年

2 黨永亮;大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用研究[D];華中師范大學(xué);2015年

3 楊華;高速移動(dòng)通信場景下基于LTE-A中繼系統(tǒng)的資源調(diào)度關(guān)鍵技術(shù)研究[D];上海交通大學(xué);2015年

4 陸建飛;移動(dòng)通信中電波傳播預(yù)測方法與軟件應(yīng)用[D];電子科技大學(xué);2014年

5 張旭;TDD-LTE仿真系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

6 陳博;移動(dòng)通信網(wǎng)絡(luò)全生命周期的資源配置研究[D];北京郵電大學(xué);2015年

7 徐東建;基于移動(dòng)通信數(shù)據(jù)處理的公安流動(dòng)人口管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

8 郭歡;基于Agents的移動(dòng)通信市場管制設(shè)計(jì)研究[D];東北大學(xué);2013年

9 王鐳;移動(dòng)通信大話務(wù)場景下多網(wǎng)協(xié)同保障技術(shù)及其應(yīng)用研究[D];南京郵電大學(xué);2014年

10 何志;新余市公眾移動(dòng)通信站址布局專項(xiàng)規(guī)劃[D];南京郵電大學(xué);2015年

，

本文編號：2398707