【摘要】：借助互聯(lián)網(wǎng)的發(fā)展,數(shù)據(jù)以爆炸性的方式增長。社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)和車載網(wǎng)絡(luò)的流行,使非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)在數(shù)據(jù)中心中所占的比重越來越大。大數(shù)據(jù)技術(shù)應(yīng)運而生,發(fā)展迅速,深度影響著互聯(lián)網(wǎng)產(chǎn)業(yè)的格局,是又一次信息革命的浪潮。大數(shù)據(jù)技術(shù)中具有典型代表是Hadoop開源框架,各種公司、開源團隊、研究機構(gòu)對于Hadoop的擴展研究非常活躍,推出了很多支持批處理、流處理、實時處理的大數(shù)據(jù)平臺。本論文闡述了大數(shù)據(jù)實時查詢平臺的設(shè)計原理,重點描述了基于Mem cached的內(nèi)存優(yōu)化方案。針對Memcached存在的熱點問題和單點失效問題,進行系統(tǒng)分析,并且提出基于熱點的動態(tài)調(diào)整策略。本論文的研究成果具有重要的理論價值和實踐價值。從理論上看,由熱點引起的負載不均衡問題普遍存在于分布式系統(tǒng)中,例如在云計算系統(tǒng)中需要考慮各個節(jié)點的CPU和內(nèi)存的利用是否均衡,論文提出的基于熱點的動態(tài)調(diào)整策略對于分布式系統(tǒng)的優(yōu)化具有學(xué)術(shù)參考價值。從實踐上看,該策略的實現(xiàn)成功加速了我們設(shè)計的大數(shù)據(jù)平臺的查詢處理速度,證明了該策略對于構(gòu)建高效的大數(shù)據(jù)平臺具有實踐參考價值。
[Abstract]:With the development of the Internet, the data grows explosively. The popularity of social networks, the Internet of things and in-vehicle networks makes unstructured, semi-structured data more and more important in data centers. Big data technology emerges as the times require, develops rapidly, deeply affects the pattern of Internet industry, is another tide of information revolution. The typical representative of big data technology is Hadoop open source framework, a variety of companies, open source teams, research institutions are very active in the expansion of Hadoop research, launched a lot of support batch processing, stream processing, real-time processing big data platform. This paper describes the design principle of big data real-time query platform, especially describes the memory optimization scheme based on Mem cached. Aiming at the hot spot problem and single point failure problem of Memcached, the system analysis is carried out, and the dynamic adjustment strategy based on hot spot is put forward. The research results of this paper have important theoretical and practical values. Theoretically, the problem of load imbalance caused by hot spots is widespread in distributed systems. For example, in cloud computing systems, it is necessary to consider whether the CPU and memory utilization of each node is balanced. The hot-spot-based dynamic adjustment strategy proposed in this paper is of academic reference value for the optimization of distributed systems. In practice, the implementation of this strategy has successfully accelerated the query processing speed of big data platform, and proved that the strategy has practical reference value for building an efficient big data platform.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 陳宇光;高慧;;評估數(shù)據(jù)平臺對優(yōu)化教學(xué)質(zhì)量監(jiān)控體系的研究[J];成都電子機械高等�？茖W(xué)校學(xué)報;2011年04期

2 大邑;;開放數(shù)據(jù)平臺是打開“智慧城市”的鑰匙[J];計算機光盤軟件與應(yīng)用;2013年15期

3 陳強;立足國情 提供統(tǒng)一數(shù)據(jù)平臺的整體解決方案與服務(wù)[J];CAD/CAM與制造業(yè)信息化;2002年07期

4 丘劍,李德明;廣電網(wǎng)絡(luò)數(shù)據(jù)平臺的設(shè)想與實現(xiàn)[J];東莞理工學(xué)院學(xué)報;2004年04期

5 韓宏,梁向東;我國省級衛(wèi)生監(jiān)督執(zhí)法數(shù)據(jù)平臺建設(shè)的基本構(gòu)想[J];中國衛(wèi)生監(jiān)督雜志;2005年03期

6 周琴芳;;實現(xiàn)精確營銷——本地業(yè)務(wù)數(shù)據(jù)平臺建設(shè)思路[J];每周電腦報;2006年15期

7 聶靖松;李維銘;邸瑞華;;主題數(shù)據(jù)平臺[J];計算機與信息技術(shù);2007年06期

8 臧鐵軍;;高可用的數(shù)據(jù)平臺是信息化建設(shè)的基石[J];中國教育信息化;2009年15期

9 陸寧;劉成;;煉化企業(yè)應(yīng)用數(shù)據(jù)平臺的設(shè)計與應(yīng)用[J];中國科技信息;2010年23期

10 李響;;微軟發(fā)布新一代私有云及數(shù)據(jù)平臺[J];石油工業(yè)計算機應(yīng)用;2012年02期

相關(guān)會議論文 前10條

1 ;普光氣田安全評價數(shù)據(jù)平臺研究(英文)[A];2011中國材料研討會論文摘要集[C];2011年

2 李育芳;彭豐林;楊京鳳;薛國強;王源;李敏;;地球物理信息數(shù)據(jù)平臺設(shè)計與實現(xiàn)[A];中國地球物理2013——第十八專題論文集[C];2013年

3 萬元;;監(jiān)控數(shù)據(jù)平臺下泵實時監(jiān)測與診斷方法初探[A];中國水力發(fā)電工程學(xué)會信息化專委會、水電控制設(shè)備專委會2013年學(xué)術(shù)交流會論文集[C];2013年

4 張紅梅;歐歌;陳剛;盧宇;屈進祿;;HXMT科學(xué)運行中心數(shù)據(jù)平臺建設(shè)[A];第十四屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會論文集（下冊）[C];2008年

5 林琳;林祺蓉;王俏俏;;地區(qū)調(diào)度綜合數(shù)據(jù)平臺在濟南電網(wǎng)的開發(fā)及應(yīng)用[A];山東電機工程學(xué)會2012年度學(xué)術(shù)年會論文集[C];2012年

6 張紅梅;歐歌;陳剛;盧宇;屈進祿;;HXMT科學(xué)運行中心數(shù)據(jù)平臺建設(shè)[A];第十四屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會論文集（2）[C];2008年

7 鞏慧韜;;Web服務(wù)在集控綜合數(shù)據(jù)平臺中的應(yīng)用與問題[A];中國水力發(fā)電工程學(xué)會信息化專委會2008年學(xué)術(shù)交流會論文集[C];2008年

8 許芳奎;;基于狀態(tài)數(shù)據(jù)平臺的高職院校教學(xué)質(zhì)量保障體系構(gòu)建的探討[A];中國名校卷（天津卷）[C];2013年

9 馬龍;余忠源;申燭;徐長安;王其樂;;集團化風電場功率預(yù)測數(shù)據(jù)平臺系統(tǒng)的設(shè)計[A];2013電力行業(yè)信息化年會論文集[C];2013年

10 周攀搏;宗志林;;趙固二礦煤礦專用數(shù)據(jù)傳輸與集成處理平臺的開發(fā)[A];第24屆全國煤礦自動化與信息化學(xué)術(shù)會議暨第6屆中國煤礦信息化與自動化高層論壇論文集[C];2014年

相關(guān)重要報紙文章 前10條

1 記者 任雪梅;首個大數(shù)據(jù)平臺9月試運行[N];佛山日報;2013年

2 解玉婧;飛揚大數(shù)據(jù)平臺備戰(zhàn)大數(shù)據(jù)時代[N];經(jīng)濟參考報;2013年

3 鄧云 張海濤 秋冰;年底前都將進入大數(shù)據(jù)平臺[N];常州日報;2014年

4 本報記者 郭濤;大數(shù)據(jù)平臺要為行業(yè)優(yōu)化[N];中國計算機報;2014年

5 何啟翱 吳愷;商業(yè)銀行建好大數(shù)據(jù)平臺正當時[N];中國城鄉(xiāng)金融報;2014年

6 本報記者　 李中秋;上海將建期貨業(yè)誠信數(shù)據(jù)平臺[N];中國證券報;2006年

7 趙嘉蒞;南京地區(qū)調(diào)度系統(tǒng)綜合數(shù)據(jù)平臺項目通過驗收[N];國家電網(wǎng)報;2008年

8 特派記者 陳鐫娟;建綜合數(shù)據(jù)平臺 管理境外人員[N];廈門日報;2013年

9 本報記者 程彥博;吉林農(nóng)信數(shù)據(jù)平臺三步走[N];中國計算機報;2013年

10 本報記者 張曉峰;拓爾思、東方國信和同有科技成大數(shù)據(jù)平臺“三尖兵”[N];證券日報;2013年

相關(guān)博士學(xué)位論文 前1條

1 王華偉;鐵路運輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺研究[D];中國鐵道科學(xué)研究院;2017年

相關(guān)碩士學(xué)位論文 前10條

1 王浩;大數(shù)據(jù)平臺下數(shù)據(jù)緩存性能優(yōu)化[D];北京郵電大學(xué);2016年

2 李鵬飛;電力調(diào)控數(shù)據(jù)平臺建設(shè)技術(shù)研究[D];山東大學(xué);2015年

3 呂平;面向銀行業(yè)務(wù)的數(shù)據(jù)平臺的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

4 胡琳惠;基于Web的工程項目管理軟件數(shù)據(jù)平臺設(shè)計[D];電子科技大學(xué);2014年

5 李維辰;江蘇省國稅系統(tǒng)綜合數(shù)據(jù)平臺的設(shè)計和實現(xiàn)[D];電子科技大學(xué);2014年

6 胡日新;公共交通開放數(shù)據(jù)平臺及服務(wù)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

7 閆石磊;基于GeoServer的WebGIS共享數(shù)據(jù)平臺[D];西安電子科技大學(xué);2015年

8 趙郭q，

本文編號：2450634