本文選題：Hadoop + 開源生態(tài)系統(tǒng)��； 參考：《計(jì)算機(jī)研究與發(fā)展》2017年01期

【摘要】：大規(guī)模數(shù)據(jù)的收集和處理是近年的研究熱點(diǎn),業(yè)界已經(jīng)提出了若干平臺(tái)級(jí)的設(shè)計(jì)方案,大量使用了開源軟件作為數(shù)據(jù)收集和處理組件.然而,要真正滿足企業(yè)應(yīng)用中海量數(shù)據(jù)存儲(chǔ)、多樣化業(yè)務(wù)處理、跨業(yè)務(wù)分析、跨環(huán)境部署等復(fù)雜需求,尚需設(shè)計(jì)具有完整性、通用性、支持整個(gè)數(shù)據(jù)生命周期管理的大數(shù)據(jù)平臺(tái),并且對(duì)開源軟件進(jìn)行大量的功能開發(fā)、定制和改進(jìn).從小米公司的行業(yè)應(yīng)用和實(shí)踐出發(fā),在深入研究現(xiàn)有平臺(tái)的基礎(chǔ)上,提出了一種新的基于開源生態(tài)系統(tǒng)的大數(shù)據(jù)收集與處理平臺(tái),在負(fù)載均衡、故障恢復(fù)、數(shù)據(jù)壓縮、多維調(diào)度等方面進(jìn)行了大量?jī)?yōu)化,同時(shí)發(fā)現(xiàn)并解決了現(xiàn)有開源軟件在數(shù)據(jù)收集、存儲(chǔ)、處理以及軟件一致性、可用性和效率等方面的缺陷.該平臺(tái)已經(jīng)在小米公司成功部署,為小米公司各個(gè)業(yè)務(wù)線的數(shù)據(jù)收集和處理提供支撐服務(wù).
[Abstract]:Large-scale data collection and processing is a hot research topic in recent years. Several platform-level design schemes have been proposed in the industry. Open source software is widely used as a data collection and processing component. However, in order to truly meet the complex requirements of mass data storage, diversified business processing, cross-service analysis, cross-environment deployment and other complex requirements in enterprise applications, it is still necessary to design integrality and versatility. Big data platform supports the whole data lifecycle management, and develops, customizes and improves the open source software. Based on the industry application and practice of Xiaomi Company, a new collection and processing platform of big data based on open source ecosystem is proposed on the basis of deep research on the existing platform, which can be used in load balancing, fault recovery, data compression. At the same time, the shortcomings of existing open source software in data collection, storage, processing, software consistency, availability and efficiency are found and solved. The platform has been successfully deployed at Xiaomi to support data collection and processing across its lines of business.
【作者單位】： 武漢大學(xué)計(jì)算機(jī)學(xué)院;小米科技有限責(zé)任公司;軟件工程國(guó)家重點(diǎn)實(shí)驗(yàn)室(武漢大學(xué));
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(91118003,61373039,61170022)~~
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 大邑;;開放數(shù)據(jù)平臺(tái)是打開“智慧城市”的鑰匙[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年15期

2 陳強(qiáng);立足國(guó)情 提供統(tǒng)一數(shù)據(jù)平臺(tái)的整體解決方案與服務(wù)[J];CAD/CAM與制造業(yè)信息化;2002年07期

3 丘劍,李德明;廣電網(wǎng)絡(luò)數(shù)據(jù)平臺(tái)的設(shè)想與實(shí)現(xiàn)[J];東莞理工學(xué)院學(xué)報(bào);2004年04期

4 韓宏,梁向東;我國(guó)省級(jí)衛(wèi)生監(jiān)督執(zhí)法數(shù)據(jù)平臺(tái)建設(shè)的基本構(gòu)想[J];中國(guó)衛(wèi)生監(jiān)督雜志;2005年03期

5 周琴芳;;實(shí)現(xiàn)精確營(yíng)銷——本地業(yè)務(wù)數(shù)據(jù)平臺(tái)建設(shè)思路[J];每周電腦報(bào);2006年15期

6 聶靖松;李維銘;邸瑞華;;主題數(shù)據(jù)平臺(tái)[J];計(jì)算機(jī)與信息技術(shù);2007年06期

7 臧鐵軍;;高可用的數(shù)據(jù)平臺(tái)是信息化建設(shè)的基石[J];中國(guó)教育信息化;2009年15期

8 陸寧;劉成;;煉化企業(yè)應(yīng)用數(shù)據(jù)平臺(tái)的設(shè)計(jì)與應(yīng)用[J];中國(guó)科技信息;2010年23期

9 李響;;微軟發(fā)布新一代私有云及數(shù)據(jù)平臺(tái)[J];石油工業(yè)計(jì)算機(jī)應(yīng)用;2012年02期

10 夏蕾;;基于手機(jī)短信功能的數(shù)據(jù)平臺(tái)分析與應(yīng)用[J];電子制作;2012年11期

相關(guān)會(huì)議論文 前10條

1 ;普光氣田安全評(píng)價(jià)數(shù)據(jù)平臺(tái)研究(英文)[A];2011中國(guó)材料研討會(huì)論文摘要集[C];2011年

2 李育芳;彭豐林;楊京鳳;薛國(guó)強(qiáng);王源;李敏;;地球物理信息數(shù)據(jù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[A];中國(guó)地球物理2013——第十八專題論文集[C];2013年

3 萬元;;監(jiān)控?cái)?shù)據(jù)平臺(tái)下泵實(shí)時(shí)監(jiān)測(cè)與診斷方法初探[A];中國(guó)水力發(fā)電工程學(xué)會(huì)信息化專委會(huì)、水電控制設(shè)備專委會(huì)2013年學(xué)術(shù)交流會(huì)論文集[C];2013年

4 張紅梅;歐歌;陳剛;盧宇;屈進(jìn)祿;;HXMT科學(xué)運(yùn)行中心數(shù)據(jù)平臺(tái)建設(shè)[A];第十四屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2008年

5 林琳;林祺蓉;王俏俏;;地區(qū)調(diào)度綜合數(shù)據(jù)平臺(tái)在濟(jì)南電網(wǎng)的開發(fā)及應(yīng)用[A];山東電機(jī)工程學(xué)會(huì)2012年度學(xué)術(shù)年會(huì)論文集[C];2012年

6 張紅梅;歐歌;陳剛;盧宇;屈進(jìn)祿;;HXMT科學(xué)運(yùn)行中心數(shù)據(jù)平臺(tái)建設(shè)[A];第十四屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集（2）[C];2008年

7 鞏慧韜;;Web服務(wù)在集控綜合數(shù)據(jù)平臺(tái)中的應(yīng)用與問題[A];中國(guó)水力發(fā)電工程學(xué)會(huì)信息化專委會(huì)2008年學(xué)術(shù)交流會(huì)論文集[C];2008年

8 許芳奎;;基于狀態(tài)數(shù)據(jù)平臺(tái)的高職院校教學(xué)質(zhì)量保障體系構(gòu)建的探討[A];中國(guó)名校卷（天津卷）[C];2013年

9 馬龍;余忠源;申?duì)T;徐長(zhǎng)安;王其樂;;集團(tuán)化風(fēng)電場(chǎng)功率預(yù)測(cè)數(shù)據(jù)平臺(tái)系統(tǒng)的設(shè)計(jì)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

10 周攀搏;宗志林;;趙固二礦煤礦專用數(shù)據(jù)傳輸與集成處理平臺(tái)的開發(fā)[A];第24屆全國(guó)煤礦自動(dòng)化與信息化學(xué)術(shù)會(huì)議暨第6屆中國(guó)煤礦信息化與自動(dòng)化高層論壇論文集[C];2014年

相關(guān)重要報(bào)紙文章 前10條

1 記者 任雪梅;首個(gè)大數(shù)據(jù)平臺(tái)9月試運(yùn)行[N];佛山日?qǐng)?bào);2013年

2 解玉婧;飛揚(yáng)大數(shù)據(jù)平臺(tái)備戰(zhàn)大數(shù)據(jù)時(shí)代[N];經(jīng)濟(jì)參考報(bào);2013年

3 鄧云 張海濤 秋冰;年底前都將進(jìn)入大數(shù)據(jù)平臺(tái)[N];常州日?qǐng)?bào);2014年

4 本報(bào)記者 郭濤;大數(shù)據(jù)平臺(tái)要為行業(yè)優(yōu)化[N];中國(guó)計(jì)算機(jī)報(bào);2014年

5 何啟翱 吳愷;商業(yè)銀行建好大數(shù)據(jù)平臺(tái)正當(dāng)時(shí)[N];中國(guó)城鄉(xiāng)金融報(bào);2014年

6 本報(bào)記者　 李中秋;上海將建期貨業(yè)誠(chéng)信數(shù)據(jù)平臺(tái)[N];中國(guó)證券報(bào);2006年

7 趙嘉蒞;南京地區(qū)調(diào)度系統(tǒng)綜合數(shù)據(jù)平臺(tái)項(xiàng)目通過驗(yàn)收[N];國(guó)家電網(wǎng)報(bào);2008年

8 特派記者 陳鐫娟;建綜合數(shù)據(jù)平臺(tái) 管理境外人員[N];廈門日?qǐng)?bào);2013年

9 本報(bào)記者 程彥博;吉林農(nóng)信數(shù)據(jù)平臺(tái)三步走[N];中國(guó)計(jì)算機(jī)報(bào);2013年

10 本報(bào)記者 張曉峰;拓爾思、東方國(guó)信和同有科技成大數(shù)據(jù)平臺(tái)“三尖兵”[N];證券日?qǐng)?bào);2013年

相關(guān)碩士學(xué)位論文 前10條

1 李鵬飛;電力調(diào)控?cái)?shù)據(jù)平臺(tái)建設(shè)技術(shù)研究[D];山東大學(xué);2015年

2 呂平;面向銀行業(yè)務(wù)的數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 胡琳惠;基于Web的工程項(xiàng)目管理軟件數(shù)據(jù)平臺(tái)設(shè)計(jì)[D];電子科技大學(xué);2014年

4 李維辰;江蘇省國(guó)稅系統(tǒng)綜合數(shù)據(jù)平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 胡日新;公共交通開放數(shù)據(jù)平臺(tái)及服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

6 閆石磊;基于GeoServer的WebGIS共享數(shù)據(jù)平臺(tái)[D];西安電子科技大學(xué);2015年

7 趙郭q，

本文編號(hào)：1824968