【摘要】：MapReduce等計算框架的出現(xiàn)開啟了大數(shù)據(jù)處理新紀元,以Hadoop,Spark為代表的大數(shù)據(jù)處理系統(tǒng)具有大吞吐率、跨平臺、高可擴展的優(yōu)勢,并得到廣泛應用.然而,為避免與具體的操作系統(tǒng)、硬件平臺綁定,這些系統(tǒng)的設計與優(yōu)化集中在計算模型、調(diào)度算法等方面,無法充分利用底層平臺的優(yōu)勢.提出了一種基于正交分解的大數(shù)據(jù)處理系統(tǒng)設計與優(yōu)化方法,將系統(tǒng)分解為松耦合的多個功能正交的模塊,使存儲、處理功能分離出來,交給能夠利用底層平臺操作系統(tǒng)甚至硬件資源的存儲、執(zhí)行引擎,原大數(shù)據(jù)系統(tǒng)退化為調(diào)度平臺;進而,提出基于鎖無關機制的存儲底層優(yōu)化策略和基于指令超級優(yōu)化的執(zhí)行引擎底層優(yōu)化策略.以此為指導,以Hadoop作為兼容和改進的對象,實現(xiàn)了原型大數(shù)據(jù)處理系統(tǒng)Arion.Arion既能保持Hadoop的跨平臺、高可擴展的優(yōu)勢,又能消除任務執(zhí)行的瓶頸,其本地化的設計與優(yōu)化手段對非Hadoop平臺同樣有效.通過在原型系統(tǒng)上的實驗證明,Arion能夠提升大數(shù)據(jù)處理任務的執(zhí)行效率,最高達7.7%.
[Abstract]:The emergence of MapReduce and other computing frameworks has opened a new era for big data processing. Big data processing system, represented by Hadoop,Spark, has the advantages of large throughput, cross-platform, high scalability, and has been widely used. However, in order to avoid binding with specific operating systems and hardware platforms, the design and optimization of these systems are focused on computing models, scheduling algorithms and so on, which can not make full use of the advantages of the underlying platform. In this paper, a design and optimization method of big data processing system based on orthogonal decomposition is proposed. The system is decomposed into loosely coupled multi-functional orthogonal modules so that storage and processing functions can be separated out. To be able to use the underlying platform operating system or even hardware resources storage, execution engine, the original big data system degraded into a scheduling platform; Furthermore, the storage optimization strategy based on lock independent mechanism and the execution engine optimization strategy based on instruction super optimization are proposed. Taking Hadoop as the compatible and improved object, the prototype big data processing system Arion.Arion can not only maintain the advantages of cross-platform, high scalability of Hadoop, but also eliminate the bottleneck of task execution. Its localization design and optimization methods are equally effective for non-Hadoop platforms. The experiments on the prototype system show that Arion can improve the efficiency of big data's task execution, up to 7. 7%.
【作者單位】： 中國科學院計算技術研究所;北方工業(yè)大學計算機學院;
【基金】：國家自然科學基金項目(61202061,61202413) 中國科學院計算技術研究所創(chuàng)新課題項目(20146080)~~
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 任倉鈺;尹和平;;測繪數(shù)據(jù)處理系統(tǒng)介紹[J];工程地質(zhì)計算機應用;2000年02期

2 張建文,湯軍社,李險峰;爐溫均勻性測試數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[J];機械與電子;2004年09期

3 陳金剛;舒攀;;高校網(wǎng)上錄取數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[J];廣西工學院學報;2007年02期

4 馬輝;;招生數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[J];安徽電子信息職業(yè)技術學院學報;2009年04期

5 劉育剛;;機關事務數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[J];哈爾濱船舶工程學院學報;1986年S1期

6 余粟,徐子遠;社會調(diào)查數(shù)據(jù)處理系統(tǒng)[J];計算機應用;1987年05期

7 毛楚祥;;大型統(tǒng)計數(shù)據(jù)處理系統(tǒng)的設計和實現(xiàn)技術[J];計算機工程與應用;1988年09期

8 王玉閩，劉繼先;電機型式試驗微機自動檢測數(shù)據(jù)處理系統(tǒng)的開發(fā)及研制[J];爆炸性環(huán)境電氣防爆技術;1994年02期

9 汪瓏,鐘成,劉建軍,王廷福,孫富立;鐵道部客調(diào)數(shù)據(jù)處理系統(tǒng)[J];鐵路計算機應用;1994年01期

10 馬曉鵬;“59-701微機數(shù)據(jù)處理系統(tǒng)”使用中的改進[J];陜西氣象;2002年01期

相關會議論文 前6條

1 朱新河;嚴新平;蕭漢梁;;計算機輔助油液監(jiān)測數(shù)據(jù)處理系統(tǒng)[A];第二屆全國青年摩擦學學術會議論文專輯[C];1993年

2 郭豐宇;;數(shù)據(jù)處理系統(tǒng)的測試與安全性問題[A];第三次全國計算機安全技術交流會論文集[C];1988年

3 劉云生;代一塵;鄧華鋒;;流數(shù)據(jù)處理系統(tǒng)自適應機制研究[A];第二十三屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2006年

4 安艷輝;謝飛;付洪波;;基于CAD平臺的城市部件普查數(shù)據(jù)處理系統(tǒng)研究[A];地理信息與物聯(lián)網(wǎng)論壇暨江蘇省測繪學會2010年學術年會論文集[C];2010年

5 彭宇;鄒向榮;楊悅;;招生數(shù)據(jù)處理系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學會教育信息化分會第十次學術年會論文集[C];2010年

6 方超;陳志偉;蔡聰波;陳忠;葉朝輝;;核磁共振數(shù)據(jù)處理系統(tǒng)的開發(fā)[A];第十六屆全國波譜學學術會議論文摘要集[C];2010年

相關重要報紙文章 前1條

1 魏杰;錄井數(shù)據(jù)處理系統(tǒng)軟件通過專家評審[N];中國石油報;2004年

相關碩士學位論文 前10條

1 安云鳳;基于云計算的氋鐵數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[D];西南交通大學;2015年

2 邱奕煒;桂林市自動氣象站數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2015年

3 丁鐵凡;基于云計算的醫(yī)療數(shù)據(jù)處理系統(tǒng)的關鍵技術研究[D];華北理工大學;2015年

4 周圣添;商業(yè)銀行審計信息數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[D];山東大學;2015年

5 程轍;基于任務的海量保險數(shù)據(jù)處理系統(tǒng)設計與實現(xiàn)[D];南京大學;2016年

6 蒲來春;北京振沖公司灌漿數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)開發(fā)[D];電子科技大學;2013年

7 段恒;金融數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[D];北京郵電大學;2013年

8 史雅云;車載導航終端數(shù)據(jù)處理系統(tǒng)的研究與實現(xiàn)[D];北京郵電大學;2007年

9 莫玲芝;基于混合編程的電化學實驗數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[D];湖南大學;2010年

10 蘇向陽;電子警察采集數(shù)據(jù)處理系統(tǒng)的設計與實現(xiàn)[D];西安電子科技大學;2010年

，

本文編號：2300606