【摘要】：本文圍繞大數(shù)據分類中決策數(shù)據的管理和分析進行展開.重點分析了大數(shù)據時代關于商務智能(Business Intelligence,BI)技術新的應用需求;討論了計算機硬件和體系結構的發(fā)展為決策數(shù)據管理和分析帶來的挑戰(zhàn)和機遇;通過對新興典型應用的分析和相關技術和系統(tǒng)特點的總結,說明了基于內存計算的高性能數(shù)據管理和分析技術是當前亟待解決的問題,具有廣闊的應用前景.在全內存式(in-memory)數(shù)據管理環(huán)境下,網絡通訊將成為整個系統(tǒng)的主要瓶頸.結合內存的特點(數(shù)據易失性、內存墻瓶頸),設計針對高性能服務器的無共享分布式內存系統(tǒng)拓撲結構;研究面向異構、多層次緩存和內存結構的分布式數(shù)據布局與索引策略,跨核、跨處理器、跨服務器的多粒度并行處理框架,緩存感知、內存感知的分布式數(shù)據一致性維護等關鍵技術,輕量級面向按列存儲的數(shù)據壓縮機制及壓縮感知的數(shù)據處理機制,將是基于內存計算的高性能數(shù)據管理與分析技術的重點研究內容,并將最終實現(xiàn)實時交互式分析處理.
[Abstract]:This paper focuses on the management and analysis of decision data in big data classification. This paper analyzes the new application requirements of business intelligence (Business Intelligence,BI) technology in big data's time, discusses the challenges and opportunities brought by the development of computer hardware and architecture for decision data management and analysis. By analyzing the typical emerging applications and summarizing the characteristics of related technologies and systems, it is shown that the high performance data management and analysis technology based on memory computing is an urgent problem to be solved and has a broad application prospect. In the in-memory data management environment, network communication will become the main bottleneck of the whole system. Combined with the characteristics of memory (data volatility, memory wall bottleneck), the topology of non-shared distributed memory system for high performance server is designed. This paper studies distributed data layout and index strategy for heterogeneous, multi-level cache and memory structure, multi-granularity parallel processing framework for cross-core, cross-processor and cross-server, cache awareness. Key technologies such as memory aware distributed data consistency maintenance, lightweight data compression mechanism for column storage and data processing mechanism for compression awareness, It will be the key research content of high performance data management and analysis technology based on memory computing, and will finally realize real-time interactive analysis and processing.
【作者單位】： 電子科技集團第三十二研究所;華東師范大學數(shù)據科學與工程研究院;
【基金】：國家自然科學重點項目(61332006)
【分類號】：TP333

【共引文獻】

相關期刊論文 前10條

1 黃濤;王晶;王克義;;一種降低末級高速緩存污染的分階段自適應動態(tài)插入策略[J];北京大學學報(自然科學版);2014年02期

2 孫志卓;李元章;左偉歡;萬軍;何翔;譚毓安;;LSF:一種面向S-RAID 5的能量管理算法[J];北京理工大學學報;2014年02期

3 王振;王雷;王宇;;基于虛擬磁盤塊存儲的分布式文件系統(tǒng)研究[J];華中科技大學學報(自然科學版);2013年S2期

4 呂方;崔慧敏;霍瑋;馮曉兵;;面向并發(fā)性能下降的調度策略的綜述[J];計算機研究與發(fā)展;2014年01期

5 黃濤;王晶;管雪濤;鐘祺;王克義;;采用分區(qū)域管理的軟硬件協(xié)作高能效末級高速緩存設計[J];計算機輔助設計與圖形學學報;2013年11期

6 房俊華;王翰虎;陳梅;馬丹;;DB-Tree:一種高性能的閃存數(shù)據庫索引結構[J];計算機應用與軟件;2013年11期

7 陳荔城;陳明宇;阮元;黃永兵;崔澤漢;盧天越;包云崗;;MIMS:Towards a Message Interface Based Memory System[J];Journal of Computer Science & Technology;2014年02期

8 范菁;熊麗榮;徐聰;;分布式企業(yè)服務總線平臺數(shù)據集成研究及應用[J];計算機科學;2014年02期

9 Hong-yan LI;Nai-xue XIONG;Ping HUANG;Chao GUI;;PASS: a simple, efficient parallelism-aware solid state drive I/O scheduler[J];Journal of Zhejiang University-Science C(Computers & Electronics);2014年05期

10 李麗;張宇昂;傅玉祥;潘紅兵;韓峰;鄭維山;;三維眾核片上處理器存儲架構研究[J];南京大學學報(自然科學);2014年03期

相關博士學位論文 前10條

1 聶鵬程;多核處理器上的操作系統(tǒng)調度[D];西安電子科技大學;2013年

2 張帆;認知可重構的高效能Web服務體系結構研究[D];解放軍信息工程大學;2013年

3 唐富年;面向語義正確性的集成數(shù)據訪問方法研究[D];國防科學技術大學;2012年

4 盧風順;面向CPU/GPU異構體系結構的并行計算關鍵技術研究[D];國防科學技術大學;2012年

5 侯寧;嵌入式多核處理器設計與實現(xiàn)關鍵技術研究[D];合肥工業(yè)大學;2012年

6 蔡勇;基于GPU的車身結構接觸碰撞過程并行計算方法[D];湖南大學;2013年

7 柏曉輝;基于Pt/TiO_(2-x)/TiO_2/TiO_(2+x)/Pt雙擴展憶阻器研究[D];黑龍江大學;2014年

8 林宇斐;大規(guī)模并行計算通信可擴展性—分析、優(yōu)化與模擬[D];國防科學技術大學;2013年

9 王昊奮;面向大規(guī)模RDF數(shù)據的語義搜索[D];上海交通大學;2013年

10 張忠貴;市政公用基礎設施時空信息集成管理技術研究[D];中國地質大學;2014年

相關碩士學位論文 前10條

1 陳席林;分布式持久化緩存系統(tǒng)的研究與實現(xiàn)[D];重慶大學;2013年

2 楊勇;異構多核SoC中存儲與轉置結構研究[D];合肥工業(yè)大學;2013年

3 何小春;Web信息挖掘服務平臺及數(shù)據備份技術研究[D];哈爾濱工業(yè)大學;2012年

4 牛琪鍇;基于閃存的海量非關系存儲方法研究[D];哈爾濱工業(yè)大學;2012年

5 王宏燕;高性能CPU存儲控制器優(yōu)化設計[D];國防科學技術大學;2012年

6 陳遠斌;面向信息共享的數(shù)據集成技術應用研究[D];哈爾濱工程大學;2013年

7 張世軍;銀行績效考核系統(tǒng)的設計與實現(xiàn)[D];湖南大學;2013年

8 黃品豐;面向異構處理器的代價模型及存儲優(yōu)化技術研究[D];解放軍信息工程大學;2013年

9 項莉;工會組織建設統(tǒng)計管理系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2013年

10 葉春鵬;大理州扶貧辦扶貧項目網上評審信息系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2014年

，

本文編號：2337395