發(fā)布時間：2017-10-17 17:42

  本文關(guān)鍵詞：BigDataBench:開源的大數(shù)據(jù)系統(tǒng)評測基準(zhǔn)

  更多相關(guān)文章： 大數(shù)據(jù) 基準(zhǔn)測試 工業(yè)標(biāo)準(zhǔn) 測試方法 數(shù)據(jù)生成 應(yīng)用案例

【摘要】：大數(shù)據(jù)系統(tǒng)的蓬勃發(fā)展催生了大數(shù)據(jù)基準(zhǔn)測試的研究,如何公正地評價不同的大數(shù)據(jù)系統(tǒng)以及怎樣根據(jù)需求選取合適的系統(tǒng)成為了熱點(diǎn)問題.然而,應(yīng)用領(lǐng)域的廣泛性、數(shù)據(jù)類型的多樣性和數(shù)據(jù)操作的復(fù)雜性使得大數(shù)據(jù)基準(zhǔn)測試集的設(shè)計面臨很大的挑戰(zhàn).現(xiàn)有的相關(guān)基準(zhǔn)測試工作要么針對某一類特定的應(yīng)用或軟件棧,要么根據(jù)流行度主觀地選擇大數(shù)據(jù)負(fù)載,難以全面覆蓋大數(shù)據(jù)的多樣性和復(fù)雜性.針對現(xiàn)有工作的不足,文中討論大數(shù)據(jù)評測基準(zhǔn)需要滿足的需求,并研制了一個跨系統(tǒng)、體系結(jié)構(gòu)、數(shù)據(jù)管理3個領(lǐng)域的大數(shù)據(jù)基準(zhǔn)測試開源程序集——BigDataBench.它覆蓋5個典型的應(yīng)用領(lǐng)域(搜索引擎、電子商務(wù)、社交網(wǎng)絡(luò)、多媒體、生物信息學(xué)),包含結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)類型,涵蓋離線分析、交互式分析、在線服務(wù)、NoSQL這4種負(fù)載類型.目前包含14個真實數(shù)據(jù)集、3種類型的數(shù)據(jù)生成工具以及33個負(fù)載的不同軟件棧實現(xiàn).BigDataBench已廣泛應(yīng)用到學(xué)術(shù)界和工業(yè)界中,應(yīng)用案例包括負(fù)載分析、體系結(jié)構(gòu)設(shè)計、系統(tǒng)優(yōu)化等.基于BigDataBench,中國信息通信研究院聯(lián)合中國科學(xué)院計算技術(shù)研究所、華為等國內(nèi)外知名公司和科研機(jī)構(gòu)共同制定了國內(nèi)首個工業(yè)標(biāo)準(zhǔn)的大數(shù)據(jù)平臺性能評測標(biāo)準(zhǔn).
【作者單位】： 中國科學(xué)院計算技術(shù)研究所;中國科學(xué)院大學(xué);北京尖峰新銳信息科技研究院;中國信息通信研究院;
【關(guān)鍵詞】： 大數(shù)據(jù) 基準(zhǔn)測試 工業(yè)標(biāo)準(zhǔn) 測試方法 數(shù)據(jù)生成 應(yīng)用案例
【基金】：國家自然科學(xué)基金重點(diǎn)項目(61432006)資助
【分類號】：TP311.13
【正文快照】： 士,研究員,博士生導(dǎo)師,中國計算機(jī)學(xué)會(CCF)高級會員,主要研究領(lǐng)域為操作系統(tǒng)、數(shù)據(jù)管理、基準(zhǔn)測試、分布式系統(tǒng).E-mail:zhan-jianfeng@ict.ac.cn.高婉鈴,女,1989年生,博士研究生,主要研究方向為大數(shù)據(jù)基準(zhǔn)測試、大數(shù)據(jù)分析.王磊,男,1976年生,博士研究生,高級工程師,主要研究

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 金澈清;錢衛(wèi)寧;周敏奇;周傲英;;數(shù)據(jù)管理系統(tǒng)評測基準(zhǔn):從傳統(tǒng)數(shù)據(jù)庫到新興大數(shù)據(jù)[J];計算機(jī)學(xué)報;2015年01期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 錢衛(wèi)寧;夏帆;周敏奇;金澈清;周傲英;;大數(shù)據(jù)管理系統(tǒng)評測基準(zhǔn)的挑戰(zhàn)與研究進(jìn)展[J];大數(shù)據(jù);2015年01期

2 王超;;基于大數(shù)據(jù)技術(shù)的現(xiàn)代移動通信研究[J];中國新通信;2015年03期

3 陳亞峰;郭一帆;;三層度量模型Berkeley DB與SQLite系統(tǒng)評測研究[J];中國測試;2015年07期

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 劉兵兵;孟小峰;史英杰;;CloudBM:云數(shù)據(jù)管理系統(tǒng)測試基準(zhǔn)[J];計算機(jī)科學(xué)與探索;2012年06期

2 宮學(xué)慶;金澈清;王曉玲;張蓉;周傲英;;數(shù)據(jù)密集型科學(xué)與工程:需求和挑戰(zhàn)[J];計算機(jī)學(xué)報;2012年08期

3 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計算機(jī)研究與發(fā)展;2013年01期

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李江衛(wèi);未來展望[J];個人電腦;2000年12期

2 ;基準(zhǔn)測試 整體性能[J];個人電腦;2004年07期

3 ;基準(zhǔn)測試[J];個人電腦;2005年10期

4 ;基準(zhǔn)測試[J];個人電腦;2006年05期

5 ;基準(zhǔn)測試[J];個人電腦;2006年10期

6 翟艷芬;周潤松;陳磊;;基準(zhǔn)測試在服務(wù)器選型中的研究分析與實踐[J];信息安全與技術(shù);2011年05期

7 夏建東,龔正虎,王樂春;網(wǎng)絡(luò)性能基準(zhǔn)測試序列的邊值生成法研究[J];計算機(jī)工程與科學(xué);2001年02期

8 田原,云曉春,朱曉暉;防火墻性能基準(zhǔn)測試研究[J];計算機(jī)仿真;2003年07期

9 ;基準(zhǔn)測試[J];個人電腦;2004年04期

10 ;基準(zhǔn)測試[J];個人電腦;2004年12期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 謝靜敏;楊喜昆;劉建強(qiáng);葉曉俊;王建民;;TPC-App基準(zhǔn)測試工具的關(guān)鍵技術(shù)[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2007年

2 馮丹青;周海鷹;左德承;馬宗慶;;基于TPC-C基準(zhǔn)的高端容錯機(jī)評測系統(tǒng)的研究[A];第六屆中國測試學(xué)術(shù)會議論文集[C];2010年

3 貢頂;宣春;張相華;;GSS軟件1-0．1微米MOS器件基準(zhǔn)測試[A];全國計算物理學(xué)會第六屆年會和學(xué)術(shù)交流會論文摘要集[C];2007年

4 張春早;許德政;鄭善良;吳宜燦;;HENDL1.1/MG的臨界基準(zhǔn)測試與分析[A];第二屆全國反應(yīng)堆物理與核材料學(xué)術(shù)研討會論文集[C];2005年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 龍輝;惠普公布服務(wù)器基準(zhǔn)測試結(jié)果[N];中國稅務(wù)報;2007年

2 ;服務(wù)器基準(zhǔn)測試影響服務(wù)器選型[N];網(wǎng)絡(luò)世界;2007年

3 ;多核加速應(yīng)用程序[N];計算機(jī)世界;2006年

4 ;采購選型 度量有方[N];計算機(jī)世界;2007年

5 ;完成百萬級用戶IPTV基準(zhǔn)測試[N];人民郵電;2007年

6 本報記者 吳玉征;Compuware推出17項基準(zhǔn)測試[N];計算機(jī)世界;2011年

7 劉志勇　譯;新TPC基準(zhǔn)測試可衡量虛擬負(fù)載[N];網(wǎng)絡(luò)世界;2013年

8 中國計量科學(xué)研究院新能源環(huán)境計量研究所副研究員 武彤;性能基準(zhǔn)測試實現(xiàn)高性價比PC采購[N];中國政府采購報;2014年

9 記者 李佳師;小心，，IT營銷陷阱[N];中國電子報;2005年

10 ;SQL Server 2005劍指Oracle[N];網(wǎng)絡(luò)世界;2005年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 谷長勇;事務(wù)處理服務(wù)器的性能評價研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2001年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 趙臨虎;基于下一代決策支持評測基準(zhǔn)的測試系統(tǒng)研發(fā)[D];華中科技大學(xué);2012年

2 王唐愉;基準(zhǔn)測試驅(qū)動的ASIP設(shè)計研究[D];浙江大學(xué);2006年

3 曾樂濤;基于TPC-W基準(zhǔn)的船舶電子商務(wù)系統(tǒng)性能測試[D];華中科技大學(xué);2008年

4 馮丹青;基于TPC-C基準(zhǔn)高端容錯機(jī)評測系統(tǒng)研究與設(shè)計[D];哈爾濱工業(yè)大學(xué);2010年

5 馬宗慶;面向銀行中間業(yè)務(wù)的服務(wù)器性能評測基準(zhǔn)的研究與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2011年

6 李旭;Java處理器異構(gòu)多核系統(tǒng)的基準(zhǔn)測試與性能優(yōu)化[D];哈爾濱工業(yè)大學(xué);2012年

本文編號：1050174