【摘要】：隨著大數(shù)據(jù)計(jì)算需求的增長(zhǎng),集群的處理速度需要得到快速的提升,然而目前大數(shù)據(jù)處理框架的處理性能已逐漸滿足不了這種快速增長(zhǎng)的需求。由于集群的存儲(chǔ)架構(gòu)是分布式存儲(chǔ),因此數(shù)據(jù)的存放在大數(shù)據(jù)處理過程中成為影響集群的處理性能的因素之一。首先,對(duì)當(dāng)今的分布式文件存儲(chǔ)系統(tǒng)的結(jié)構(gòu)進(jìn)行了介紹;接著,根據(jù)不同的優(yōu)化目標(biāo),例如減少網(wǎng)絡(luò)負(fù)載、負(fù)載均衡、降低能耗和高容錯(cuò)性等,對(duì)近年國(guó)內(nèi)外大數(shù)據(jù)存儲(chǔ)算法的研究進(jìn)行了總結(jié),分析和對(duì)比了已有算法的優(yōu)點(diǎn)以及存在的問題;最后,對(duì)大數(shù)據(jù)存儲(chǔ)架構(gòu)和優(yōu)化算法設(shè)計(jì)的挑戰(zhàn)和未來研究方向作了展望。
[Abstract]:With the increase of big data computing demand, the processing speed of cluster needs to be improved rapidly. However, at present, the processing performance of big data processing framework can not meet the demand of rapid growth. Because the storage architecture of cluster is distributed storage, the storage of data becomes one of the factors that affect the processing performance of cluster in the process of big data processing. Firstly, the structure of distributed file storage system is introduced. Then, according to different optimization objectives, such as reducing network load, load balancing, reducing energy consumption and high fault tolerance, etc. This paper summarizes the research of big data storage algorithm at home and abroad in recent years, analyzes and compares the advantages and problems of the existing algorithms, and finally, the challenges and future research directions of big data storage architecture and optimization algorithm design are prospected.
【作者單位】： 長(zhǎng)沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院;綜合交通運(yùn)輸大數(shù)據(jù)智能處理湖南省重點(diǎn)實(shí)驗(yàn)室(長(zhǎng)沙理工大學(xué));國(guó)防科技大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61402056,61303066) 湖南省教育廳科研項(xiàng)目(14C0030)~~
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 何軍;上海電信基于開放存儲(chǔ)架構(gòu)開展“數(shù)據(jù)金庫(kù)”探討[J];通信世界;2002年29期

2 董唯元;;云計(jì)算下的新型存儲(chǔ)架構(gòu)[J];中國(guó)教育信息化;2011年17期

3 廖健;;存儲(chǔ)架構(gòu)體系發(fā)展及在電信支撐系統(tǒng)中的應(yīng)用[J];中國(guó)新通信;2013年17期

4 張海勇;倪錦萍;戴雙玲;趙森林;范慶強(qiáng);;淺析企業(yè)私有云中的存儲(chǔ)架構(gòu)[J];中國(guó)管理信息化;2014年04期

5 韓志國(guó);;2006存儲(chǔ)大會(huì)：IBM的存儲(chǔ)整和及虛擬化[J];中國(guó)傳媒科技;2006年05期

6 許新光;;播出服務(wù)器的網(wǎng)絡(luò)存儲(chǔ)架構(gòu)對(duì)播出安全的影響[J];廣播與電視技術(shù);2007年09期

7 康翔;將存儲(chǔ)進(jìn)行到底[J];中國(guó)計(jì)算機(jī)用戶;2001年13期

8 譚章祿;王印紅;;企業(yè)數(shù)據(jù)中心存儲(chǔ)架構(gòu)比較及經(jīng)濟(jì)分析[J];統(tǒng)計(jì)與決策;2007年23期

9 顧邦軍;王福來;田毅;萬華明;;教學(xué)資源的云存儲(chǔ)架構(gòu)研究[J];福建電腦;2013年09期

10 ;“數(shù)據(jù)經(jīng)濟(jì)”變革[J];微電腦世界;2013年12期

相關(guān)會(huì)議論文 前3條

1 時(shí)濤;;播出系統(tǒng)中二級(jí)緩存存儲(chǔ)架構(gòu)的探討[A];自主創(chuàng)新與持續(xù)增長(zhǎng)第十一屆中國(guó)科協(xié)年會(huì)論文集（4）[C];2009年

2 時(shí)濤;;播出系統(tǒng)中二級(jí)緩存存儲(chǔ)架構(gòu)的探討[A];數(shù)字電視產(chǎn)業(yè)與三網(wǎng)融合學(xué)術(shù)研討會(huì)論文集[C];2009年

3 畢江;張偉;黃正兵;;電視臺(tái)高清網(wǎng)絡(luò)化節(jié)目制播體系新聞制播業(yè)務(wù)系統(tǒng)存儲(chǔ)架構(gòu)設(shè)計(jì)思路和實(shí)現(xiàn)方案[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)五屆二次理事會(huì)暨學(xué)術(shù)年會(huì)論文集（上篇）[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 郭平;惠普虛擬化助存儲(chǔ)架構(gòu)轉(zhuǎn)型[N];計(jì)算機(jī)世界;2009年

2 ;存儲(chǔ)架構(gòu)迎接“云計(jì)算”時(shí)代[N];網(wǎng)絡(luò)世界;2009年

3 付紅;創(chuàng)新科推出彈性云存儲(chǔ)架構(gòu)[N];人民郵電;2010年

4 本報(bào)記者 郭平;存儲(chǔ)架構(gòu)保駕云數(shù)據(jù)安全[N];計(jì)算機(jī)世界;2013年

5 艾文;IPStor+Oracle9i=簡(jiǎn)化存儲(chǔ)架構(gòu)[N];中國(guó)計(jì)算機(jī)報(bào);2002年

6 記者 柴莎莎;存儲(chǔ)的統(tǒng)一革命[N];網(wǎng)絡(luò)世界;2012年

7 David Merrill;善用存儲(chǔ)經(jīng)濟(jì)學(xué)[N];中國(guó)計(jì)算機(jī)報(bào);2009年

8 本報(bào)記者 郭平;惠普統(tǒng)一存儲(chǔ):重在提高數(shù)據(jù)管理能力[N];計(jì)算機(jī)世界;2010年

9 本報(bào)記者 郭濤;智慧運(yùn)算 優(yōu)化先行[N];中國(guó)計(jì)算機(jī)報(bào);2011年

10 趙虹;綠色存儲(chǔ)架構(gòu)提供靈動(dòng)方案選擇[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2007年

相關(guān)碩士學(xué)位論文 前7條

1 劉志龍;面向多層存儲(chǔ)架構(gòu)的I/O優(yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

2 宗旋;多云協(xié)同存儲(chǔ)架構(gòu)及方法研究[D];西安電子科技大學(xué);2014年

3 張麗君;一種無主控制的云存儲(chǔ)架構(gòu)的研究[D];大連理工大學(xué);2011年

4 陳成;一種基于FPGA云存儲(chǔ)架構(gòu)的關(guān)鍵技術(shù)研究[D];云南大學(xué);2014年

5 孫寶華;基于Dynamo的存儲(chǔ)機(jī)制研究[D];西安電子科技大學(xué);2013年

6 劉衍森;基于Hadoop的全分布式存儲(chǔ)架構(gòu)研究[D];西安電子科技大學(xué);2013年

7 陳之晗;電視制播網(wǎng)中網(wǎng)絡(luò)存儲(chǔ)性能的優(yōu)化設(shè)計(jì)[D];黑龍江大學(xué);2010年

，

本文編號(hào)：2281755