【摘要】：由于內(nèi)存云(RAMCloud)只支持最大1 MB的小塊數(shù)據(jù)對象存儲,因此當大于1 MB的對象需要存儲在內(nèi)存云集群中就會受到對象大小的限制,無法在集群中進行存儲。為了解決內(nèi)存云存儲限制的問題,提出了基于內(nèi)存云的大塊數(shù)據(jù)對象并行存取策略。該存儲策略首先將大塊數(shù)據(jù)對象分割成若干個1 MB的小塊數(shù)據(jù)對象,然后在客戶端生成數(shù)據(jù)摘要,最后使用并行存儲算法將客戶端分割成的小塊數(shù)據(jù)對象存儲在內(nèi)存云集群中。讀取時首先讀取數(shù)據(jù)摘要,然后根據(jù)數(shù)據(jù)摘要從內(nèi)存云集群中并行讀取小塊數(shù)據(jù)對象,并將小塊數(shù)據(jù)對象合并生成大塊數(shù)據(jù)對象。實驗結(jié)果表明:大塊數(shù)據(jù)對象的并行存取策略在不破壞內(nèi)存云集群體系結(jié)構(gòu)的前提下存儲時間為16~18μs,讀取時間為6~7μs。在Infini Band網(wǎng)絡(luò)架構(gòu)下,所提并行算法的加速比呈現(xiàn)類似線性的增長,它使大塊數(shù)據(jù)對象也能夠像小塊數(shù)據(jù)對象一樣在微秒級別下快速、高效地進行存取。
[Abstract]:Because memory cloud (RAMCloud) only supports small block data object storage with maximum 1 MB, when objects larger than 1 MB need to be stored in memory cluster, they will be limited by object size and cannot be stored in cluster. In order to solve the problem of memory cloud storage limitation, a parallel access strategy for large block data objects based on memory cloud is proposed. The storage strategy firstly divides the large block data object into several 1 MB small block data objects, then generates a data summary on the client side, and finally stores the small block data object divided into a client into a memory cloud cluster by using the parallel storage algorithm. When reading, we first read the data summary, then read the small block data object from the memory cluster in parallel according to the data summary, and merge the small block data object to generate the large block data object. The experimental results show that the storage time and read time of the parallel access strategy are 16 ~ 18 渭 s and 6 ~ 7 渭 s respectively without destroying the memory cluster architecture. In the framework of Infini Band network, the speedup of the proposed parallel algorithm increases linearly, which enables the large data objects to be accessed quickly and efficiently at the micro-second level as well as the small-block data objects.
【作者單位】： 新疆大學軟件學院;新疆大學信息科學與工程學院;
【基金】：國家自然科學基金資助項目(61462079,61262088,61562086,61363083)~~
【分類號】：TP333

【參考文獻】

相關(guān)期刊論文 前5條

1 宋寶燕;王俊陸;王妍;;基于范德蒙碼的HDFS優(yōu)化存儲策略研究[J];計算機學報;2015年09期

2 英昌甜;于炯;魯亮;劉建礦;;基于小文件的內(nèi)存云存儲優(yōu)化策略[J];計算機應(yīng)用;2014年11期

3 魯亮;于炯;英昌甜;王政英;劉建礦;;內(nèi)存云架構(gòu)的磁盤節(jié)能策略[J];計算機應(yīng)用;2014年09期

4 董新華;李瑞軒;周灣灣;王聰;薛正元;廖東杰;;Hadoop系統(tǒng)性能優(yōu)化與功能增強綜述[J];計算機研究與發(fā)展;2013年S2期

5 廖彬;于炯;張?zhí)?楊興耀;;基于P2P的分布式文件系統(tǒng)下載效率優(yōu)化[J];計算機應(yīng)用;2011年09期

【共引文獻】

相關(guān)期刊論文 前10條

1 褚征;于炯;魯亮;英昌甜;卞琛;王躍飛;;基于內(nèi)存云的大塊數(shù)據(jù)對象并行存取策略[J];計算機應(yīng)用;2016年06期

2 徐志陽;張文培;侯青;徐家喜;;HDFS在多用戶并發(fā)訪問系統(tǒng)中的應(yīng)用研究[J];電腦知識與技術(shù);2016年08期

3 王少鋒;伍少成;劉濤;鄧琨;黃兵;;對Hadoop的用電信息大數(shù)據(jù)計算服務(wù)應(yīng)用分析[J];自動化與儀器儀表;2016年04期

4 邱繼遠;岳振軍;榮傳振;馬婭婭;;基于AHP的改進PageRank算法及Hadoop實現(xiàn)[J];軍事通信技術(shù);2016年01期

5 文娟;;面向大數(shù)據(jù)處理的并行計算模型及性能優(yōu)化[J];中國高新技術(shù)企業(yè);2016年06期

6 鄒倩穎;;基于Hadoop的倒排索引的研究與實現(xiàn)[J];福建電腦;2016年01期

7 穆祥昆;劉衛(wèi)國;王躍虎;高萌;李松輝;;基于云平臺的數(shù)據(jù)共享及防護系統(tǒng)研究[J];信息安全與通信保密;2016年01期

8 韋偉;李冰利;張偉東;;云存儲系統(tǒng)中網(wǎng)絡(luò)塊設(shè)備的研究與應(yīng)用[J];計算機與數(shù)字工程;2015年12期

9 郭剛;于炯;魯亮;英昌甜;尹路通;;內(nèi)存云分級存儲架構(gòu)下的數(shù)據(jù)遷移模型[J];計算機應(yīng)用;2015年12期

10 閔涼宇;;Hadoop在金融大數(shù)據(jù)的應(yīng)用[J];時代金融;2015年32期

【二級參考文獻】

相關(guān)期刊論文 前10條

1 馮登國;張敏;李昊;;大數(shù)據(jù)安全與隱私保護[J];計算機學報;2014年01期

2 董新華;李瑞軒;周灣灣;王聰;薛正元;廖東杰;;Hadoop系統(tǒng)性能優(yōu)化與功能增強綜述[J];計算機研究與發(fā)展;2013年S2期

3 錢育蓉;于炯;王衛(wèi)源;孫華;廖彬;楊興耀;;云計算環(huán)境下軟硬件節(jié)能和負載均衡策略[J];計算機應(yīng)用;2013年12期

4 聶瑞華;張科倫;梁軍;;一種改進的云存儲系統(tǒng)容錯機制[J];計算機應(yīng)用研究;2013年12期

5 付松齡;廖湘科;黃辰林;王蕾;李姍姍;;FlatLFS:一種面向海量小文件處理優(yōu)化的輕量級文件系統(tǒng)[J];國防科技大學學報;2013年02期

6 傅杰;都志輝;;一種周期性MapReduce作業(yè)的負載均衡策略[J];計算機科學;2013年03期

7 秦軍;鄧謙;張建平;;HDFS的多安全級數(shù)據(jù)銷毀機制設(shè)計[J];計算機技術(shù)與發(fā)展;2013年03期

8 朱媛媛;王曉京;;基于GE碼的HDFS優(yōu)化方案[J];計算機應(yīng)用;2013年03期

9 陶永才;石磊;;異構(gòu)資源環(huán)境下的MapReduce性能優(yōu)化[J];小型微型計算機系統(tǒng);2013年02期

10 史英杰;孟小峰;;云數(shù)據(jù)管理系統(tǒng)中查詢技術(shù)研究綜述[J];計算機學報;2013年02期

【相似文獻】

相關(guān)期刊論文 前10條

1 羅松林;內(nèi)存常見故障及排除[J];電腦知識與技術(shù);2001年21期

2 羅松林;內(nèi)存小小,問題多多——內(nèi)存常見故障及排除[J];電子計算機與外部設(shè)備;2001年07期

3 鄭秋生;擴展內(nèi)存規(guī)范及擴展內(nèi)存的使用[J];鄭州紡織工學院學報;1994年02期

4 王涌;如何完成內(nèi)存的擴展[J];電子與電腦;1995年09期

5 傅捷;內(nèi)存管理3分鐘[J];電腦知識;1996年02期

6 夏玉紅;;談?wù)動嬎銠C的內(nèi)存管理[J];瀘天化科技;1998年01期

7 李登峰;;擴展內(nèi)存與擴充內(nèi)存的區(qū)別[J];家電檢修技術(shù);1999年07期

8 翁建元;內(nèi)存管理軟件大薈萃[J];電腦;2000年04期

9 葉永茂;內(nèi)存常見問題對策[J];電子科技;2000年02期

10 bob;常見內(nèi)存故障的排除[J];電腦技術(shù);2001年01期

相關(guān)會議論文 前4條

1 丁銳;張亞君;陳維;;基于多級緩存的內(nèi)存管理方案[A];浙江省電子學會2011學術(shù)年會論文集[C];2011年

2 張繼珂;谷青范;;嵌入式操作系統(tǒng)μC/OS-Ⅱ內(nèi)存管理機制研究與改進[A];第七屆中國通信學會學術(shù)年會論文集[C];2010年

3 呂方;胡士文;連瑞琦;;面向鏈表式內(nèi)存管理的編譯優(yōu)化方法[A];第十五屆計算機工程與工藝年會暨第一屆微處理器技術(shù)論壇論文集（A輯）[C];2011年

4 于超;蔣破荒;;SAP ERP內(nèi)存管理研究[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

相關(guān)重要報紙文章 前10條

1 Lansy工作室;你還要加條新內(nèi)存嗎[N];中國電腦教育報;2002年

2 ;內(nèi)存，我該用多大？[N];電腦報;2003年

3 李冰;快馬加鞭[N];中國電腦教育報;2003年

4 廣西 沉睡者;當容量與性能不可兼得[N];電腦報;2003年

5 李軍;啟動從這里開始[N];中國電腦教育報;2002年

6 王志軍;在Windows 2003中安全釋放內(nèi)存[N];中國電腦教育報;2004年

7 ;釋放Win2003內(nèi)存[N];中國計算機報;2005年

8 楊志勇;用WinRAM-Booster優(yōu)化“消化不良”的內(nèi)存[N];中國電腦教育報;2002年

9 鵬鵬;不要忽視內(nèi)存碎片[N];中國計算機報;2003年

10 伍班權(quán);內(nèi)存容量與性能誰重要[N];中國計算機報;2003年

相關(guān)碩士學位論文 前10條

1 張居瀚;基于NoC架構(gòu)的分布式共享內(nèi)存管理系統(tǒng)的實現(xiàn)和驗證[D];復(fù)旦大學;2014年

2 李滿麗;復(fù)雜嵌入式系統(tǒng)內(nèi)存管理方案的研究與實現(xiàn)[D];廈門大學;2009年

3 張榮榮;3G統(tǒng)一平臺的內(nèi)存管理研究[D];西安電子科技大學;2008年

4 高峰;Linux內(nèi)存管理的設(shè)計與實現(xiàn)[D];沈陽工業(yè)大學;2007年

5 李翔;面向智能手機的嵌入式Linux內(nèi)存管理優(yōu)化技術(shù)的研究[D];上海交通大學;2008年

6 柴繼國;嵌入式系統(tǒng)內(nèi)存管理的研究與實現(xiàn)[D];電子科技大學;2006年

7 李江雄;嵌入式linux內(nèi)存管理設(shè)計與實現(xiàn)[D];華中科技大學;2008年

8 劉建君;嵌入式Linux內(nèi)存管理機制的研究[D];沈陽工業(yè)大學;2011年

9 李明星;基于內(nèi)存反射技術(shù)的實時網(wǎng)絡(luò)接口卡研制[D];哈爾濱工業(yè)大學;2010年

10 劉俊海;多核系統(tǒng)內(nèi)存管理算法的設(shè)計與實現(xiàn)[D];天津大學;2008年

，

本文編號：2453772