本文關鍵詞：大數(shù)據(jù)存儲中的容錯關鍵技術綜述　出處：《南京郵電大學學報(自然科學版)》2014年04期 　論文類型：期刊論文

  更多相關文章： 大數(shù)據(jù)存儲 分布式存儲 容錯 復制 糾刪碼 再生碼

【摘要】：不斷增長的海量數(shù)據(jù)需要被可靠存儲,而分布式存儲系統(tǒng)龐大的節(jié)點規(guī)模和數(shù)據(jù)規(guī)模,大大提升了發(fā)生節(jié)點失效的概率,容錯技術成為大數(shù)據(jù)存儲中不可忽視的關鍵技術。文中介紹了數(shù)據(jù)容錯的兩種基本策略:復制和糾刪碼,并分別總結(jié)了將這兩種容錯策略具體應用于大數(shù)據(jù)存儲時所面對的問題和相關解決技術,如與基于復制的容錯技術相關的副本系數(shù)設置、副本放置策略、副本一致性策略、副本修復策略和糾刪碼領域的再生碼技術等。
[Abstract]:The growing mass of data needs to be stored reliably, and the large scale of nodes and data in distributed storage system greatly increases the probability of node failure. Fault-tolerant technology has become the key technology in big data storage. This paper introduces two basic strategies of data fault-tolerant: replication and erasure code. And summarizes the specific application of these two fault-tolerant strategies to big data storage problems and related solutions, such as replica coefficient settings related to replication-based fault-tolerant technology, replica placement strategy. Replica consistency strategy, replica repair strategy and erasure codes in the field of reproduction code technology.
【作者單位】： 南京郵電大學寬帶無線通信與傳感網(wǎng)技術教育部重點實驗室;
【基金】：國家自然科學基金(60973140,61170276,61373135,) 江蘇省產(chǎn)學研項目(BY2013011) 江蘇省科技型企業(yè)創(chuàng)新基金(BC2013027) 江蘇省高校自然科學研究重大項目(12KJA520003)資助項目
【分類號】：TP333;TP302.8
【正文快照】： 0引言容錯技術是指當計算機系統(tǒng)在運行時由于器件老化、錯誤輸入、外部環(huán)境影響和原始設計錯誤等因素發(fā)生硬件故障或軟件錯誤時維持系統(tǒng)正常工作的技術總和[1],它是提高系統(tǒng)可靠性的重要手段。早在20世紀50年代計算機容錯技術理論就被提出,1956年,Von Neumann首先提出用低可靠

【相似文獻】

相關期刊論文 前10條

1 史鳴飛 ,龍東東;SAN&NAS:數(shù)據(jù)存儲技術介紹[J];中國稅務;2002年06期

2 賴莉;數(shù)據(jù)存儲方案分析[J];渝西學院學報(自然科學版);2004年04期

3 張國喜;;虛擬化存儲在圖書館數(shù)字化建設中的應用[J];情報探索;2009年10期

4 葛健;董浩斌;鄭海兵;;嵌入式SD卡存儲器的設計[J];電子技術應用;2010年05期

5 ;集群RAID增強數(shù)據(jù)存儲 nStor和Storage Dimensions Vinca聯(lián)合提供相應硬件[J];每周電腦報;1997年33期

6 ;新品速遞[J];每周電腦報;2001年41期

7 張醒天;TTDS~(TM)技術數(shù)據(jù)存儲的“安全之門”[J];網(wǎng)絡安全技術與應用;2003年09期

8 ;數(shù)據(jù)存儲大倉庫——西部數(shù)據(jù)WD1200 SATA硬盤[J];電腦采購周刊;2004年36期

9 楊尊先;于映;林麗華;李昕欣;;基于NEMS技術的硅基納機電探針陣列器件研究[J];傳感技術學報;2005年04期

10 李想;;憑WORM技術新生——2005年磁帶市場趨勢分析[J];每周電腦報;2005年05期

相關會議論文 前10條

1 賓月景;黃蕾;趙福群;黃新;張復實;;輪烯金屬配合物應用于高密度光存儲體系的研究[A];2006中國科協(xié)年會——數(shù)字成像技術及影像材料科學學術交流會論文集[C];2006年

2 陳進才;程偉;陳希;周功業(yè);;寄生存儲冗余機制與實現(xiàn)技術[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

3 張艷秋;李建中;楊艷;張兆功;;混合負載多媒體服務器的數(shù)據(jù)存儲和數(shù)據(jù)提交[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2003年

4 韓德志;;內(nèi)網(wǎng)數(shù)據(jù)存儲安全關鍵技術的研究與實現(xiàn)[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

5 郭梁;趙汝棉;;淺析藍光光盤技術[A];2005（首屆）中國數(shù)字影視節(jié)目制作與接收技術交流展示會論文集[C];2005年

6 李慶;周麗南;孫敏;閆士職;;基于P87C591單片機的CF卡接口電路設計[A];2008中國電工技術學會電力電子學會第十一屆學術年會論文摘要集[C];2008年

7 王悅;;基于CPLD實現(xiàn)數(shù)據(jù)存儲控制接口方法的研究[A];2004全國測控、計量與儀器儀表學術年會論文集（下冊）[C];2004年

8 霍躍華;;IP SAN在煤炭企業(yè)數(shù)據(jù)存儲的應用研究[A];煤礦自動化與信息化——第20屆全國煤礦自動化與信息化學術會議暨第2屆中國煤礦信息化與自動化高層論壇論文集[C];2010年

9 樊雪梅;;關于云計算技術發(fā)展的研究與綜述[A];中國新聞技術工作者聯(lián)合會2011年學術年會論文集（下篇）[C];2011年

10 劉文紅;戴衛(wèi);楊健;;基于CPLD的可編程固態(tài)數(shù)據(jù)存儲裝置設計[A];四川省電子學會傳感技術第九屆學術年會論文集[C];2005年

相關重要報紙文章 前10條

1 譚勇 曉弈;網(wǎng)絡時代的數(shù)據(jù)存儲[N];人民郵電;2001年

2 四川 萬琳;提高24C04數(shù)據(jù)存儲可靠性的方法[N];電子報;2002年

3 柯志明;綠化數(shù)據(jù)存儲的8大策略[N];網(wǎng)絡世界;2007年

4 本報記者 管德泳;朗登傾力打造數(shù)據(jù)存儲新理念[N];中國企業(yè)報;2001年

5 記者 毛磊;硅谷公司開發(fā)出數(shù)據(jù)存儲新技術[N];新華每日電訊;2009年

6 ;2010年中小企業(yè)數(shù)據(jù)存儲市場六大趨勢[N];網(wǎng)絡世界;2010年

7 屈濤;將財務數(shù)據(jù)存儲在“云”端[N];中國會計報;2011年

8 清水　編譯;主數(shù)據(jù)存儲的六個級別[N];計算機世界;2010年

9 ;網(wǎng)絡世界2009年度應用存儲創(chuàng)新產(chǎn)品獎[N];網(wǎng)絡世界;2009年

10 張偉;誰將成為硬盤的繼任者[N];中國計算機報;2008年

相關博士學位論文 前10條

1 曾碧卿;分布式計算中并行I/O調(diào)度策略研究[D];中南大學;2005年

2 李敏;基于協(xié)同異構模型的成形模擬計算加速[D];華中科技大學;2010年

3 魏青松;大規(guī)模分布式存儲技術研究[D];電子科技大學;2004年

4 孫照焱;基于生物免疫機制的附網(wǎng)存儲關鍵技術研究[D];清華大學;2004年

5 王禹;分布式存儲系統(tǒng)中的數(shù)據(jù)冗余與維護技術研究[D];華南理工大學;2011年

6 胡衍雷;飛秒激光多維信息存儲關鍵技術研究[D];中國科學技術大學;2012年

7 李明強;磁盤陣列的糾刪碼技術研究[D];清華大學;2011年

8 項利萍;RAID-6存儲系統(tǒng)中故障修復問題研究[D];中國科學技術大學;2013年

9 趙培;閃存的存儲管理及索引方法研究[D];華中科技大學;2011年

10 岳銀亮;存儲系統(tǒng)低能耗數(shù)據(jù)布局技術研究[D];華中科技大學;2010年

相關碩士學位論文 前10條

1 晏亞飛;移動通訊設備高可用系統(tǒng)中的數(shù)據(jù)存儲技術[D];清華大學;2003年

2 史玉麗;基于嵌入式的數(shù)據(jù)存儲與通信模塊的設計[D];內(nèi)蒙古師范大學;2012年

3 胡海光;鉆探工程項目數(shù)據(jù)存儲及其安全的應用研究[D];中國地質(zhì)大學(北京);2012年

4 張帆;支持多種接口的數(shù)據(jù)存儲系統(tǒng)設計與實現(xiàn)[D];西安電子科技大學;2013年

5 平利強;基于云計算的海量時空數(shù)據(jù)存儲及挖掘方法的研究和應用[D];杭州電子科技大學;2014年

6 張洪娜;云計算平臺中數(shù)據(jù)存儲與文件管理的研究[D];廣東工業(yè)大學;2011年

7 楊燦;基于HDFS的華圖在線文庫系統(tǒng)數(shù)據(jù)存儲與管理研究[D];中南大學;2013年

8 單旭;異構大數(shù)據(jù)存儲方法研究[D];北京交通大學;2014年

9 孫莉莉;基于DSP的自動垂直鉆井系統(tǒng)數(shù)據(jù)存儲的研究[D];中國石油大學;2010年

10 韋峰;嵌入式實時數(shù)據(jù)存儲傳輸系統(tǒng)設計[D];國防科學技術大學;2010年

，

本文編號：1407345