本文關(guān)鍵詞：大數(shù)據(jù)環(huán)境下數(shù)據(jù)容錯(cuò)技術(shù)研究與實(shí)現(xiàn)

  更多相關(guān)文章： 大數(shù)據(jù) 容錯(cuò)技術(shù) 存儲(chǔ)系統(tǒng) 緩存 磁盤 數(shù)據(jù)復(fù)制

【摘要】：大數(shù)據(jù)時(shí)代來臨,信息系統(tǒng)需要存儲(chǔ)和處理的數(shù)據(jù)指數(shù)級(jí)增長。當(dāng)前存儲(chǔ)系統(tǒng)的設(shè)計(jì)還是局限在考慮數(shù)據(jù)中心內(nèi)部單位的數(shù)據(jù)處理,更加關(guān)注于OLTP與OLAP業(yè)務(wù)。在數(shù)據(jù)容錯(cuò)方面,傳統(tǒng)的存儲(chǔ)系統(tǒng)通過節(jié)點(diǎn)內(nèi)容錯(cuò)、節(jié)點(diǎn)間數(shù)據(jù)備份等方式進(jìn)行數(shù)據(jù)容錯(cuò)。這種容錯(cuò)方式,具體容錯(cuò)投入高、沒有考慮全局?jǐn)?shù)據(jù)和系統(tǒng)數(shù)據(jù)等問題,需要進(jìn)行一步在設(shè)計(jì)中進(jìn)行改進(jìn)。本文通過對(duì)大數(shù)據(jù)時(shí)代數(shù)據(jù)特征的分析,結(jié)合當(dāng)前技術(shù)發(fā)展趨勢(shì),提出了大數(shù)據(jù)背景下高可靠、高性能、高擴(kuò)展的存儲(chǔ)體系結(jié)構(gòu)參考模型,確定了容錯(cuò)機(jī)制的層次結(jié)構(gòu)及每層容錯(cuò)機(jī)制的實(shí)現(xiàn)技術(shù)方向,并以此為基礎(chǔ),對(duì)存儲(chǔ)系統(tǒng)系統(tǒng)性的容錯(cuò)機(jī)制進(jìn)行了分析研究,對(duì)容錯(cuò)機(jī)制的關(guān)鍵、核心問題提出解決方案。在系統(tǒng)內(nèi)部,本文從緩存、磁盤問、磁盤內(nèi)三個(gè)層面對(duì)數(shù)據(jù)容錯(cuò)技術(shù)進(jìn)行分析。緩存層面通過緩存鏡像、數(shù)據(jù)掉電保護(hù)機(jī)制等技術(shù)解決數(shù)據(jù)中心掉電時(shí)數(shù)據(jù)完整性保證問題；磁盤間的數(shù)據(jù)保護(hù)技術(shù)主要以RAID本主,本文在傳統(tǒng)RAID實(shí)現(xiàn)基礎(chǔ)之上,結(jié)合當(dāng)前存儲(chǔ)體系結(jié)構(gòu),詳細(xì)分析了RAID性能優(yōu)化問題及Write Hole解決方案；磁盤內(nèi)通過對(duì)磁道運(yùn)行環(huán)境、生命周期模型分析的基礎(chǔ)之上,進(jìn)一步分析了磁盤巡檢和磁盤自修復(fù)技術(shù)實(shí)現(xiàn)基本理論,提出了結(jié)合RAID校驗(yàn)的壞扇區(qū)修復(fù)策略。在存儲(chǔ)系統(tǒng)間,本文詳細(xì)分析了遠(yuǎn)程復(fù)制的實(shí)現(xiàn)機(jī)理和核心的技術(shù)點(diǎn),針對(duì)遠(yuǎn)程復(fù)制中的數(shù)據(jù)一致性問題、IO沖突問題進(jìn)行了分析,并提出了相應(yīng)的解決方案。
【關(guān)鍵詞】：大數(shù)據(jù) 容錯(cuò)技術(shù) 存儲(chǔ)系統(tǒng) 緩存 磁盤 數(shù)據(jù)復(fù)制
【學(xué)位授予單位】：中國科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• Abstract6-9
• 第一章 緒論9-17
• 1.1 研究背景與意義9-10
• 1.1.1. 存儲(chǔ)面臨新挑戰(zhàn)9
• 1.1.2. 數(shù)據(jù)生命周期延長9-10
• 1.1.3. 高效可靠的容錯(cuò)機(jī)制需求10
• 1.2 本課題的研究進(jìn)展10-11
• 1.3 本文主要研究內(nèi)容11-12
• 1.4 大數(shù)據(jù)應(yīng)用的基本特點(diǎn)12-13
• 1.4.1. 海量數(shù)據(jù)存儲(chǔ)12
• 1.4.2. 數(shù)據(jù)資源具有異構(gòu)性12
• 1.4.3. 數(shù)據(jù)訪問對(duì)存儲(chǔ)并發(fā)要求高12-13
• 1.5 大數(shù)據(jù)應(yīng)用的突出特點(diǎn)13-14
• 1.5.1. 數(shù)據(jù)具有不確定性13
• 1.5.2. 數(shù)據(jù)具有時(shí)效性和空間性13-14
• 1.5.3. 數(shù)據(jù)具有高頻度訪問特點(diǎn)14
• 1.6 本章小結(jié)14-17
• 第二章 大數(shù)據(jù)背景下容錯(cuò)體系結(jié)構(gòu)17-25
• 2.1 存儲(chǔ)體系結(jié)構(gòu)演進(jìn)17-20
• 2.2 大數(shù)據(jù)環(huán)境下數(shù)據(jù)容錯(cuò)體系結(jié)構(gòu)20-21
• 2.3 存儲(chǔ)容錯(cuò)機(jī)制在存儲(chǔ)系統(tǒng)中的位置21-23
• 2.4 本章小結(jié)23-25
• 第三章 存儲(chǔ)系統(tǒng)緩存容錯(cuò)機(jī)制25-39
• 3.1 概述25-27
• 3.2 緩存數(shù)據(jù)組織27-28
• 3.3 緩存鏡像28-31
• 3.4 臟頁落盤處理31-35
• 3.5 緩存掉電保護(hù)設(shè)計(jì)35-38
• 3.6 本章小結(jié)38-39
• 第四章 磁盤數(shù)據(jù)容錯(cuò)39-65
• 4.1 概述39-42
• 4.2 RAID位圖備份42-46
• 4.3 磁盤巡檢46-53
• 4.3.1. 磁盤掃描48-51
• 4.3.2. 磁盤掃描SCSI指令51-52
• 4.3.3. 實(shí)現(xiàn)效果分析52-53
• 4.4 磁盤自修復(fù)53-64
• 4.4.1. 預(yù)留區(qū)域55-56
• 4.4.2. 磁盤錯(cuò)誤分析56-57
• 4.4.3. 數(shù)據(jù)修復(fù)分析57-64
• 4.5 本章小節(jié)64-65
• 第五章 系統(tǒng)間數(shù)據(jù)容錯(cuò)65-77
• 5.1 數(shù)據(jù)復(fù)制體系結(jié)構(gòu)66-67
• 5.2 遠(yuǎn)程復(fù)制模式67-68
• 5.3 元數(shù)據(jù)管理68-74
• 5.3.1. 元數(shù)據(jù)空間管理69-70
• 5.3.2. 數(shù)據(jù)組織70-71
• 5.3.3. 元數(shù)據(jù)預(yù)留分析71-73
• 5.3.4. 元數(shù)據(jù)一致性保證機(jī)制73-74
• 5.4 IO沖突處理74
• 5.5 本章小節(jié)74-77
• 第六章 系統(tǒng)測(cè)試與分析77-81
• 6.1 系統(tǒng)測(cè)試環(huán)境77-78
• 6.2 系統(tǒng)可用性測(cè)試78
• 6.3 系統(tǒng)性能測(cè)試78-79
• 6.4 數(shù)據(jù)一致性測(cè)試79
• 6.5 小結(jié)79-81
• 第七章 結(jié)論與展望81-83
• 7.1 結(jié)論81
• 7.2 展望81-83
• 參考文獻(xiàn)83-87
• 致謝87-89
• 個(gè)人簡歷、在學(xué)期間發(fā)表的論文與研究成果89

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;未雨綢繆話容錯(cuò)技術(shù)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2004年06期

2 夏祖德;雷鏡湖;;硬件容錯(cuò)技術(shù)[J];電子技術(shù);1987年10期

3 周修廉;陳是榮;;分布式計(jì)算機(jī)系統(tǒng)容錯(cuò)技術(shù)[J];哈爾濱科學(xué)技術(shù)大學(xué)學(xué)報(bào);1987年03期

4 梁思禮;容錯(cuò)技術(shù)在航天領(lǐng)域中的應(yīng)用[J];系統(tǒng)工程與電子技術(shù);1993年12期

5 陳萬福;查新檢索工作中的容錯(cuò)理論與容錯(cuò)技術(shù)[J];醫(yī)學(xué)情報(bào)工作;2001年05期

6 鄭平;;容錯(cuò)技術(shù)在數(shù)據(jù)集中系統(tǒng)中的應(yīng)用[J];金融電子化;2001年11期

7 蒙建波,吳銀成,楊俊永;容錯(cuò)技術(shù)與儀表的發(fā)展[J];儀器儀表學(xué)報(bào);2002年S3期

8 黎珊珊;實(shí)時(shí)分布式計(jì)算機(jī)系統(tǒng)的容錯(cuò)技術(shù)研究[J];計(jì)算機(jī)與數(shù)字工程;2002年06期

9 張郭軍,王榮;網(wǎng)絡(luò)服務(wù)器的容錯(cuò)技術(shù)[J];渭南師范學(xué)院學(xué)報(bào);2002年05期

10 ;揭密容錯(cuò)技術(shù)的前世今生[J];計(jì)算機(jī)與網(wǎng)絡(luò);2004年16期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 蒙建波;吳銀成;楊俊永;;容錯(cuò)技術(shù)與儀表的發(fā)展[A];第三次全國會(huì)員代表大會(huì)暨學(xué)術(shù)會(huì)議論文集[C];2002年

2 王東盛;;容錯(cuò)技術(shù)在衛(wèi)星控制系統(tǒng)中的應(yīng)用[A];第十屆全國容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2003年

3 李衛(wèi)東;;容錯(cuò)技術(shù)在梅鋼的應(yīng)用[A];全國冶金自動(dòng)化信息網(wǎng)2012年年會(huì)論文集[C];2012年

4 龐海洋;李新明;;軟件容錯(cuò)[A];第十屆全國容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2003年

5 閔應(yīng)驊;;網(wǎng)絡(luò)容錯(cuò)與安全研究述評(píng)[A];第十屆全國容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2003年

6 于洪濤;黃文軒;王和;;一種雙機(jī)容錯(cuò)方案及其應(yīng)用[A];開創(chuàng)新世紀(jì)的通信技術(shù)——第七屆全國青年通信學(xué)術(shù)會(huì)議論文集[C];2001年

7 龔健;楊孟飛;;硬件進(jìn)化系統(tǒng)的容錯(cuò)性研究[A];第十四屆全國容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議(CFTC'2011)論文集[C];2011年

8 歐陽一鳴;余雅瓊;郭凱;;基于同構(gòu)片上網(wǎng)絡(luò)拓?fù)淇芍貥?gòu)的容錯(cuò)硬件結(jié)構(gòu)[A];第六屆中國測(cè)試學(xué)術(shù)會(huì)議論文集[C];2010年

9 羅宏;宿紅毅;戰(zhàn)守義;;無線傳感器網(wǎng)絡(luò)故障診斷與容錯(cuò)技術(shù)研究進(jìn)展[A];第八屆全國信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2010年

10 高航;羅宇;;RTEMS上基于軟件重算的容錯(cuò)支撐設(shè)計(jì)研究[A];2008年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 艾先;容錯(cuò)技術(shù)掃描[N];中國貿(mào)易報(bào);2004年

2 ;容錯(cuò)技術(shù)的發(fā)展與應(yīng)用展望[N];計(jì)算機(jī)世界;2001年

3 劉雨;讓容錯(cuò)服務(wù)器“平民化”[N];中國計(jì)算機(jī)報(bào);2007年

4 常文杰;新容錯(cuò)浪潮[N];網(wǎng)絡(luò)世界;2004年

5 胡志敏;“雙核”容錯(cuò)服務(wù)器來了[N];政府采購信息報(bào);2007年

6 ;容錯(cuò)技術(shù)應(yīng)用前景[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2004年

7 孔令男;容錯(cuò)技術(shù)高端商用領(lǐng)域的核心[N];中國國門時(shí)報(bào);2004年

8 遼河石油勘探局物資公司 趙雁　林斌;存儲(chǔ)容錯(cuò)：魚與熊掌可以兼得[N];中國計(jì)算機(jī)報(bào);2010年

9 記者劉雨;Stratus 加大中國行業(yè)市場拓展[N];中國計(jì)算機(jī)報(bào);2003年

10 樊強(qiáng);容錯(cuò)服務(wù)器 服務(wù)未來[N];中國電腦教育報(bào);2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 黃達(dá);基于憶阻器的自治容錯(cuò)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

2 孫欽瑩;大規(guī)模自然災(zāi)害應(yīng)急準(zhǔn)備的容錯(cuò)規(guī)劃[D];哈爾濱工業(yè)大學(xué);2016年

3 李旭;基于非易失內(nèi)存的高性能計(jì)算容錯(cuò)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

4 劉玲霞;Web服務(wù)容錯(cuò)關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2006年

5 林勇;基于進(jìn)化型硬件的容錯(cuò)方法研究[D];中國科學(xué)技術(shù)大學(xué);2007年

6 孫曉星;面向方面的軟件容錯(cuò)模型設(shè)計(jì)與分析技術(shù)[D];華東理工大學(xué);2012年

7 李海山;面向恢復(fù)的容錯(cuò)計(jì)算技術(shù)研究[D];哈爾濱工程大學(xué);2007年

8 肖勇;面向航天的多源信息流系統(tǒng)綜合診斷與容錯(cuò)研究[D];東華大學(xué);2010年

9 趙天緒;集成電路缺陷分布模型和容錯(cuò)技術(shù)研究[D];西安電子科技大學(xué);1999年

10 朱萍;硬實(shí)時(shí)容錯(cuò)調(diào)度算法研究[D];華中科技大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 鄭福真;高擴(kuò)展高容錯(cuò)流式處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2015年

2 吳方軍;MPI環(huán)境下多副本容錯(cuò)技術(shù)研究[D];東南大學(xué);2015年

3 梁賀斌;基于可信度的DSP軟件冗余容錯(cuò)表決方法研究[D];中國科學(xué)院國家空間科學(xué)中心;2016年

4 孟沖;小型無人機(jī)負(fù)荷分擔(dān)式容錯(cuò)飛行控制軟件設(shè)計(jì)[D];南京航空航天大學(xué);2015年

5 關(guān)國棟;Hadoop容錯(cuò)調(diào)度技術(shù)研究[D];西南交通大學(xué);2016年

6 楊爽;基于FPGA的CAN接口抗SEU容錯(cuò)方法研究[D];哈爾濱工業(yè)大學(xué);2016年

7 曹舒婷;基于TSV的3D NoC容錯(cuò)及熱優(yōu)化設(shè)計(jì)技術(shù)研究[D];合肥工業(yè)大學(xué);2016年

8 張林偉;級(jí)聯(lián)多電平有源電力濾波器及其容錯(cuò)技術(shù)的研究[D];遼寧工程技術(shù)大學(xué);2014年

9 吳慶民;大數(shù)據(jù)環(huán)境下數(shù)據(jù)容錯(cuò)技術(shù)研究與實(shí)現(xiàn)[D];中國科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2016年

10 王吉;虛擬化云環(huán)境下面向容錯(cuò)的任務(wù)調(diào)度與資源優(yōu)化方法研究[D];國防科學(xué)技術(shù)大學(xué);2014年

，

本文編號(hào)：601898