面向海量數(shù)據(jù)的實(shí)時(shí)計(jì)算一致性研究
發(fā)布時(shí)間:2017-04-28 04:05
本文關(guān)鍵詞:面向海量數(shù)據(jù)的實(shí)時(shí)計(jì)算一致性研究,由筆耕文化傳播整理發(fā)布。
【摘要】:大數(shù)據(jù)和云計(jì)算等概念和相關(guān)技術(shù)隨社會需求和行業(yè)需求的提高得到了飛速發(fā)展。在傳感網(wǎng)絡(luò)、氣象分析、衛(wèi)星監(jiān)控、核模擬和電磁計(jì)算等關(guān)鍵領(lǐng)域,數(shù)據(jù)的產(chǎn)生和處理需求已經(jīng)到了海量級別,充分利用這些數(shù)據(jù),就可以極大的提高企業(yè)、機(jī)構(gòu)和國家的生產(chǎn)率與競爭力。目前對海量數(shù)據(jù)的研究從根本上來說仍然屬于大數(shù)據(jù)處理技術(shù)研究的范疇。雖然國內(nèi)外企業(yè)及研究機(jī)構(gòu)對分布式存儲和計(jì)算都有一定的研究,但是具體到海量數(shù)據(jù)的分布式存儲和計(jì)算問題,特別是對多數(shù)據(jù)中心協(xié)同計(jì)算環(huán)境下的數(shù)據(jù)一致性這一細(xì)分領(lǐng)域的研究相對較少,還不能適應(yīng)多數(shù)據(jù)中心協(xié)同實(shí)時(shí)計(jì)算所具有的異構(gòu)性較強(qiáng)、計(jì)算任務(wù)較重、流程間交互關(guān)系復(fù)雜的特點(diǎn)。本文對支持海量數(shù)據(jù)實(shí)時(shí)計(jì)算需求的一致性進(jìn)行了研究,主要工作如下:通過研究支持海量數(shù)據(jù)的分布式存儲架構(gòu)、海量數(shù)據(jù)的副本備份管理策略和多數(shù)據(jù)中心協(xié)同計(jì)算的數(shù)據(jù)一致性機(jī)制,分析海量數(shù)據(jù)實(shí)時(shí)計(jì)算環(huán)境的特點(diǎn)和數(shù)據(jù)一致性需求;針對海量數(shù)據(jù)實(shí)時(shí)計(jì)算中數(shù)據(jù)一致性問題需求,基于對數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)的研究,提出了能夠支持海量數(shù)據(jù)實(shí)時(shí)計(jì)算的多數(shù)據(jù)中心協(xié)同計(jì)算平臺架構(gòu),并對協(xié)同計(jì)算平臺的數(shù)據(jù)流程進(jìn)行了規(guī)劃;通過對主流計(jì)算模型的一致性策略進(jìn)行分析和對比,結(jié)合多數(shù)據(jù)中心協(xié)同計(jì)算平臺實(shí)際,基于p axos算法,分別針對輸入數(shù)據(jù)、中間數(shù)據(jù)和輸出數(shù)據(jù)構(gòu)建了數(shù)據(jù)一致性架構(gòu)方案,初步解決了海量數(shù)據(jù)實(shí)時(shí)計(jì)算環(huán)境下數(shù)據(jù)存儲、備份和使用中面臨的一致性問題。在以上研究和工作的基礎(chǔ)上,使用OpenStack建立了多數(shù)據(jù)中心協(xié)同計(jì)算平臺,并基于此平臺驗(yàn)證了本文提出的面向海量數(shù)據(jù)實(shí)時(shí)計(jì)算的數(shù)據(jù)一致性架構(gòu)方案的正確性和有效性。本文的研究成果能夠應(yīng)用于海量數(shù)據(jù)實(shí)時(shí)計(jì)算環(huán)境,為相關(guān)產(chǎn)業(yè)提供支撐。
【關(guān)鍵詞】:海量數(shù)據(jù) 實(shí)時(shí)計(jì)算 數(shù)據(jù)中心 paxos 一致性
【學(xué)位授予單位】:西安電子科技大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2014
【分類號】:TP308;TP311.13
【目錄】:
- 摘要5-6
- ABSTRACT6-10
- 縮略語對照表10-13
- 第一章 緒論13-21
- 1.1 研究背景及意義13-14
- 1.2 國內(nèi)外研究現(xiàn)狀分析14-17
- 1.2.1 國外研究狀況14-16
- 1.2.2 國內(nèi)研究狀況16-17
- 1.2.3 存在的主要問題17
- 1.3 研究思路17-18
- 1.4 本文內(nèi)容與結(jié)構(gòu)安排18-21
- 第二章 海量數(shù)據(jù)實(shí)時(shí)計(jì)算相關(guān)技術(shù)及需求分析21-35
- 2.1 海量數(shù)據(jù)的實(shí)時(shí)計(jì)算需求21-29
- 2.1.1 海量數(shù)據(jù)實(shí)時(shí)計(jì)算介紹21-24
- 2.1.2 支持實(shí)時(shí)計(jì)算的數(shù)據(jù)中心介紹24-28
- 2.1.3 副本數(shù)據(jù)一致性需求28-29
- 2.2 傳統(tǒng)數(shù)據(jù)中心的一致性研究29-32
- 2.2.1 傳統(tǒng)數(shù)據(jù)中心特點(diǎn)29-30
- 2.2.2 數(shù)據(jù)一致性主要方法30-32
- 2.3 海量數(shù)據(jù)實(shí)時(shí)計(jì)算的副本一致性需求32-33
- 2.4 本章小結(jié)33-35
- 第三章 實(shí)時(shí)計(jì)算數(shù)據(jù)的一致性架構(gòu)設(shè)計(jì)35-57
- 3.1 多數(shù)據(jù)中心協(xié)同計(jì)算平臺設(shè)計(jì)35-39
- 3.2 數(shù)據(jù)的一致性問題39-42
- 3.3 分布式系統(tǒng)一致性算法paxos介紹42-45
- 3.4 基于paxos算法的實(shí)時(shí)計(jì)算一致性問題解決方案45-55
- 3.4.1 輸入數(shù)據(jù)45-48
- 3.4.2 中間數(shù)據(jù)48-51
- 3.4.3 輸出數(shù)據(jù)51-55
- 3.5 本章小結(jié)55-57
- 第四章 一致性架構(gòu)在云計(jì)算平臺上的實(shí)現(xiàn)與結(jié)果分析57-63
- 4.1 云計(jì)算平臺OpenStack介紹57-58
- 4.2 多數(shù)據(jù)中心協(xié)同計(jì)算平臺實(shí)現(xiàn)58-60
- 4.3 一致性架構(gòu)應(yīng)用實(shí)現(xiàn)及測試60-61
- 4.4 結(jié)果分析61-62
- 4.5 本章小結(jié)62-63
- 第五章 總結(jié)和展望63-65
- 5.1 論文總結(jié)63
- 5.2 進(jìn)一步的工作63-65
- 參考文獻(xiàn)65-69
- 致謝69-71
- 作者簡介71
【相似文獻(xiàn)】
中國期刊全文數(shù)據(jù)庫 前10條
1 盧如西;;面向協(xié)同計(jì)算的人機(jī)交互顯示平臺研究與實(shí)現(xiàn)[J];硅谷;2010年23期
2 賀志強(qiáng);聯(lián)想集團(tuán)高級副總裁、聯(lián)想研究院院長賀志強(qiáng)談 可信賴的協(xié)同計(jì)算環(huán)境[J];新電腦;2004年04期
3 李永;;基于代理的協(xié)同計(jì)算模型研究與實(shí)現(xiàn)[J];微電子學(xué)與計(jì)算機(jī);2012年08期
4 陳占龍;吳潔;謝忠;吳亮;;分布式空間信息的對等協(xié)同計(jì)算機(jī)制研究[J];計(jì)算機(jī)應(yīng)用研究;2008年07期
5 劉照球;李云貴;劉惠鵬;齊虎;;復(fù)雜結(jié)構(gòu)模型的信息集成和協(xié)同計(jì)算[J];工業(yè)建筑;2012年10期
6 陳小軍;張t,
本文編號:332064
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/332064.html
最近更新
教材專著