【摘要】：隨著信息技術(shù)的發(fā)展,人們已進(jìn)入了大數(shù)據(jù)時(shí)代,構(gòu)建集群對(duì)海量數(shù)據(jù)進(jìn)行分布式計(jì)算與存儲(chǔ)已成為一種共識(shí),航天衛(wèi)星領(lǐng)域也同樣如此。構(gòu)建衛(wèi)星群分布式架構(gòu)很有意義,在國家層面上,面對(duì)紛亂復(fù)雜的周邊形勢,譬如美韓部署的薩德系統(tǒng),若能實(shí)現(xiàn)衛(wèi)星組網(wǎng)進(jìn)行分布式計(jì)算與存儲(chǔ),便可大幅提高衛(wèi)星能力,擴(kuò)展衛(wèi)星功能,對(duì)國防偵查、態(tài)勢感知、地圖監(jiān)測、通信指揮等起到更大作用。在公眾層面上,人們可通過移動(dòng)設(shè)備隨時(shí)接入衛(wèi)星網(wǎng)絡(luò),從而享受衛(wèi)星群系統(tǒng)提供的更加精確的實(shí)時(shí)定位、物流追蹤和遙感信息服務(wù)。近年來,互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用的興起使分布式技術(shù)廣泛應(yīng)用到工程實(shí)踐中,它主要包括分布式存儲(chǔ)、計(jì)算、數(shù)據(jù)庫與監(jiān)控。分布式存儲(chǔ)技術(shù)為數(shù)據(jù)的存儲(chǔ)提供了基礎(chǔ),保證了數(shù)據(jù)的冗余和一致性;分布式計(jì)算提升了計(jì)算速度,為挖掘海量數(shù)據(jù)的價(jià)值提供了可能;分布式數(shù)據(jù)庫可存儲(chǔ)多類型的非結(jié)構(gòu)化數(shù)據(jù),提供了大數(shù)據(jù)事務(wù)處理的SQL接口;分布式資源監(jiān)控系統(tǒng)時(shí)刻監(jiān)控集群各項(xiàng)指標(biāo),保證集群的安全高效運(yùn)轉(zhuǎn)。與地面環(huán)境不同,衛(wèi)星受到體積、功耗、空間輻射等條件的限制,在衛(wèi)星群建立分布式系統(tǒng)需掌握架構(gòu)設(shè)計(jì)、操作系統(tǒng)、資源管理等關(guān)鍵技術(shù)。針對(duì)以上問題,本文先研究目前主流分布式計(jì)算存儲(chǔ)架構(gòu)、其次研究分布式資源監(jiān)控的實(shí)現(xiàn)過程,最后將分布式技術(shù)移植到衛(wèi)星平臺(tái)上,搭建衛(wèi)星群演示系統(tǒng),在星上圖像處理算法上運(yùn)用分布式技術(shù),證明其可行性與優(yōu)越性。本課題為十三五天基網(wǎng)絡(luò)化計(jì)算平臺(tái)項(xiàng)目的一部分,搭建衛(wèi)星群網(wǎng)絡(luò)計(jì)算平臺(tái)演示系統(tǒng),通過衛(wèi)星圖像處理的開發(fā)部署,對(duì)分布式計(jì)算、存儲(chǔ)、監(jiān)控等關(guān)鍵技術(shù)進(jìn)行研究和驗(yàn)證。通過本項(xiàng)目的研制,可以為十三五預(yù)研項(xiàng)目提供工作基礎(chǔ),為相關(guān)產(chǎn)品規(guī)劃研制提供技術(shù)基礎(chǔ),為未來天地一體化電子系統(tǒng)提供軟件技術(shù)支持。本文以單機(jī)圖像處理算法為基礎(chǔ),在對(duì)矩陣處理時(shí)采用了分布式計(jì)算的技術(shù),將對(duì)矩陣行的傅里葉變換操作分布到多個(gè)節(jié)點(diǎn)上去計(jì)算,從而縮短圖像處理時(shí)間,提升成像速度。
【學(xué)位授予單位】：中國電子科技集團(tuán)公司電子科學(xué)研究院
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP311.13;TN957.52
【圖文】：

主節(jié)點(diǎn)發(fā)送提議消息給其他從節(jié)點(diǎn)，從節(jié)點(diǎn)可選擇接收此提議或拒絕此提議。只逡逑有當(dāng)超過半數(shù)的從節(jié)點(diǎn)接收此提議，主節(jié)點(diǎn)才可以執(zhí)行提議，否則該提議失敗。逡逑Ｐａｘｏｓ協(xié)議的執(zhí)行流程如圖２．邋３所示。逡逑邐Ｐｒｅｐａｒｅ邐邐＼邐逡逑ｗ邐ｗ逡逑１．邋Ｋ邐Ａｃｃｅｐｔ邐Ｋ邐（邋ｊ＜邐（、邋ｊ逡逑Ｐｒｏｐｏｓｅｒ邐｜邋Ａｃｃｅｐｔｏｒ邋｜邋Ａｃｃｅｐｔｏｒ邋Ｉ邋Ａｃｃｅｐｔｏｒ逡逑—邐邐邐邋＾邐＾邐ｉ逡逑邐Ｍｏｒｅ邋ｔｈａｎ邋ｈａｌｆ邐逡逑Ａｃｋｎｏｗｌｅｄｇｅ逡逑圖２．邋３邋Ｐａｘｏｓ執(zhí)行流程圖逡逑兩階段提交協(xié)議用于保證分布式事務(wù)操作的原子性，該協(xié)議包括協(xié)調(diào)者和多逡逑個(gè)參與者節(jié)點(diǎn)。協(xié)調(diào)者發(fā)出事務(wù)請求給其他參與者節(jié)點(diǎn)，參與者節(jié)點(diǎn)可以選擇同逡逑意或拒絕，只有當(dāng)所有參與者節(jié)點(diǎn)返回同意，協(xié)調(diào)者才能執(zhí)行此事務(wù)，否則該事逡逑務(wù)不許執(zhí)行。逡逑２．邋１．４分布式數(shù)據(jù)容錯(cuò)逡逑為保證集群的穩(wěn)定性，故障檢測是必要的。心跳檢測和租約協(xié)議用于保證分逡逑布式數(shù)據(jù)的容錯(cuò)性。逡逑心跳監(jiān)測是主節(jié)點(diǎn)判斷從節(jié)點(diǎn)是否發(fā)生故障的一種機(jī)制，實(shí)現(xiàn)過程如下：逡逑首先主節(jié)點(diǎn)向周圍的從節(jié)點(diǎn)發(fā)送ＨｅａｒｔＢｅａｔ信息，從節(jié)點(diǎn)收到信息后，如果逡逑自身運(yùn)行正常，發(fā)送Ｒｅｐｌｙ信

邋Ｗ１邋）邐；邋Ｗ２邋）邐，Ｗ３邋）逡逑圖２．邋２副本徖移流程圖逡逑２．邋１．３分布式數(shù)據(jù)一致逡逑Ｐａｘｏｓ協(xié)議用于解決分布式數(shù)據(jù)的一致性，該協(xié)議包括主節(jié)點(diǎn)和多個(gè)從節(jié)點(diǎn)。逡逑主節(jié)點(diǎn)發(fā)送提議消息給其他從節(jié)點(diǎn)，從節(jié)點(diǎn)可選擇接收此提議或拒絕此提議。只逡逑有當(dāng)超過半數(shù)的從節(jié)點(diǎn)接收此提議，主節(jié)點(diǎn)才可以執(zhí)行提議，否則該提議失敗。逡逑Ｐａｘｏｓ協(xié)議的執(zhí)行流程如圖２．邋３所示。逡逑邐Ｐｒｅｐａｒｅ邐邐＼邐逡逑ｗ邐ｗ逡逑１．邋Ｋ邐Ａｃｃｅｐｔ邐Ｋ邐（邋ｊ＜邐（、邋ｊ逡逑Ｐｒｏｐｏｓｅｒ邐｜邋Ａｃｃｅｐｔｏｒ邋｜邋Ａｃｃｅｐｔｏｒ邋Ｉ邋Ａｃｃｅｐｔｏｒ逡逑—邐邐邐邋＾邐＾邐ｉ逡逑邐Ｍｏｒｅ邋ｔｈａｎ邋ｈａｌｆ邐逡逑Ａｃｋｎｏｗｌｅｄｇｅ逡逑圖２．邋３邋Ｐａｘｏｓ執(zhí)行流程圖逡逑兩階段提交協(xié)議用于保證分布式事務(wù)操作的原子性，該協(xié)議包括協(xié)調(diào)者和多逡逑個(gè)參與者節(jié)點(diǎn)。協(xié)調(diào)者發(fā)出事務(wù)請求給其他參與者節(jié)點(diǎn)，參與者節(jié)點(diǎn)可以選擇同逡逑意或拒絕，只有當(dāng)所有參與者節(jié)點(diǎn)返回同意，協(xié)調(diào)者才能執(zhí)行此事務(wù)，否則該事逡逑務(wù)不許執(zhí)行。逡逑２．邋１．４分布式數(shù)據(jù)容錯(cuò)逡逑為保證集群的穩(wěn)定性，故障檢測是必要的。心跳檢測和租約協(xié)議用于保證分逡逑布式數(shù)據(jù)的容錯(cuò)性。逡逑心跳監(jiān)測是主節(jié)點(diǎn)判斷從節(jié)點(diǎn)是否發(fā)生故障的一種機(jī)制

逡逑圖３．邋３邋Ｓｐａｒｋ調(diào)度流程逡逑ＲＤＤ轉(zhuǎn)換流圖框架如圖３．邋４所示。圖中每一個(gè)方框?yàn)橐粋�(gè)ＲＤＤ，即ｐａｒｔｉｔｉｏｎ。逡逑Ｃｌ到Ｄ１到Ｆ１為一個(gè)ｐｉｐｅｌｉｎｅ，對(duì)應(yīng)一個(gè)ｔａｓｋ，用一個(gè)線程去執(zhí)行。一個(gè)ｓｔａｇｅ逡逑包括多個(gè)ｐｉｐｅｌｉｎｅ，用一個(gè)進(jìn)程去執(zhí)行。Ｓｔａｇｅ的劃分以是否是寬依賴為標(biāo)準(zhǔn)，逡逑有寬依賴操作之前的所有操作在同一個(gè)ｓｔａｇｅ中。多個(gè)ｓｔａｇｅ組成一個(gè)ｊｏｂ，分逡逑發(fā)給一個(gè)ｗｏｒｋｎｏｄｅ去執(zhí)行。多個(gè)ｊｐｂ組成一個(gè)ａｐｐｌｉｃａｔｉｏｎ，分給一個(gè)Ｍａｓｔｅｒ逡逑去調(diào)度。＿］逡逑２１逡逑

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 李聰;劉陽;;云計(jì)算在航天物流中的應(yīng)用研究[J];物流科技;2015年04期

2 蘇麗;張博為;諶明;盧滿宏;;大數(shù)據(jù)技術(shù)在航天領(lǐng)域發(fā)展與應(yīng)用[J];遙測遙控;2015年02期

3 劉杰;丁向峰;柴旭東;賀紅衛(wèi);莊楊;;云計(jì)算在航天信息化工程中的應(yīng)用與探討[J];軍民兩用技術(shù)與產(chǎn)品;2011年10期

相關(guān)博士學(xué)位論文 前2條

1 李浩林;機(jī)載SAR快速后向投影成像算法研究[D];西安電子科技大學(xué);2015年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

相關(guān)碩士學(xué)位論文 前6條

1 曹東航;基于Ganglia的云平臺(tái)監(jiān)控的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

2 王雪;SAR成像的GPU并行計(jì)算技術(shù)研究[D];南京航空航天大學(xué);2016年

3 李虎;大數(shù)據(jù)技術(shù)在衛(wèi)星運(yùn)控中應(yīng)用探索[D];中國科學(xué)院研究生院(空間科學(xué)與應(yīng)用研究中心);2015年

4 王怡豐;面向非結(jié)構(gòu)化分布式存儲(chǔ)系統(tǒng)的性能分析系統(tǒng)研究[D];復(fù)旦大學(xué);2012年

5 袁紅峰;機(jī)載SAR成像技術(shù)研究[D];西安電子科技大學(xué);2009年

6 朱珠;基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D];北京郵電大學(xué);2008年

本文編號(hào)：2763614