【摘要】：隨著信息技術(shù)的發(fā)展,人們已進入了大數(shù)據(jù)時代,構(gòu)建集群對海量數(shù)據(jù)進行分布式計算與存儲已成為一種共識,航天衛(wèi)星領(lǐng)域也同樣如此。構(gòu)建衛(wèi)星群分布式架構(gòu)很有意義,在國家層面上,面對紛亂復(fù)雜的周邊形勢,譬如美韓部署的薩德系統(tǒng),若能實現(xiàn)衛(wèi)星組網(wǎng)進行分布式計算與存儲,便可大幅提高衛(wèi)星能力,擴展衛(wèi)星功能,對國防偵查、態(tài)勢感知、地圖監(jiān)測、通信指揮等起到更大作用。在公眾層面上,人們可通過移動設(shè)備隨時接入衛(wèi)星網(wǎng)絡(luò),從而享受衛(wèi)星群系統(tǒng)提供的更加精確的實時定位、物流追蹤和遙感信息服務(wù)。近年來,互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用的興起使分布式技術(shù)廣泛應(yīng)用到工程實踐中,它主要包括分布式存儲、計算、數(shù)據(jù)庫與監(jiān)控。分布式存儲技術(shù)為數(shù)據(jù)的存儲提供了基礎(chǔ),保證了數(shù)據(jù)的冗余和一致性;分布式計算提升了計算速度,為挖掘海量數(shù)據(jù)的價值提供了可能;分布式數(shù)據(jù)庫可存儲多類型的非結(jié)構(gòu)化數(shù)據(jù),提供了大數(shù)據(jù)事務(wù)處理的SQL接口;分布式資源監(jiān)控系統(tǒng)時刻監(jiān)控集群各項指標,保證集群的安全高效運轉(zhuǎn)。與地面環(huán)境不同,衛(wèi)星受到體積、功耗、空間輻射等條件的限制,在衛(wèi)星群建立分布式系統(tǒng)需掌握架構(gòu)設(shè)計、操作系統(tǒng)、資源管理等關(guān)鍵技術(shù)。針對以上問題,本文先研究目前主流分布式計算存儲架構(gòu)、其次研究分布式資源監(jiān)控的實現(xiàn)過程,最后將分布式技術(shù)移植到衛(wèi)星平臺上,搭建衛(wèi)星群演示系統(tǒng),在星上圖像處理算法上運用分布式技術(shù),證明其可行性與優(yōu)越性。本課題為十三五天基網(wǎng)絡(luò)化計算平臺項目的一部分,搭建衛(wèi)星群網(wǎng)絡(luò)計算平臺演示系統(tǒng),通過衛(wèi)星圖像處理的開發(fā)部署,對分布式計算、存儲、監(jiān)控等關(guān)鍵技術(shù)進行研究和驗證。通過本項目的研制,可以為十三五預(yù)研項目提供工作基礎(chǔ),為相關(guān)產(chǎn)品規(guī)劃研制提供技術(shù)基礎(chǔ),為未來天地一體化電子系統(tǒng)提供軟件技術(shù)支持。本文以單機圖像處理算法為基礎(chǔ),在對矩陣處理時采用了分布式計算的技術(shù),將對矩陣行的傅里葉變換操作分布到多個節(jié)點上去計算,從而縮短圖像處理時間,提升成像速度。
【學(xué)位授予單位】：中國電子科技集團公司電子科學(xué)研究院
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP311.13;TN957.52
【圖文】：

主節(jié)點發(fā)送提議消息給其他從節(jié)點，從節(jié)點可選擇接收此提議或拒絕此提議。只逡逑有當超過半數(shù)的從節(jié)點接收此提議，主節(jié)點才可以執(zhí)行提議，否則該提議失敗。逡逑Ｐａｘｏｓ協(xié)議的執(zhí)行流程如圖２．邋３所示。逡逑邐Ｐｒｅｐａｒｅ邐邐＼邐逡逑ｗ邐ｗ逡逑１．邋Ｋ邐Ａｃｃｅｐｔ邐Ｋ邐（邋ｊ＜邐（、邋ｊ逡逑Ｐｒｏｐｏｓｅｒ邐｜邋Ａｃｃｅｐｔｏｒ邋｜邋Ａｃｃｅｐｔｏｒ邋Ｉ邋Ａｃｃｅｐｔｏｒ逡逑—邐邐邐邋＾邐＾邐ｉ逡逑邐Ｍｏｒｅ邋ｔｈａｎ邋ｈａｌｆ邐逡逑Ａｃｋｎｏｗｌｅｄｇｅ逡逑圖２．邋３邋Ｐａｘｏｓ執(zhí)行流程圖逡逑兩階段提交協(xié)議用于保證分布式事務(wù)操作的原子性，該協(xié)議包括協(xié)調(diào)者和多逡逑個參與者節(jié)點。協(xié)調(diào)者發(fā)出事務(wù)請求給其他參與者節(jié)點，參與者節(jié)點可以選擇同逡逑意或拒絕，只有當所有參與者節(jié)點返回同意，協(xié)調(diào)者才能執(zhí)行此事務(wù)，否則該事逡逑務(wù)不許執(zhí)行。逡逑２．邋１．４分布式數(shù)據(jù)容錯逡逑為保證集群的穩(wěn)定性，故障檢測是必要的。心跳檢測和租約協(xié)議用于保證分逡逑布式數(shù)據(jù)的容錯性。逡逑心跳監(jiān)測是主節(jié)點判斷從節(jié)點是否發(fā)生故障的一種機制，實現(xiàn)過程如下：逡逑首先主節(jié)點向周圍的從節(jié)點發(fā)送ＨｅａｒｔＢｅａｔ信息，從節(jié)點收到信息后，如果逡逑自身運行正常，發(fā)送Ｒｅｐｌｙ信

邋Ｗ１邋）邐；邋Ｗ２邋）邐，Ｗ３邋）逡逑圖２．邋２副本徖移流程圖逡逑２．邋１．３分布式數(shù)據(jù)一致逡逑Ｐａｘｏｓ協(xié)議用于解決分布式數(shù)據(jù)的一致性，該協(xié)議包括主節(jié)點和多個從節(jié)點。逡逑主節(jié)點發(fā)送提議消息給其他從節(jié)點，從節(jié)點可選擇接收此提議或拒絕此提議。只逡逑有當超過半數(shù)的從節(jié)點接收此提議，主節(jié)點才可以執(zhí)行提議，否則該提議失敗。逡逑Ｐａｘｏｓ協(xié)議的執(zhí)行流程如圖２．邋３所示。逡逑邐Ｐｒｅｐａｒｅ邐邐＼邐逡逑ｗ邐ｗ逡逑１．邋Ｋ邐Ａｃｃｅｐｔ邐Ｋ邐（邋ｊ＜邐（、邋ｊ逡逑Ｐｒｏｐｏｓｅｒ邐｜邋Ａｃｃｅｐｔｏｒ邋｜邋Ａｃｃｅｐｔｏｒ邋Ｉ邋Ａｃｃｅｐｔｏｒ逡逑—邐邐邐邋＾邐＾邐ｉ逡逑邐Ｍｏｒｅ邋ｔｈａｎ邋ｈａｌｆ邐逡逑Ａｃｋｎｏｗｌｅｄｇｅ逡逑圖２．邋３邋Ｐａｘｏｓ執(zhí)行流程圖逡逑兩階段提交協(xié)議用于保證分布式事務(wù)操作的原子性，該協(xié)議包括協(xié)調(diào)者和多逡逑個參與者節(jié)點。協(xié)調(diào)者發(fā)出事務(wù)請求給其他參與者節(jié)點，參與者節(jié)點可以選擇同逡逑意或拒絕，只有當所有參與者節(jié)點返回同意，協(xié)調(diào)者才能執(zhí)行此事務(wù)，否則該事逡逑務(wù)不許執(zhí)行。逡逑２．邋１．４分布式數(shù)據(jù)容錯逡逑為保證集群的穩(wěn)定性，故障檢測是必要的。心跳檢測和租約協(xié)議用于保證分逡逑布式數(shù)據(jù)的容錯性。逡逑心跳監(jiān)測是主節(jié)點判斷從節(jié)點是否發(fā)生故障的一種機制

逡逑圖３．邋３邋Ｓｐａｒｋ調(diào)度流程逡逑ＲＤＤ轉(zhuǎn)換流圖框架如圖３．邋４所示。圖中每一個方框為一個ＲＤＤ，即ｐａｒｔｉｔｉｏｎ。逡逑Ｃｌ到Ｄ１到Ｆ１為一個ｐｉｐｅｌｉｎｅ，對應(yīng)一個ｔａｓｋ，用一個線程去執(zhí)行。一個ｓｔａｇｅ逡逑包括多個ｐｉｐｅｌｉｎｅ，用一個進程去執(zhí)行。Ｓｔａｇｅ的劃分以是否是寬依賴為標準，逡逑有寬依賴操作之前的所有操作在同一個ｓｔａｇｅ中。多個ｓｔａｇｅ組成一個ｊｏｂ，分逡逑發(fā)給一個ｗｏｒｋｎｏｄｅ去執(zhí)行。多個ｊｐｂ組成一個ａｐｐｌｉｃａｔｉｏｎ，分給一個Ｍａｓｔｅｒ逡逑去調(diào)度。＿］逡逑２１逡逑

【參考文獻】

相關(guān)期刊論文 前3條

1 李聰;劉陽;;云計算在航天物流中的應(yīng)用研究[J];物流科技;2015年04期

2 蘇麗;張博為;諶明;盧滿宏;;大數(shù)據(jù)技術(shù)在航天領(lǐng)域發(fā)展與應(yīng)用[J];遙測遙控;2015年02期

3 劉杰;丁向峰;柴旭東;賀紅衛(wèi);莊楊;;云計算在航天信息化工程中的應(yīng)用與探討[J];軍民兩用技術(shù)與產(chǎn)品;2011年10期

相關(guān)博士學(xué)位論文 前2條

1 李浩林;機載SAR快速后向投影成像算法研究[D];西安電子科技大學(xué);2015年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

相關(guān)碩士學(xué)位論文 前6條

1 曹東航;基于Ganglia的云平臺監(jiān)控的研究與實現(xiàn)[D];電子科技大學(xué);2016年

2 王雪;SAR成像的GPU并行計算技術(shù)研究[D];南京航空航天大學(xué);2016年

3 李虎;大數(shù)據(jù)技術(shù)在衛(wèi)星運控中應(yīng)用探索[D];中國科學(xué)院研究生院(空間科學(xué)與應(yīng)用研究中心);2015年

4 王怡豐;面向非結(jié)構(gòu)化分布式存儲系統(tǒng)的性能分析系統(tǒng)研究[D];復(fù)旦大學(xué);2012年

5 袁紅峰;機載SAR成像技術(shù)研究[D];西安電子科技大學(xué);2009年

6 朱珠;基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D];北京郵電大學(xué);2008年

本文編號：2763614