面向圖像的分布式并行處理系統(tǒng)
發(fā)布時間:2024-01-03 13:38
隨著衛(wèi)星成像技術(shù)的日漸成熟,采用人工智能技術(shù)對衛(wèi)星遙感圖像進(jìn)行識別成為了研究熱點。然而,衛(wèi)星遙感圖像具有成像分辨率高、幅面尺寸大、實時性要求高等特點。因此會存在衛(wèi)星圖像成像速度和識別速度慢等問題,當(dāng)圖像識別速度遠(yuǎn)小于圖像成像速度時會導(dǎo)致圖像數(shù)據(jù)的丟失。反之,則導(dǎo)致衛(wèi)星資源的浪費。因此,如何在保證衛(wèi)星圖像成像質(zhì)量并提高識別速度的同時,提高衛(wèi)星資源利用率成為是本文需要研究的課題。本文設(shè)計了一個面向圖像的分布式并行處理系統(tǒng),并詳細(xì)闡述了該系統(tǒng)涉及到的理論基礎(chǔ)、設(shè)計方案、實現(xiàn)過程和測試分析。本文完成的主要工作如下:1)異構(gòu)平臺下的衛(wèi)星圖像融合:在異構(gòu)平臺下分別通過CPU和GPU進(jìn)行衛(wèi)星圖像融合。將相同的圖像融合方法分別通過串行編程和并行編程進(jìn)行實現(xiàn),并行編程利用CUDA對圖像融合方法進(jìn)行并行化設(shè)計。比較兩種圖像融合方式在不同數(shù)據(jù)規(guī)模下的時間開銷,選擇更適合的衛(wèi)星圖像融合加速方式。2)自適應(yīng)加權(quán)閾值調(diào)度算法:設(shè)計并實現(xiàn)了自適應(yīng)加權(quán)閾值調(diào)度算法,對圖像數(shù)據(jù)處理內(nèi)存和圖像數(shù)據(jù)傳輸內(nèi)存進(jìn)行了調(diào)節(jié)。該算法分為初始化、恒定、高負(fù)載、低負(fù)載四種狀態(tài)。任務(wù)開啟后,模塊先進(jìn)入初始化狀態(tài)。當(dāng)圖像傳輸速度大于圖像處...
【文章頁數(shù)】:98 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
abstract
第一章 緒論
1.1 本文研究工作背景與意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 本文的主要貢獻(xiàn)與創(chuàng)新點
1.4 本文的組織結(jié)構(gòu)
第二章 理論基礎(chǔ)與相關(guān)技術(shù)
2.1 圖像融合
2.2 GPU編程
2.3 通用調(diào)度算法
2.4 LSM-TREE存儲結(jié)構(gòu)
2.5 數(shù)據(jù)分布策略
2.5.1 輪詢策略
2.5.2 一致性哈希策略
2.5.3 帶負(fù)載上限的一致性哈希策略
2.5.4 帶虛擬節(jié)點的一致性哈希策略
2.6 REDIS內(nèi)存回收策略
2.7 本章小結(jié)
第三章 面向圖像的分布式并行處理系統(tǒng)的設(shè)計
3.1 應(yīng)用場景與需求分析
3.2 系統(tǒng)構(gòu)成
3.3 系統(tǒng)層次架構(gòu)
3.4 系統(tǒng)物理部署
3.5 異構(gòu)平臺下的衛(wèi)星圖像融合模塊的設(shè)計
3.5.1 異構(gòu)平臺的圖像融合方式
3.5.2 異構(gòu)平臺圖像融合處理流程
3.5.3 GPU的優(yōu)化處理
3.6 自適應(yīng)加權(quán)閾值調(diào)度算法的設(shè)計
3.6.1 算法模型
3.6.2 狀態(tài)切換
3.6.3 算法偽代碼
3.7 高并發(fā)低冗余存儲模塊的設(shè)計
3.7.1 整體架構(gòu)
3.7.2 存儲模塊中各節(jié)點的功能
3.7.2.1 Client節(jié)點
3.7.2.2 WorkNode節(jié)點
3.7.3 關(guān)鍵技術(shù)
3.7.3.1 數(shù)據(jù)存儲策略
3.7.3.2 關(guān)鍵字壓縮存儲
3.7.3.3 數(shù)據(jù)組織形式
3.7.3.4 Manifest索引結(jié)構(gòu)設(shè)計
3.7.3.5 垃圾回收策略
3.7.3.6 數(shù)據(jù)操作流程
3.7.4 分布式設(shè)計
3.7.4.1 數(shù)據(jù)分布策略
3.7.4.2 負(fù)載均衡策略
3.8 本章小結(jié)
第四章 面向圖像的分布式并行處理系統(tǒng)的實現(xiàn)
4.1 異構(gòu)平臺下的衛(wèi)星圖像融合模塊的實現(xiàn)
4.1.1 BMP圖像的存取
4.1.2 利用CPU進(jìn)行圖像融合
4.1.3 利用GPU進(jìn)行圖像融合
4.2 自適應(yīng)加權(quán)閾值調(diào)度算法的實現(xiàn)
4.2.1 加載組件的實現(xiàn)
4.2.2 數(shù)據(jù)傳輸進(jìn)程實現(xiàn)
4.2.3 數(shù)據(jù)處理進(jìn)程實現(xiàn)
4.2.4 模塊執(zhí)行流程
4.3 高并發(fā)低冗余存儲模塊的實現(xiàn)
4.3.1 通信交互組件的實現(xiàn)
4.3.1.1 通信報文設(shè)計
4.3.1.2 報文頭部類型定義
4.3.1.3 通信協(xié)議編解碼器的實現(xiàn)
4.3.2 網(wǎng)絡(luò)通信框架的實現(xiàn)
4.3.3 定時器的實現(xiàn)
4.3.4 時間類的實現(xiàn)
4.3.5 工作節(jié)點的實現(xiàn)
4.3.5.1 中間層
4.3.5.2 存儲層
4.3.5.3 業(yè)務(wù)層
4.3.6 Client的具體實現(xiàn)
4.3.6.1 數(shù)據(jù)存儲節(jié)點的計算
4.3.6.2 元數(shù)據(jù)管理
4.3.7 模塊關(guān)鍵流程
4.3.7.1 模塊初始化流程
4.3.7.2 數(shù)據(jù)寫入流程
4.3.7.3 數(shù)據(jù)查詢流程
4.3.7.4 數(shù)據(jù)刪除流程
4.4 本章小結(jié)
第五章 系統(tǒng)測試與結(jié)果分析
5.1 異構(gòu)平臺下的衛(wèi)星圖像融合模塊測試
5.1.1 測試環(huán)境
5.1.2 CPU與 GPU圖像融合效果對比測試
5.1.3 CPU與 GPU圖像融合速度對比測試
5.2 自適應(yīng)加權(quán)閾值調(diào)度算法模塊測試
5.2.1 測試環(huán)境
5.2.2 功能測試
5.2.2.1 模塊初始化加載測試
5.2.2.2 模塊運行時測試
5.2.2.3 隊列切換測試
5.3 高并發(fā)低冗余存儲模塊測試
5.3.1 測試環(huán)境
5.3.2 功能測試
5.3.2.1 存儲位置計算測試
5.3.2.2 數(shù)據(jù)存儲測試
5.3.2.3 單條數(shù)據(jù)查詢測試
5.3.2.4 數(shù)據(jù)范圍查詢測試
5.3.2.5 數(shù)據(jù)刪除測試
5.3.3 性能測試
5.3.3.1 寫入性能測試
5.3.3.2 讀取性能測試
5.4 本章小節(jié)
第六章 總結(jié)與展望
6.1 全文總結(jié)
6.2 展望未來
致謝
參考文獻(xiàn)
攻讀碩士期間取得的研究成果
本文編號:3876476
【文章頁數(shù)】:98 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
abstract
第一章 緒論
1.1 本文研究工作背景與意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 本文的主要貢獻(xiàn)與創(chuàng)新點
1.4 本文的組織結(jié)構(gòu)
第二章 理論基礎(chǔ)與相關(guān)技術(shù)
2.1 圖像融合
2.2 GPU編程
2.3 通用調(diào)度算法
2.4 LSM-TREE存儲結(jié)構(gòu)
2.5 數(shù)據(jù)分布策略
2.5.1 輪詢策略
2.5.2 一致性哈希策略
2.5.3 帶負(fù)載上限的一致性哈希策略
2.5.4 帶虛擬節(jié)點的一致性哈希策略
2.6 REDIS內(nèi)存回收策略
2.7 本章小結(jié)
第三章 面向圖像的分布式并行處理系統(tǒng)的設(shè)計
3.1 應(yīng)用場景與需求分析
3.2 系統(tǒng)構(gòu)成
3.3 系統(tǒng)層次架構(gòu)
3.4 系統(tǒng)物理部署
3.5 異構(gòu)平臺下的衛(wèi)星圖像融合模塊的設(shè)計
3.5.1 異構(gòu)平臺的圖像融合方式
3.5.2 異構(gòu)平臺圖像融合處理流程
3.5.3 GPU的優(yōu)化處理
3.6 自適應(yīng)加權(quán)閾值調(diào)度算法的設(shè)計
3.6.1 算法模型
3.6.2 狀態(tài)切換
3.6.3 算法偽代碼
3.7 高并發(fā)低冗余存儲模塊的設(shè)計
3.7.1 整體架構(gòu)
3.7.2 存儲模塊中各節(jié)點的功能
3.7.2.1 Client節(jié)點
3.7.2.2 WorkNode節(jié)點
3.7.3 關(guān)鍵技術(shù)
3.7.3.1 數(shù)據(jù)存儲策略
3.7.3.2 關(guān)鍵字壓縮存儲
3.7.3.3 數(shù)據(jù)組織形式
3.7.3.4 Manifest索引結(jié)構(gòu)設(shè)計
3.7.3.5 垃圾回收策略
3.7.3.6 數(shù)據(jù)操作流程
3.7.4 分布式設(shè)計
3.7.4.1 數(shù)據(jù)分布策略
3.7.4.2 負(fù)載均衡策略
3.8 本章小結(jié)
第四章 面向圖像的分布式并行處理系統(tǒng)的實現(xiàn)
4.1 異構(gòu)平臺下的衛(wèi)星圖像融合模塊的實現(xiàn)
4.1.1 BMP圖像的存取
4.1.2 利用CPU進(jìn)行圖像融合
4.1.3 利用GPU進(jìn)行圖像融合
4.2 自適應(yīng)加權(quán)閾值調(diào)度算法的實現(xiàn)
4.2.1 加載組件的實現(xiàn)
4.2.2 數(shù)據(jù)傳輸進(jìn)程實現(xiàn)
4.2.3 數(shù)據(jù)處理進(jìn)程實現(xiàn)
4.2.4 模塊執(zhí)行流程
4.3 高并發(fā)低冗余存儲模塊的實現(xiàn)
4.3.1 通信交互組件的實現(xiàn)
4.3.1.1 通信報文設(shè)計
4.3.1.2 報文頭部類型定義
4.3.1.3 通信協(xié)議編解碼器的實現(xiàn)
4.3.2 網(wǎng)絡(luò)通信框架的實現(xiàn)
4.3.3 定時器的實現(xiàn)
4.3.4 時間類的實現(xiàn)
4.3.5 工作節(jié)點的實現(xiàn)
4.3.5.1 中間層
4.3.5.2 存儲層
4.3.5.3 業(yè)務(wù)層
4.3.6 Client的具體實現(xiàn)
4.3.6.1 數(shù)據(jù)存儲節(jié)點的計算
4.3.6.2 元數(shù)據(jù)管理
4.3.7 模塊關(guān)鍵流程
4.3.7.1 模塊初始化流程
4.3.7.2 數(shù)據(jù)寫入流程
4.3.7.3 數(shù)據(jù)查詢流程
4.3.7.4 數(shù)據(jù)刪除流程
4.4 本章小結(jié)
第五章 系統(tǒng)測試與結(jié)果分析
5.1 異構(gòu)平臺下的衛(wèi)星圖像融合模塊測試
5.1.1 測試環(huán)境
5.1.2 CPU與 GPU圖像融合效果對比測試
5.1.3 CPU與 GPU圖像融合速度對比測試
5.2 自適應(yīng)加權(quán)閾值調(diào)度算法模塊測試
5.2.1 測試環(huán)境
5.2.2 功能測試
5.2.2.1 模塊初始化加載測試
5.2.2.2 模塊運行時測試
5.2.2.3 隊列切換測試
5.3 高并發(fā)低冗余存儲模塊測試
5.3.1 測試環(huán)境
5.3.2 功能測試
5.3.2.1 存儲位置計算測試
5.3.2.2 數(shù)據(jù)存儲測試
5.3.2.3 單條數(shù)據(jù)查詢測試
5.3.2.4 數(shù)據(jù)范圍查詢測試
5.3.2.5 數(shù)據(jù)刪除測試
5.3.3 性能測試
5.3.3.1 寫入性能測試
5.3.3.2 讀取性能測試
5.4 本章小節(jié)
第六章 總結(jié)與展望
6.1 全文總結(jié)
6.2 展望未來
致謝
參考文獻(xiàn)
攻讀碩士期間取得的研究成果
本文編號:3876476
本文鏈接:http://sikaile.net/guanlilunwen/gongchengguanli/3876476.html
最近更新
教材專著