本文關(guān)鍵詞：基于嵌入式環(huán)境的分布式存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：如今由于信息技術(shù)的爆炸式發(fā)展,數(shù)據(jù)規(guī)模變得越來越大。尤其在一些科學(xué)研究及生產(chǎn)環(huán)境中,數(shù)據(jù)的采集量也變得越來越大。在這類數(shù)據(jù)采集應(yīng)用中,數(shù)據(jù)采集工作一般由嵌入式設(shè)備進(jìn)行。傳統(tǒng)的數(shù)據(jù)采集應(yīng)用的存儲方式是將分布在不同地點(diǎn)或區(qū)域的設(shè)備采集到的數(shù)據(jù)先存放在本地存儲設(shè)備上再統(tǒng)一上傳到中心服務(wù)器。由中心服務(wù)器進(jìn)行歸檔數(shù)據(jù)歸檔同時為用戶提供數(shù)據(jù)服務(wù)。而這樣的做法會產(chǎn)生中心服務(wù)器負(fù)載過重網(wǎng)絡(luò)負(fù)載過重等問題。本文的目的就是設(shè)計(jì)和實(shí)現(xiàn)出一款方便數(shù)據(jù)采集應(yīng)用進(jìn)行數(shù)據(jù)存儲的基于嵌入式環(huán)境的分布式存儲系統(tǒng)。 本文在對傳統(tǒng)的網(wǎng)絡(luò)存儲,以及典型的分布式文件系統(tǒng)的存儲控制方法,存儲角色歸類方法,存儲原則進(jìn)行分析和充分研究后,結(jié)合數(shù)據(jù)采集應(yīng)用的特性,對數(shù)據(jù)采集應(yīng)用的各個角色進(jìn)行分類。以FastDFS分布式文件系統(tǒng)為基礎(chǔ)設(shè)計(jì)了組、小組和、存儲服務(wù)器的三級存儲模式,增強(qiáng)了存儲系統(tǒng)的拓展能力。 本文還對嵌入式環(huán)境進(jìn)行分析,并且針對嵌入式系統(tǒng)的特點(diǎn)。利用硬件提供的數(shù)據(jù)安全引擎,為存儲數(shù)據(jù)的完整性提供硬件加速。使用多網(wǎng)卡的設(shè)計(jì)使得數(shù)據(jù)同步和數(shù)據(jù)使用的帶寬分離,改善網(wǎng)絡(luò)性能。從而使分布式存儲系統(tǒng)的整體性能得到一定改善。 最后本文對設(shè)計(jì)實(shí)現(xiàn)的分布式存儲系統(tǒng)進(jìn)行了基本的實(shí)驗(yàn)驗(yàn)證。通過多主機(jī)機(jī)多虛擬機(jī)加嵌入式設(shè)備的硬件連接方式部署軟件,對設(shè)計(jì)的存儲系統(tǒng)進(jìn)行功能性的驗(yàn)證。實(shí)驗(yàn)證明,設(shè)計(jì)的基于嵌入式環(huán)境的分布式存儲系統(tǒng)能夠滿足數(shù)據(jù)采集應(yīng)用的各種功能,同時對硬件加速的使用使得數(shù)據(jù)傳輸性能得到了提高。
【關(guān)鍵詞】：分布式 數(shù)據(jù)采集 嵌入式 存儲 硬件加速
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-7
• 目錄7-11
• 第一章 緒論11-14
• 1.1 研究背景11
• 1.2 研究現(xiàn)狀11-12
• 1.3 研究的內(nèi)容12-13
• 1.4 論文結(jié)構(gòu)13-14
• 第二章 常見的存儲系統(tǒng)的設(shè)計(jì)14-20
• 2.1 傳統(tǒng)的網(wǎng)絡(luò)存儲技術(shù)14-16
• 2.1.1 直接連接存儲14-15
• 2.1.2 網(wǎng)絡(luò)連接存儲15-16
• 2.1.3 存儲區(qū)域網(wǎng)絡(luò)16
• 2.2 典型的分布式存儲系統(tǒng)16-20
• 2.2.1. Google File System17-18
• 2.2.3 Hadoop Distributed File System18-19
• 2.2.4 Lustre分布式文件系統(tǒng)19-20
• 第三章 需求分析及設(shè)計(jì)關(guān)鍵問題分析20-26
• 3.1 需求分析20-21
• 3.1.1 通用需求分析20
• 3.1.2 應(yīng)用實(shí)例需求分析20-21
• 3.2 設(shè)計(jì)關(guān)鍵問題分析21-26
• 3.2.1 設(shè)計(jì)原則分析21-22
• 3.2.2 網(wǎng)絡(luò)連接模型分析22-24
• 3.2.3 嵌入式環(huán)境分析24-26
• 第四章 分布式存儲軟件相關(guān)的設(shè)計(jì)與實(shí)現(xiàn)26-55
• 4.1 總體結(jié)構(gòu)的設(shè)計(jì)26-29
• 4.1.1 整體拓?fù)浼軜?gòu)26-28
• 4.1.2 分布式存儲系統(tǒng)中的角色28-29
• 4.1.3 分布式存儲系統(tǒng)總體結(jié)構(gòu)相關(guān)的數(shù)據(jù)結(jié)構(gòu)29
• 4.2 跟蹤端服務(wù)器的整體軟件實(shí)現(xiàn)29-37
• 4.2.1 跟蹤服務(wù)器的配置30-31
• 4.2.2 跟蹤服務(wù)器的日志處理31-32
• 4.2.3 跟蹤服務(wù)器的狀態(tài)讀取32-33
• 4.2.4 跟蹤服務(wù)器的數(shù)據(jù)結(jié)構(gòu)33-34
• 4.2.5 跟蹤服務(wù)器的端口設(shè)置34
• 4.2.6 跟蹤服務(wù)器的工作線程34-36
• 4.2.7 跟蹤服務(wù)器的信號量處理36
• 4.2.8 跟蹤服務(wù)器的定時任務(wù)36-37
• 4.2.9 跟蹤服務(wù)器的接收連接37
• 4.2.10 跟蹤服務(wù)器的下線處理37
• 4.3 存儲節(jié)點(diǎn)的整體軟件實(shí)現(xiàn)37-43
• 4.3.1 存儲服務(wù)器的配置38-39
• 4.3.2 存儲服務(wù)器的預(yù)處理任務(wù)39-40
• 4.3.3 存儲服務(wù)器的日志處理40
• 4.3.4 存儲服務(wù)器的端口設(shè)置40
• 4.3.5 存儲服務(wù)器的網(wǎng)絡(luò)工作線程40-41
• 4.3.6 存儲服務(wù)器的信號量處理41
• 4.3.7 存儲服務(wù)器的報(bào)告線程41-42
• 4.3.8 存儲服務(wù)器的定時任務(wù)42
• 4.3.9 存儲服務(wù)器的磁盤處理線程42-43
• 4.3.10 存儲服務(wù)器的接受連接43
• 4.3.11 存儲服務(wù)器的下線處理43
• 4.4 用戶節(jié)點(diǎn)的軟件實(shí)現(xiàn)43-44
• 4.4.1 注冊用戶節(jié)點(diǎn)的軟件設(shè)計(jì)43-44
• 4.4.2 普通用戶節(jié)點(diǎn)的軟件接口44
• 4.5 傳輸協(xié)議與文件的上傳和下載44-52
• 4.5.1 協(xié)議的格式45
• 4.5.2 用戶與跟蹤服務(wù)器之間的消息格式45-47
• 4.5.3 用戶與存儲節(jié)點(diǎn)之間的消息格式47-48
• 4.5.4 存儲節(jié)點(diǎn)與存儲節(jié)點(diǎn)之間的消息格式48
• 4.5.5 存儲節(jié)點(diǎn)與跟蹤服務(wù)器之間的數(shù)據(jù)同步48-49
• 4.5.6 文件的上傳49-50
• 4.5.7 文件的下載50-52
• 4.6 分布式數(shù)據(jù)存儲的相關(guān)處理52-55
• 4.6.1 文件的同步機(jī)制52
• 4.6.2 數(shù)據(jù)一致性52-53
• 4.6.3 數(shù)據(jù)的分布53
• 4.6.4 負(fù)載均衡53
• 4.6.5 系統(tǒng)可拓展性53
• 4.6.6 數(shù)據(jù)容錯53-54
• 4.6.7 服務(wù)器的遷移54-55
• 第五章 嵌入式硬件環(huán)境的實(shí)現(xiàn)與系統(tǒng)測試55-69
• 5.1 開發(fā)平臺選擇55-56
• 5.2 嵌入式環(huán)境搭建56-57
• 5.2.1 安裝SDK及配置宿主機(jī)環(huán)境56
• 5.2.2 U-boot的編譯56-57
• 5.2.3 linux內(nèi)核及文件系統(tǒng)的編譯57
• 5.3 多網(wǎng)卡的設(shè)計(jì)57-58
• 5.4 硬件的數(shù)據(jù)加密引擎使用58-60
• 5.4.1 內(nèi)核相關(guān)驅(qū)動的安裝59-60
• 5.4.2 用戶空間使用內(nèi)核驅(qū)動60
• 5.4.3 用戶程序調(diào)用60
• 5.5 多核的使用60-61
• 5.5.1 多核編程方法61
• 5.5.2 多核編程的在分布式存儲系統(tǒng)中使用的對象61
• 5.6 存儲節(jié)點(diǎn)與采集節(jié)點(diǎn)設(shè)計(jì)61-63
• 5.6.1 連接方式61-62
• 5.6.2 啟動62-63
• 5.7 系統(tǒng)測試與驗(yàn)證63-69
• 5.7.1 測試環(huán)境63-64
• 5.7.2 測試實(shí)例64-67
• 5.7.3 測試結(jié)果67-69
• 第六章 總結(jié)與展望69-71
• 6.1 主要工作總結(jié)69
• 6.2 未來研究工作69-71
• 參考文獻(xiàn)71-73
• 致謝73-74
• 作者攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文74

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 馬艷軍;呂爽;劉一謙;;集群文件系統(tǒng)lustre的介紹及應(yīng)用[J];科技信息;2012年05期

2 徐敏;;基于硬件加密卡技術(shù)的RSA加密引擎的局部封裝[J];微型機(jī)與應(yīng)用;2011年20期

  本文關(guān)鍵詞：基于嵌入式環(huán)境的分布式存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

，

本文編號：366121