發(fā)布時間：2017-04-26 07:11

  本文關(guān)鍵詞：云存儲中獨立元數(shù)據(jù)的設(shè)計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：在當今時代,科技不斷進步,互聯(lián)網(wǎng)領(lǐng)域的研究與創(chuàng)新不斷改變著人們的生活。數(shù)據(jù)也在呈爆炸式增長,互聯(lián)網(wǎng)處理數(shù)據(jù)的模式給航空航天領(lǐng)域數(shù)據(jù)的處理帶來了啟發(fā)和推動。傳統(tǒng)上來講數(shù)據(jù)靠單個計算機存儲和分析,其早已不能滿足航空航天領(lǐng)域產(chǎn)生的數(shù)據(jù)存儲、分析的多種業(yè)務(wù)需求了�，F(xiàn)在云存儲技術(shù)的迅猛發(fā)展,為這個問題的解決帶來了新的生機。云存儲可以有許多實現(xiàn)和運作方式,每一種都力求完美達到需求的目標。而對如今的航空航天領(lǐng)域,數(shù)據(jù)存儲的安全可靠性和數(shù)據(jù)讀取分析的簡便快捷性在不斷地提高。大規(guī)模數(shù)據(jù)不斷產(chǎn)生不但給數(shù)據(jù)存儲系統(tǒng)提出了一道難題,同時對數(shù)據(jù)的訪問和顯示也是一個巨大的挑戰(zhàn)。本文研究涉及的云存儲,元數(shù)據(jù)的管理是它的核心,也是其系統(tǒng)構(gòu)建和保障的重點。本文主要研究在分布式文件系統(tǒng)HDFS的基礎(chǔ)上構(gòu)建獨立元數(shù)據(jù),并依托該元數(shù)據(jù)架構(gòu)進行權(quán)限控制來解決航天航空領(lǐng)域中的大規(guī)模數(shù)據(jù)文件的存儲與讀取問題。針對航空航天領(lǐng)域試驗數(shù)據(jù)的特點和整體需求,采用HDFS對數(shù)據(jù)進行分布式存儲,并深入研究了航天領(lǐng)域的權(quán)限關(guān)系模型和分布式緩存技術(shù)。本文首先對航天航空領(lǐng)域中可能產(chǎn)生的數(shù)據(jù)類型進行劃分,并對具體的存儲和讀取方法進行了分析研究,設(shè)定了符合系統(tǒng)需求的分類方式。針對航天航空領(lǐng)域中文件類型多及數(shù)據(jù)量大的問題,本文采用將數(shù)據(jù)文件中的元數(shù)據(jù)信息抽取為樹型結(jié)構(gòu)進行存儲并建立索引的方式來分別處理與搜索不同類型的數(shù)據(jù)文件。設(shè)計了統(tǒng)一的存儲、讀取訪問接口,以提高用戶上傳存儲大數(shù)據(jù)文件的效率,并依據(jù)用戶的組和系統(tǒng)特定需求設(shè)定相應(yīng)的權(quán)限處理,使不同的組和人員擁有對項目的不同操作權(quán)限,并將資源權(quán)限的粒度控制到文件級別,使存儲的數(shù)據(jù)文件更加安全。同時,本文在系統(tǒng)服務(wù)層和數(shù)據(jù)層中間增加元數(shù)據(jù)緩存層和數(shù)據(jù)文件的分布式緩存層,以降低讀取文件數(shù)據(jù)的延遲,提升系統(tǒng)響應(yīng)速度,從而保證用戶讀取數(shù)據(jù)的實時及流暢,提高用戶體驗度。本文最后設(shè)計了多個實驗用例進行測試驗證。分別對獨立元數(shù)據(jù),用戶權(quán)限和大量數(shù)據(jù)文件的快速存儲與訪問進行了多條件測試,并將有無分布式緩存對系統(tǒng)產(chǎn)生的影響進行了對比,結(jié)果達到了預(yù)期。
【關(guān)鍵詞】：存儲 元數(shù)據(jù) HDFS 分布式緩存 權(quán)限
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333;TP311.13
【目錄】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 緒論12-18
• 1.1 研究背景12-13
• 1.2 國內(nèi)外研究現(xiàn)狀13-15
• 1.3 論文主要工作15
• 1.4 論文結(jié)構(gòu)15-18
• 第二章 相關(guān)技術(shù)概述18-28
• 2.1 云存儲相關(guān)技術(shù)18-23
• 2.1.1 HDFS18-21
• 2.1.2 元數(shù)據(jù)21-23
• 2.2 My SQL23-26
• 2.2.1 My SQL分表24
• 2.2.2 My SQL-Proxy24-26
• 2.3 基于資源角色的訪問控制26-27
• 2.4 本章小結(jié)27-28
• 第三章 需求和總體設(shè)計28-34
• 3.1 需求分析與設(shè)計28-32
• 3.1.1 基本需求28-29
• 3.1.2 擴展要求29-30
• 3.1.3 總體框架設(shè)計30-32
• 3.2 平臺功能模塊劃分32-33
• 3.3 本章小結(jié)33-34
• 第四章 元數(shù)據(jù)系統(tǒng)的設(shè)計與實現(xiàn)34-54
• 4.1 類型劃分的設(shè)計與實現(xiàn)34-35
• 4.1.1 目錄級別類型劃分34-35
• 4.1.2 文件級別類型劃分35
• 4.2 獨立元數(shù)據(jù)的設(shè)計與實現(xiàn)35-40
• 4.2.1 元數(shù)據(jù)抽象映射35-38
• 4.2.2 數(shù)據(jù)的獲取38-40
• 4.2.3 文件的搜索40
• 4.3 基于資源角色訪問控制的設(shè)計與實現(xiàn)40-46
• 4.3.1 基本控制設(shè)計40-42
• 4.3.2 R-RBAC模型設(shè)計42-43
• 4.3.3 訪問控制的實現(xiàn)43-46
• 4.4 分布式緩存的設(shè)計與實現(xiàn)46-52
• 4.4.1 分布式緩存的應(yīng)用場景47
• 4.4.2 概述及功能47-48
• 4.4.3 架構(gòu)及緩存信息設(shè)計48-49
• 4.4.4 緩存換出策略LRU和Round Robin49-52
• 4.5 本章小結(jié)52-54
• 第五章 測試與驗證54-66
• 5.1 實驗環(huán)境介紹54-55
• 5.1.1 軟件54
• 5.1.2 硬件54
• 5.1.3 安裝、測試和控制54-55
• 5.2 測試完成準則55
• 5.3 功能測試55-63
• 5.3.1 元數(shù)據(jù)測試55-58
• 5.3.2 訪問控制測試58-62
• 5.3.3 分布式緩存對比測試62-63
• 5.4 性能測試63-65
• 5.4.1 上傳 1GB數(shù)據(jù)63-64
• 5.4.2 大文件分析64-65
• 5.5 測試結(jié)果總結(jié)65-66
• 第六章 總結(jié)與進一步工作66-68
• 6.1 本文工作總結(jié)66
• 6.2 進一步研究工作66-68
• 參考文獻68-70
• 致謝70-72
• 作者簡介72-73

【參考文獻】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 陳爭航;分布式數(shù)據(jù)庫系統(tǒng)研究與應(yīng)用[D];西南交通大學(xué);2002年

  本文關(guān)鍵詞：云存儲中獨立元數(shù)據(jù)的設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：327972