海量存儲系統中元數據管理機制的研究
發(fā)布時間:2022-01-16 23:35
海量存儲系統中需要保存Terabyte、Petabyte級別甚至更大規(guī)模的數據。數據的元數據如文件的名字、屬性、保存地址和訪問授權等信息一般由元數據服務器進行管理。在訪問海量存儲系統的數據前,需要首先查找和獲得元數據。因此元數據管理機制將直接關系到海量存儲系統的I/O性能,F有的海量存儲系統一般采用目錄層次結構和哈希算法管理元數據,存在修改元數據和查詢目錄等操作所需時間和空間開銷大等問題,也沒有針對海量存儲系統中元數據訪問特性的優(yōu)化機制,嚴重制約了海量存儲系統的I/O性能。本文在分析海量存儲系統中元數據管理特性的基礎上,引入DBMS技術以及數據分級的方法,提高管理元數據的效率。論文的具體工作包括:首先引入二維表保存系統中的元數據信息,提出了基于DBMS的新型元數據管理策略,給出了各類元數據操作的流程;分析了在海量存儲系統中用于管理元數據信息時所需的時間和空間開銷以及適應不同運行環(huán)境的能力;實現了基于DBMS元數據管理策略的原型系統,采集實際文件系統中的元數據,構建多種測試環(huán)境進行測試與分析,結果表明基于DBMS的元數據管理策略能有效地減少管理元數據所需的時間和空間開銷,提高管理元數據的...
【文章來源】:江蘇大學江蘇省
【文章頁數】:68 頁
【學位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
第一章 緒論
1.1 研究背景及意義
1.2 元數據管理概述
1.2.1 元數據
1.2.2 海量存儲系統的發(fā)展
1.2.3 元數據管理的發(fā)展歷程
1.2.4 元數據管理的研究現狀
1.3 研究目標
1.4 本文主要工作及組織結構
第二章 海量存儲系統元數據管理的特點及分析
2.1 海量存儲系統元數據管理特性分析
2.2 基于DBMS的海量存儲系統元數據管理結構
2.3 本章小結
第三章 基于DBMS的元數據管理策略
3.1 現有元數據管理策略的分析
3.2 基于二維表的元數據結構
3.3 元數據操作算法設計
3.3.1 目錄操作
3.3.2 文件操作
3.3.3 文件屬性的操作
3.3.4 訪問授權的操作
3.4 性能分析
3.4.1 管理元數據所需的時間與空間開銷
3.4.2 元數據管理的靈活性
3.5 性能測試
3.5.1 原型系統的實現
3.5.2 測試環(huán)境的構建
3.5.3 測試數據集
3.5.4 測試與分析
3.6 本章小結
第四章 元數據的分級索引算法
4.1 現有元數據索引算法的分析
4.2 基于數據生命周期的元數據分級算法
4.3 活躍元數據分區(qū)索引算法
4.3.1 分區(qū)機制
4.3.2 子索引定位機制
4.4 非活躍元數據索引算法
4.5 性能分析
4.5.1 查詢元數據所需的時間與空間開銷
4.5.2 更新索引所需的時間與空間開銷
4.6 性能測試
4.6.1 原型系統的實現
4.6.2 測試環(huán)境的構建
4.6.3 測試數據集
4.6.4 測試與分析
4.7 本章小結
第五章 總結與展望
5.1 工作總結
5.2 下一步工作展望
參考文獻
致謝
發(fā)表論文
【參考文獻】:
期刊論文
[1]海量存儲系統中高可擴展性元數據服務器集群設計[J]. 吳偉,謝長生,韓德志,黃建忠. 計算機科學. 2007(07)
[2]基于共享存儲池的元數據服務器機群的設計研究[J]. 蘇勇,周敬利,余勝生,姜明華,劉鋼. 小型微型計算機系統. 2007(04)
[3]基于目錄路徑的元數據管理方法[J]. 劉仲,周興銘. 軟件學報. 2007(02)
本文編號:3593624
【文章來源】:江蘇大學江蘇省
【文章頁數】:68 頁
【學位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
第一章 緒論
1.1 研究背景及意義
1.2 元數據管理概述
1.2.1 元數據
1.2.2 海量存儲系統的發(fā)展
1.2.3 元數據管理的發(fā)展歷程
1.2.4 元數據管理的研究現狀
1.3 研究目標
1.4 本文主要工作及組織結構
第二章 海量存儲系統元數據管理的特點及分析
2.1 海量存儲系統元數據管理特性分析
2.2 基于DBMS的海量存儲系統元數據管理結構
2.3 本章小結
第三章 基于DBMS的元數據管理策略
3.1 現有元數據管理策略的分析
3.2 基于二維表的元數據結構
3.3 元數據操作算法設計
3.3.1 目錄操作
3.3.2 文件操作
3.3.3 文件屬性的操作
3.3.4 訪問授權的操作
3.4 性能分析
3.4.1 管理元數據所需的時間與空間開銷
3.4.2 元數據管理的靈活性
3.5 性能測試
3.5.1 原型系統的實現
3.5.2 測試環(huán)境的構建
3.5.3 測試數據集
3.5.4 測試與分析
3.6 本章小結
第四章 元數據的分級索引算法
4.1 現有元數據索引算法的分析
4.2 基于數據生命周期的元數據分級算法
4.3 活躍元數據分區(qū)索引算法
4.3.1 分區(qū)機制
4.3.2 子索引定位機制
4.4 非活躍元數據索引算法
4.5 性能分析
4.5.1 查詢元數據所需的時間與空間開銷
4.5.2 更新索引所需的時間與空間開銷
4.6 性能測試
4.6.1 原型系統的實現
4.6.2 測試環(huán)境的構建
4.6.3 測試數據集
4.6.4 測試與分析
4.7 本章小結
第五章 總結與展望
5.1 工作總結
5.2 下一步工作展望
參考文獻
致謝
發(fā)表論文
【參考文獻】:
期刊論文
[1]海量存儲系統中高可擴展性元數據服務器集群設計[J]. 吳偉,謝長生,韓德志,黃建忠. 計算機科學. 2007(07)
[2]基于共享存儲池的元數據服務器機群的設計研究[J]. 蘇勇,周敬利,余勝生,姜明華,劉鋼. 小型微型計算機系統. 2007(04)
[3]基于目錄路徑的元數據管理方法[J]. 劉仲,周興銘. 軟件學報. 2007(02)
本文編號:3593624
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3593624.html