本文關鍵詞： PaaS云存儲 文件系統(tǒng) 數據塊關系 緩存策略 費用優(yōu)化　出處：《湖南大學》2013年碩士論文　論文類型：學位論文

【摘要】：隨著計算機的普及和移動互聯網大潮的到來，用戶在不同場景不同環(huán)境中都可以享受電子設備帶來的便利與無縫接入互聯網的體驗，但同時不得不面臨管理分散于各種設備中數據碎片的問題。此外，許多創(chuàng)新型應用如協(xié)同辦公也需要數據同步與共享作為基礎。目前市面上大量出現的網盤類應用也側面印證了此類需求普遍存在，無論個人還是企業(yè)都在尋求改善多設備數據管理的方式。 本文的主要工作是探索一種更徹底的數據共享模式，即利用PaaS（Platform asa Service）云存儲服務為存儲后臺構建文件系統(tǒng)。 本文首先概述PaaS類云存儲服務的基本概念、使用方式與計費模型，進而分析了常見文件系統(tǒng)數據塊操作方式對于使用費用的影響。針對云存儲的特點，確定通過優(yōu)化數據組織方式與緩存策略減少遠程訪問的基本原則，以便適應跨越公網的數據訪問延時和服務商收費問題。具體來說，選定三種指標用于描述文件系統(tǒng)中數據塊間關系，文件間關系與訪問熱度，用于確定存儲對象的內部結構，，以及基于數據塊關聯性的緩存置換策略。然后基于此核心，設計了一整套支撐文件系統(tǒng)運行的配套部件，包括增強的用戶空間文件系統(tǒng)作為用戶操作接口；圍繞內嵌數據庫的元信息管理；伴隨下載過程的垃圾清理器；和遠端服務交互前的壓縮加密預處理等。 然后，遵循設計實現了一個原型系統(tǒng)。該系統(tǒng)采用分層結構，面向接口編程，即每層真實執(zhí)行模塊都可替換。除了基于KD樹實現本文設計的數據組織和緩存策略以外，還將已有較為典型的數據塊管理策略一并實現作為對比。此外，在通過一些技巧屏蔽不同云服務商的數據一致性保證的前提下，引入數據塊級別去冗余、快照與數據恢復功能，增強系統(tǒng)性能與可用性。最后，在跨越大洲的真實測評環(huán)境中，通過模擬典型應用負載和真實使用的多種測試用例下，本系統(tǒng)在運行花費、執(zhí)行時間、垃圾清理和緩存命中率等指標中都比已有方案體現出明顯的優(yōu)化結果。
[Abstract]:With the popularity of computers and the advent of mobile Internet, users can enjoy the convenience and seamless Internet access experience brought by electronic devices in different scenarios and different environments. But at the same time it has to face the problem of managing data fragments scattered in various devices. Many innovative applications such as collaborative office also need data synchronization and sharing as the basis. Both individuals and businesses are looking for ways to improve data management for multiple devices. The main work of this paper is to explore a more thorough data sharing model. That is, using PaaS(Platform asa Service to build file system for storage background. This paper first summarizes the basic concept of PaaS cloud storage service, usage and billing model, and then analyzes the common file system data block operation mode on the cost of use, aiming at the characteristics of cloud storage. To determine the basic principles of reducing remote access by optimizing data organization and caching policies in order to adapt to the problem of data access latency and service provider charges across public networks. Three indicators are selected to describe the relationship between data blocks in the file system, the relationship between files and access heat, and to determine the internal structure of storage objects. And cache replacement strategy based on data block correlation. Based on this core, a set of supporting components are designed to support the file system, including enhanced user space file system as the user operation interface; Management of meta-information around embedded database; Garbage cleaners that accompany the download process; The compression encryption preprocessing before interacting with the remote service. Then, a prototype system is implemented in accordance with the design. The system adopts hierarchical structure and interface oriented programming. In addition to the data organization and cache strategy based on KD tree, the typical data block management strategy has been implemented as a comparison. On the premise of shielding the data consistency of different cloud service providers through some techniques, this paper introduces data block level de-redundancy, snapshot and data recovery function to enhance system performance and availability. In the real testing environment across continents, the system takes time to run and execute by simulating the typical application load and the real use of a variety of test cases. Garbage cleaning and cache hit ratio are better than existing schemes.
【學位授予單位】：湖南大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333

【共引文獻】

相關期刊論文 前10條

1 掌明;;基于改進平均跳距和位置修正DV-HOP定位算法[J];電腦開發(fā)與應用;2013年10期

2 黃上星;周凌云;;基于GAE的云計算應用開發(fā)[J];大眾科技;2013年10期

3 鄭哲;;一種物流云系統(tǒng)的架構方法[J];電腦編程技巧與維護;2013年22期

4 錢晨;張鵬飛;;中國云計算建設及技術開發(fā)方向分析[J];福建電腦;2013年12期

5 陳江濤;張金隆;張亞軍;;基于企業(yè)應用的SaaS顧客價值影響因素研究[J];中國地質大學學報(社會科學版);2013年06期

6 謝文娟;黃松;張晶晶;李丙戌;;云安全管理框架綜述[J];電腦知識與技術;2013年31期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數據挖掘中的應用[J];桂林電子科技大學學報;2014年01期

8 雷萬保;程園;崔珞琨;汪楊;;基于服務關聯模型的云服務權重計算算法[J];信息化研究;2014年01期

9 孫志卓;李元章;左偉歡;萬軍;何翔;譚毓安;;LSF:一種面向S-RAID 5的能量管理算法[J];北京理工大學學報;2014年02期

10 張正欣;;應用于公共電子醫(yī)療領域的SOA服務組件管理系統(tǒng)[J];電子設計工程;2014年02期

相關會議論文 前4條

1 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標優(yōu)化的云計算虛擬集群動態(tài)調整方法[A];山東計算機學會2013學術年會論文集[C];2013年

2 孫英華;郭振波;吳哲輝;杜樂樂;;基于混合云市場的計算資源交易模型的研究[A];山東計算機學會2013學術年會論文集[C];2013年

3 潘送軍;周沿東;;淺談開發(fā)測試資源池的建設及應用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

4 周宇光;陳振義;盛中華;;探索云計算技術在企業(yè)信息化建設中的應用[A];第十六屆中國科協(xié)年會——分7綠色設計與制造信息技術創(chuàng)新論壇論文集[C];2014年

相關博士學位論文 前10條

1 李煜;基于雙邊市場理論的軟件平臺運營機制研究[D];北京郵電大學;2013年

2 張帆;認知可重構的高效能Web服務體系結構研究[D];解放軍信息工程大學;2013年

3 董保根;機載LiDAR點云與遙感影像融合的地物分類技術研究[D];解放軍信息工程大學;2013年

4 王金寶;云計算系統(tǒng)中索引與查詢處理技術研究[D];哈爾濱工業(yè)大學;2013年

5 李韌;基于Hadoop的大規(guī)模語義Web本體數據查詢與推理關鍵技術研究[D];重慶大學;2013年

6 卿蘇德;網絡虛擬化映射算法研究[D];北京郵電大學;2013年

7 史佩昌;云服務的高效傳遞技術研究[D];國防科學技術大學;2012年

8 馮德瀛;圖像檢索技術中相似性搜索方法研究[D];上海交通大學;2013年

9 楊建思;機載/地面海量點云數據組織與集成可視化方法研究[D];武漢大學;2011年

10 劉雪峰;隱私安全協(xié)議研究[D];西安電子科技大學;2013年

相關碩士學位論文 前10條

1 陳席林;分布式持久化緩存系統(tǒng)的研究與實現[D];重慶大學;2013年

2 馮黎明;云環(huán)境下無線傳感器網絡服務研究[D];南京師范大學;2013年

3 王波;影像特征線輔助下的三維激光點云建筑物建模[D];南京師范大學;2013年

4 潘吳斌;基于云計算的并行K-means氣象數據挖掘研究與應用[D];南京信息工程大學;2013年

5 時孫媛;氣象數據網格中的資源組織和發(fā)現機制研究[D];南京信息工程大學;2013年

6 曹夕;云計算中安全服務機制的研究[D];福建師范大學;2013年

7 賈嬌;機載LiDAR點云與航空影像自動配準的精度分析[D];蘭州交通大學;2013年

8 閘旋;CPU+GPU單機異構環(huán)境下遙感數據并行處理技術研究[D];解放軍信息工程大學;2013年

9 張思純;協(xié)同式X86系統(tǒng)仿真中地址映射與指令譯碼技術研究[D];解放軍信息工程大學;2013年

10 焦術進;云計算中虛擬機動態(tài)遷移技術的研究[D];太原理工大學;2013年

本文編號：1487307