本文選題：元數(shù)據(jù)　切入點：碎片化　出處：《電子科技大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著互聯(lián)網(wǎng)和智能設(shè)備的大力發(fā)展,數(shù)據(jù)量的增長加劇,促進了云存儲技術(shù)的蓬勃發(fā)展。云存儲技術(shù)中很重要的一部分就是數(shù)據(jù)的機密性,目前解決用戶數(shù)據(jù)機密性主流的方案是通過數(shù)據(jù)加密,但加密和解密數(shù)據(jù)帶來的性能消耗是無法避免的,特別是當(dāng)數(shù)據(jù)量較大和客戶端的處理能力不足時這樣的性能消耗是無法接受的。本文提出的基于元數(shù)據(jù)與文件數(shù)據(jù)分離的多云存儲模型是對現(xiàn)有存儲方案的一種改進和補充,區(qū)別于傳統(tǒng)的加密手段來保護用戶數(shù)據(jù)隱私,該模型既能保證數(shù)據(jù)的機密性,又能夠確保文件存取的效率。根據(jù)實際的存儲系統(tǒng)需求以及本文提出的存儲模型,本文進行了系統(tǒng)的設(shè)計與實現(xiàn)。本文以功能模塊為單元進行分析、設(shè)計和實現(xiàn),系統(tǒng)的功能模塊主要包括用戶管理、元數(shù)據(jù)管理、文件碎片化和上傳、文件下載和還原、多云分發(fā)與授權(quán)。本文的主要工作內(nèi)容如下:1.研究文件雕刻技術(shù),分析當(dāng)前碎片文件還原技術(shù),設(shè)計并實現(xiàn)了適合于本系統(tǒng)的文件碎片化策略,該策略包括文件頭部的處理和不均勻碎片化。2.根據(jù)碎片化功能的需求,設(shè)計了元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu),該結(jié)構(gòu)反應(yīng)了用戶在系統(tǒng)中已存儲文件的層次結(jié)構(gòu)和包含了原始文件與碎片之間的對應(yīng)關(guān)系。在客戶端實現(xiàn)了使用SQLite管理元數(shù)據(jù)的功能。3.在七牛、金山、百度云存儲提供的云存儲服務(wù)和自建云存儲系統(tǒng)的基礎(chǔ)上實現(xiàn)了基于多個節(jié)點的云存儲功能,為用戶提供文件存取功能。其中包括客戶端實現(xiàn)文件的上傳、下載、刪除操作和邏輯服務(wù)器端的消息回調(diào)等功能。4.針對多云存儲模型的文件上傳目的地選擇問題,實現(xiàn)了多云分發(fā)算法。該算法是在現(xiàn)有的負(fù)載均衡的算法基礎(chǔ)上改進而來,為了實現(xiàn)考慮價格和速度因素的負(fù)載均衡。5.對于一個完整的存儲系統(tǒng),還實現(xiàn)了用戶管理和數(shù)據(jù)統(tǒng)計等功能模塊。這些功能模塊主要用于進入系統(tǒng)的授權(quán)、文件傳輸和操作的權(quán)限管理等方面。6.通過文件雕刻技術(shù)測試了碎片化算法的可行性,以及采用實驗和數(shù)據(jù)統(tǒng)計的方式分析了多云分發(fā)算法的合理性。同時,測試了各個功能模塊的功能以滿足需求,并通過性能測試來分析系統(tǒng)的實際運行效果。
[Abstract]:With the rapid development of the Internet and intelligent devices, the growth of data volume has accelerated the vigorous development of cloud storage technology. The confidentiality of data is an important part of cloud storage technology. At present, the mainstream solution to the confidentiality of user data is through data encryption, but the performance consumption caused by encrypting and decrypting data is unavoidable. Especially when the amount of data is large and the processing capacity of the client is insufficient, the performance consumption is unacceptable. The multi-cloud storage model based on the separation of metadata and file data is an improvement and supplement to the existing storage scheme. Different from the traditional encryption method to protect the privacy of user data, this model can not only guarantee the confidentiality of data, but also ensure the efficiency of file access. The function module of the system includes user management, metadata management, file fragmentation and upload, file download and restore. The main work of this paper is as follows: 1. Research the file carving technology, analyze the current fragment file restoration technology, design and implement the file fragmentation strategy suitable for the system. The strategy includes file header processing and uneven fragmentation. According to the requirements of fragmentation function, the metadata data structure is designed. The structure reflects the hierarchy of stored files in the system and contains the corresponding relationship between the original files and the fragments. The function of managing metadata using SQLite is implemented on the client side. On the basis of cloud storage service provided by Baidu cloud storage and self-built cloud storage system, the cloud storage function based on multiple nodes is realized, which provides file access function for users. Delete operations and logical server-side message callbacks. 4. To solve the problem of file upload destination selection in multi-cloud storage model, a cloud distribution algorithm is implemented. This algorithm is based on the existing load balancing algorithm. In order to realize load balancing considering price and speed. For a complete storage system, user management and data statistics modules are also implemented. These functional modules are mainly used for authorization to enter the system. The feasibility of fragmentation algorithm is tested by file carving technology, and the rationality of cloud distribution algorithm is analyzed by means of experiment and data statistics. The function of each function module is tested to meet the requirement, and the actual running effect of the system is analyzed by performance test.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP333

【參考文獻】

相關(guān)期刊論文 前10條

1 瞿蘇;;基于Android的ContentProvider實現(xiàn)數(shù)據(jù)共享的研究與探討[J];安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報;2016年06期

2 王艷;陳衛(wèi)衛(wèi);;基于Nginx替代Apache在高并發(fā)WEB負(fù)載均衡系統(tǒng)中的應(yīng)用[J];電子測試;2015年06期

3 黃如花;邱春艷;;國內(nèi)外科學(xué)數(shù)據(jù)元數(shù)據(jù)研究進展[J];圖書與情報;2014年06期

4 林培杰;朱安南;程樹英;;Android數(shù)據(jù)庫SQLite性能優(yōu)化[J];計算機系統(tǒng)應(yīng)用;2014年04期

5 員建廈;;基于云存儲技術(shù)的存儲架構(gòu)模型[J];計算機與網(wǎng)絡(luò);2013年07期

6 梁知音;段鐳;韋韜;杜軍;鄭馳;;云存儲安全技術(shù)綜述[J];電子技術(shù)應(yīng)用;2013年04期

7 倪紅軍;;基于Android系統(tǒng)的數(shù)據(jù)存儲訪問機制研究[J];計算機技術(shù)與發(fā)展;2013年06期

8 俞能海;郝卓;徐甲甲;張衛(wèi)明;張馳;;云安全研究進展綜述[J];電子學(xué)報;2013年02期

9 尹京花;王華軍;;基于Android開發(fā)的數(shù)據(jù)存儲[J];數(shù)字通信;2012年06期

10 李馮筱;羅高松;;NoSQL理論體系及應(yīng)用[J];電信科學(xué);2012年12期

相關(guān)博士學(xué)位論文 前2條

1 姚荻;對象存儲安全關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

2 韋寶典;高級加密標(biāo)準(zhǔn)AES中若干問題的研究[D];西安電子科技大學(xué);2003年

相關(guān)碩士學(xué)位論文 前5條

1 王金龍;基于機器學(xué)習(xí)的數(shù)據(jù)碎片類型識別技術(shù)研究[D];杭州電子科技大學(xué);2015年

2 易理林;HDFS文件系統(tǒng)中元數(shù)據(jù)的高可用性管理方法研究[D];華南理工大學(xué);2013年

3 周培和;PDF文件格式漏洞挖掘系統(tǒng)的研究及實現(xiàn)[D];電子科技大學(xué);2012年

4 李寬;基于HDFS的分布式Namenode節(jié)點模型的研究[D];華南理工大學(xué);2011年

5 馬越;Android的架構(gòu)與應(yīng)用[D];中國地質(zhì)大學(xué)（北京）;2008年

，

本文編號：1618408