本文選題：移動終端　切入點：云存儲　出處：《南京郵電大學(xué)》2017年碩士論文

【摘要】：隨著移動終端的發(fā)展進步,終端數(shù)據(jù)飛速增長,各類照片、視頻、音樂等文件將終端填滿,所以終端用戶對于機器存儲性能的需求越來越大。因為用戶數(shù)據(jù)的本地存儲難以滿足廣大用戶的要求,所以提出了本文研究方向,即將用戶的本地數(shù)據(jù)放到云端存儲。在進行了全面的學(xué)習(xí)后發(fā)現(xiàn),在面向終端的云存儲中有著NameNode內(nèi)存消耗嚴重和緩存的選擇策略不理想的問題,這些問題影響著到用戶的體驗。為了解決存受限問題,使用云存儲技術(shù)作為終端用戶數(shù)據(jù)的一個存儲媒介,運用Eclipse、JDK等開發(fā)工具,調(diào)用HDFS API,使得終端上的數(shù)據(jù)能夠直接上傳到HDFS集群中進行存儲,減輕終端的負擔(dān),并且能夠隨時下載到本地使用,簡單的達到終端和HDFS集群之間的交互操作。HDFS集群的存儲對于移動數(shù)據(jù)內(nèi)容支持并不很理想,所以本文在分析了現(xiàn)有的幾種小文件優(yōu)化機制的基礎(chǔ)上提出一種小文件處理方案,在移動終端將數(shù)據(jù)存放在HDFS的過程中添加一個處理模塊,來對移動終端上傳的文件進行判斷處理,將滿足小文件判斷條件的文件進行合并操作,優(yōu)化存儲結(jié)構(gòu)。在進行對比實驗后發(fā)現(xiàn)改進方案能夠顯著減少存儲大量小文件時NameNode內(nèi)存的消耗。針對HDFS集群中的的緩存選擇策略不適合移動終端數(shù)據(jù)存儲問題。本文在分析了終端數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)上,發(fā)現(xiàn)使用緩存能夠顯著的降低系統(tǒng)本身的讀寫操作,降低操作時間。本文在分析了各種緩存機制后,提出一種緩存選擇算法,將此算法應(yīng)用于HDFS系統(tǒng)中。最后得出改進策略對于文件的讀取效率提高顯著,達到了優(yōu)化的目的。
[Abstract]:With the development and progress of mobile terminal, the terminal data grows rapidly, and all kinds of photos, video, music and other files will fill the terminal, so the demand of the end user for the storage performance of the machine is increasing.Because the local storage of user data is difficult to meet the requirements of the majority of users, the research direction of this paper is put forward, that is, the local data of the user is stored in the cloud.After a comprehensive study it is found that there are serious problems of NameNode memory consumption and poor cache selection strategy in the terminal oriented cloud storage which affect the user's experience.In order to solve the problem of storage limitation, cloud storage technology is used as a storage medium for end-user data, and HDFS API is called by using Eclipse JDK and other development tools, so that the data on the terminal can be directly uploaded to the HDFS cluster for storage.Reduce the burden on the terminal, and can be downloaded to local use at any time, simply to achieve the terminal and HDFS cluster of interactive storage. HDFS cluster for mobile data content support is not ideal,Therefore, based on the analysis of several existing optimization mechanisms of small files, this paper proposes a small file processing scheme, which adds a processing module in the process of the mobile terminal storing data in HDFS.To judge and process the files uploaded by the mobile terminal, the files that meet the judgment condition of small files are merged and the storage structure is optimized.The comparison experiments show that the improved scheme can significantly reduce the NameNode memory consumption while storing a large number of small files.The cache selection strategy in HDFS cluster is not suitable for mobile terminal data storage.Based on the analysis of the terminal data structure, it is found that using cache can significantly reduce the read and write operations and the operation time of the system itself.After analyzing various cache mechanisms, this paper proposes a cache selection algorithm, which is applied to HDFS system.Finally, it is concluded that the improved strategy improves the efficiency of file reading significantly and achieves the purpose of optimization.
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP333

【參考文獻】

相關(guān)期刊論文 前10條

1 胡銳;胡伏原;陳麗春;;基于Hadoop的高校公共數(shù)據(jù)平臺的構(gòu)建[J];蘇州科技學(xué)院學(xué)報(自然科學(xué)版);2015年03期

2 徐歡歡;朱信忠;趙建民;徐慧英;;基于Hadoop的優(yōu)化海量錄音小文件存取性能的方法[J];微型電腦應(yīng)用;2015年02期

3 宋娟;;基于虛擬化技術(shù)的智能手機移動辦公的應(yīng)用[J];科技創(chuàng)新與應(yīng)用;2014年31期

4 謝杰濤;吳敏;吳娟;史睿冰;;Web系統(tǒng)高性能本地數(shù)據(jù)緩存實現(xiàn)機制[J];計算機應(yīng)用研究;2014年07期

5 張國強;李楊;林濤;唐暉;;信息中心網(wǎng)絡(luò)中的內(nèi)置緩存技術(shù)研究[J];軟件學(xué)報;2014年01期

6 趙丞;;非結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)研究與實現(xiàn)[J];數(shù)字技術(shù)與應(yīng)用;2013年04期

7 陳芳園;張冬松;劉聰;王志英;;基于取指執(zhí)行時序范疇的多核共享Cache干擾分析[J];計算機研究與發(fā)展;2013年01期

8 黎平國;;基于HDFS的數(shù)字圖書館云存儲系統(tǒng)研究[J];情報探索;2012年09期

9 ;機遇與挑戰(zhàn)并存 漫談國內(nèi)云存儲[J];電腦迷;2012年11期

10 趙曉永;楊揚;孫莉莉;陳宇;;基于Hadoop的海量MP3文件存儲架構(gòu)[J];計算機應(yīng)用;2012年06期

相關(guān)碩士學(xué)位論文 前10條

1 劉柳;面向個人云存儲的緩存機制研究[D];浙江大學(xué);2015年

2 眭椰敏;阿里云分布式文件系統(tǒng)客戶端的設(shè)計與實現(xiàn)[D];南京大學(xué);2014年

3 張晗嬌;基于Android的分布式云存儲系統(tǒng)[D];山東大學(xué);2014年

4 董冬波;基于移動終端的數(shù)字圖書館個性化信息推送服務(wù)研究[D];華中師范大學(xué);2014年

5 楊倩茹;Hadoop平臺中作業(yè)調(diào)度算法分析與改進研究[D];海南大學(xué);2013年

6 張興;基于Hadoop的云存儲平臺的研究與實現(xiàn)[D];電子科技大學(xué);2013年

7 冷冰;基于Render樹緩存的移動終端網(wǎng)頁加速技術(shù)的研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2011年

8 李寬;基于HDFS的分布式Namenode節(jié)點模型的研究[D];華南理工大學(xué);2011年

9 張旺俊;Web緩存替換策略與預(yù)取技術(shù)的研究[D];中國科學(xué)技術(shù)大學(xué);2011年

10 孫鵬;基于虛擬化技術(shù)的智能手機移動辦公的研究與應(yīng)用[D];復(fù)旦大學(xué);2011年

，

本文編號：1708826