本文選題：移動(dòng)終端　切入點(diǎn)：云存儲(chǔ)　出處：《南京郵電大學(xué)》2017年碩士論文

【摘要】：隨著移動(dòng)終端的發(fā)展進(jìn)步,終端數(shù)據(jù)飛速增長(zhǎng),各類照片、視頻、音樂(lè)等文件將終端填滿,所以終端用戶對(duì)于機(jī)器存儲(chǔ)性能的需求越來(lái)越大。因?yàn)橛脩魯?shù)據(jù)的本地存儲(chǔ)難以滿足廣大用戶的要求,所以提出了本文研究方向,即將用戶的本地?cái)?shù)據(jù)放到云端存儲(chǔ)。在進(jìn)行了全面的學(xué)習(xí)后發(fā)現(xiàn),在面向終端的云存儲(chǔ)中有著NameNode內(nèi)存消耗嚴(yán)重和緩存的選擇策略不理想的問(wèn)題,這些問(wèn)題影響著到用戶的體驗(yàn)。為了解決存受限問(wèn)題,使用云存儲(chǔ)技術(shù)作為終端用戶數(shù)據(jù)的一個(gè)存儲(chǔ)媒介,運(yùn)用Eclipse、JDK等開發(fā)工具,調(diào)用HDFS API,使得終端上的數(shù)據(jù)能夠直接上傳到HDFS集群中進(jìn)行存儲(chǔ),減輕終端的負(fù)擔(dān),并且能夠隨時(shí)下載到本地使用,簡(jiǎn)單的達(dá)到終端和HDFS集群之間的交互操作。HDFS集群的存儲(chǔ)對(duì)于移動(dòng)數(shù)據(jù)內(nèi)容支持并不很理想,所以本文在分析了現(xiàn)有的幾種小文件優(yōu)化機(jī)制的基礎(chǔ)上提出一種小文件處理方案,在移動(dòng)終端將數(shù)據(jù)存放在HDFS的過(guò)程中添加一個(gè)處理模塊,來(lái)對(duì)移動(dòng)終端上傳的文件進(jìn)行判斷處理,將滿足小文件判斷條件的文件進(jìn)行合并操作,優(yōu)化存儲(chǔ)結(jié)構(gòu)。在進(jìn)行對(duì)比實(shí)驗(yàn)后發(fā)現(xiàn)改進(jìn)方案能夠顯著減少存儲(chǔ)大量小文件時(shí)NameNode內(nèi)存的消耗。針對(duì)HDFS集群中的的緩存選擇策略不適合移動(dòng)終端數(shù)據(jù)存儲(chǔ)問(wèn)題。本文在分析了終端數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)上,發(fā)現(xiàn)使用緩存能夠顯著的降低系統(tǒng)本身的讀寫操作,降低操作時(shí)間。本文在分析了各種緩存機(jī)制后,提出一種緩存選擇算法,將此算法應(yīng)用于HDFS系統(tǒng)中。最后得出改進(jìn)策略對(duì)于文件的讀取效率提高顯著,達(dá)到了優(yōu)化的目的。
[Abstract]:With the development and progress of mobile terminal, the terminal data grows rapidly, and all kinds of photos, video, music and other files will fill the terminal, so the demand of the end user for the storage performance of the machine is increasing.Because the local storage of user data is difficult to meet the requirements of the majority of users, the research direction of this paper is put forward, that is, the local data of the user is stored in the cloud.After a comprehensive study it is found that there are serious problems of NameNode memory consumption and poor cache selection strategy in the terminal oriented cloud storage which affect the user's experience.In order to solve the problem of storage limitation, cloud storage technology is used as a storage medium for end-user data, and HDFS API is called by using Eclipse JDK and other development tools, so that the data on the terminal can be directly uploaded to the HDFS cluster for storage.Reduce the burden on the terminal, and can be downloaded to local use at any time, simply to achieve the terminal and HDFS cluster of interactive storage. HDFS cluster for mobile data content support is not ideal,Therefore, based on the analysis of several existing optimization mechanisms of small files, this paper proposes a small file processing scheme, which adds a processing module in the process of the mobile terminal storing data in HDFS.To judge and process the files uploaded by the mobile terminal, the files that meet the judgment condition of small files are merged and the storage structure is optimized.The comparison experiments show that the improved scheme can significantly reduce the NameNode memory consumption while storing a large number of small files.The cache selection strategy in HDFS cluster is not suitable for mobile terminal data storage.Based on the analysis of the terminal data structure, it is found that using cache can significantly reduce the read and write operations and the operation time of the system itself.After analyzing various cache mechanisms, this paper proposes a cache selection algorithm, which is applied to HDFS system.Finally, it is concluded that the improved strategy improves the efficiency of file reading significantly and achieves the purpose of optimization.
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡銳;胡伏原;陳麗春;;基于Hadoop的高校公共數(shù)據(jù)平臺(tái)的構(gòu)建[J];蘇州科技學(xué)院學(xué)報(bào)(自然科學(xué)版);2015年03期

2 徐歡歡;朱信忠;趙建民;徐慧英;;基于Hadoop的優(yōu)化海量錄音小文件存取性能的方法[J];微型電腦應(yīng)用;2015年02期

3 宋娟;;基于虛擬化技術(shù)的智能手機(jī)移動(dòng)辦公的應(yīng)用[J];科技創(chuàng)新與應(yīng)用;2014年31期

4 謝杰濤;吳敏;吳娟;史睿冰;;Web系統(tǒng)高性能本地?cái)?shù)據(jù)緩存實(shí)現(xiàn)機(jī)制[J];計(jì)算機(jī)應(yīng)用研究;2014年07期

5 張國(guó)強(qiáng);李楊;林濤;唐暉;;信息中心網(wǎng)絡(luò)中的內(nèi)置緩存技術(shù)研究[J];軟件學(xué)報(bào);2014年01期

6 趙丞;;非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的技術(shù)研究與實(shí)現(xiàn)[J];數(shù)字技術(shù)與應(yīng)用;2013年04期

7 陳芳園;張冬松;劉聰;王志英;;基于取指執(zhí)行時(shí)序范疇的多核共享Cache干擾分析[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

8 黎平國(guó);;基于HDFS的數(shù)字圖書館云存儲(chǔ)系統(tǒng)研究[J];情報(bào)探索;2012年09期

9 ;機(jī)遇與挑戰(zhàn)并存 漫談國(guó)內(nèi)云存儲(chǔ)[J];電腦迷;2012年11期

10 趙曉永;楊揚(yáng);孫莉莉;陳宇;;基于Hadoop的海量MP3文件存儲(chǔ)架構(gòu)[J];計(jì)算機(jī)應(yīng)用;2012年06期

相關(guān)碩士學(xué)位論文 前10條

1 劉柳;面向個(gè)人云存儲(chǔ)的緩存機(jī)制研究[D];浙江大學(xué);2015年

2 眭椰敏;阿里云分布式文件系統(tǒng)客戶端的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

3 張晗嬌;基于Android的分布式云存儲(chǔ)系統(tǒng)[D];山東大學(xué);2014年

4 董冬波;基于移動(dòng)終端的數(shù)字圖書館個(gè)性化信息推送服務(wù)研究[D];華中師范大學(xué);2014年

5 楊倩茹;Hadoop平臺(tái)中作業(yè)調(diào)度算法分析與改進(jìn)研究[D];海南大學(xué);2013年

6 張興;基于Hadoop的云存儲(chǔ)平臺(tái)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

7 冷冰;基于Render樹緩存的移動(dòng)終端網(wǎng)頁(yè)加速技術(shù)的研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

8 李寬;基于HDFS的分布式Namenode節(jié)點(diǎn)模型的研究[D];華南理工大學(xué);2011年

9 張旺俊;Web緩存替換策略與預(yù)取技術(shù)的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

10 孫鵬;基于虛擬化技術(shù)的智能手機(jī)移動(dòng)辦公的研究與應(yīng)用[D];復(fù)旦大學(xué);2011年

，

本文編號(hào)：1708826