本文選題：航空物流　切入點：海量小文件　出處：《中國民航大學》2017年碩士論文

【摘要】：航空物流信息系統(tǒng)是民航重要的系統(tǒng),承載著頻繁的數(shù)據(jù)交換、數(shù)據(jù)存儲等任務,其數(shù)據(jù)大多以海量小文件形式存在。海量小文件由于種類繁多、數(shù)據(jù)規(guī)模較大,其存儲問題已經(jīng)成為工業(yè)界的難題。目前,大多企業(yè)使用分布式文件系統(tǒng)HDFS存儲數(shù)據(jù),然而HDFS是專門解決大文件存儲問題設計的,對海量小文件的存儲,面臨著存儲效率不高、內存占用量大、單點故障、磁盤空間利用率低等諸多問題。因此,研究航空物流海量小文件的分布式存儲方法尤為重要。本文首先根據(jù)HDFS在存儲海量小文件存在的諸多問題,分析了航空物流關鍵數(shù)據(jù)及其特征,提出了航空物流海量小文件優(yōu)化存儲方法,包括小文件的合并過程、預取機制、永久化方法,考慮文件之間的相關性,提高文件的存儲和訪問效率,考慮文件的時效性,提高磁盤空間的利用率。其次,通過組合優(yōu)化存儲方法,進而提出一種基于NoSQL的海量航空物流數(shù)據(jù)分布式多級存儲架構,使用NoSQL內存式數(shù)據(jù)庫Redis作緩存級,HDFS作數(shù)據(jù)的活躍級和永久級,數(shù)據(jù)的寫入、數(shù)據(jù)的訪問和數(shù)據(jù)永久化操作相互獨立,降低了模塊之間的耦合性;使Redis部署到HDFS的DataNode節(jié)點構成集群,減少HDFS中NameNode的單點內存壓力,提升并發(fā)性能和索引檢索速度,保持了元數(shù)據(jù)服務的可擴展性。最后,通過海量航空物流數(shù)據(jù)分布式存儲實驗與分析,該研究方法對海量小文件的存取效率有明顯地提升,在順序訪問情況下,訪問時間在160毫秒左右,同時減少了磁盤的空間占用,可節(jié)省79%左右的磁盤空間。
[Abstract]:Aviation logistics information system is an important system of civil aviation, carrying frequent data exchange, data storage and other tasks, its data mostly exist in the form of a large number of small files. At present, most enterprises use distributed file system (HDFS) to store data. However, HDFS is specially designed to solve the problem of large file storage. Therefore, it is very important to study the distributed storage method of large amount of small files in aeronautical logistics. Firstly, according to the problems existing in storing large amount of small files in HDFS, there are many problems in the storage of large numbers of small files in this paper, such as large amount of memory, single point failure, low utilization of disk space and so on. This paper analyzes the key data and its characteristics of aviation logistics, and puts forward the optimized storage method of large amount of small files in aviation logistics, including the merging process of small files, prefetching mechanism, permanence method and considering the correlation between files. Improve the efficiency of file storage and access, consider the timeliness of files, improve the utilization of disk space. Secondly, by combining and optimizing storage method, we propose a distributed multi-level storage architecture of massive aviation logistics data based on NoSQL. The NoSQL memory database Redis is used as the buffer level and Redis as the active and permanent level of data. The data writing, data accessing and data permanence operation are independent of each other, which reduces the coupling between modules. Redis is deployed to the DataNode nodes of HDFS to form a cluster, which reduces the single point memory pressure of NameNode in HDFS, improves concurrent performance and index retrieval speed, and maintains the extensibility of metadata services. Through the distributed storage experiment and analysis of massive aviation logistics data, this research method can obviously improve the access efficiency of large amount of small files. In the case of sequential access, the access time is about 160 milliseconds, and the space occupied by the disk is reduced at the same time. Can save about 79% of disk space.
【學位授予單位】：中國民航大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP333;TP311.13

【參考文獻】

相關期刊論文 前10條

1 張守利;楊冬菊;韓燕波;;一種面向海量小文件的文件接收和存儲優(yōu)化方案[J];小型微型計算機系統(tǒng);2015年08期

2 張璐;楊東芳;;數(shù)據(jù)庫中小文件的實時存儲與優(yōu)化[J];河南科技;2015年05期

3 李鐵;燕彩蓉;黃永鋒;宋亞龍;;面向Hadoop分布式文件系統(tǒng)的小文件存取優(yōu)化方法[J];計算機應用;2014年11期

4 張海;馬建紅;;基于HDFS的小文件存儲與讀取優(yōu)化策略[J];計算機系統(tǒng)應用;2014年05期

5 羅軍;陳席林;李文生;;高效Key-Value持久化緩存系統(tǒng)的實現(xiàn)[J];計算機工程;2014年03期

6 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲訪問策略的研究[J];計算機研究與發(fā)展;2012年07期

7 董繼光;陳衛(wèi)衛(wèi);田浪軍;吳海佳;;大規(guī)模云存儲系統(tǒng)副本布局研究[J];計算機應用;2012年03期

8 黃賢立;;NoSQL非關系型數(shù)據(jù)庫的發(fā)展及應用初探[J];福建電腦;2010年07期

9 李思莉;李娟;;XML文檔到關系數(shù)據(jù)庫的映射策略[J];計算機工程;2010年05期

10 朱珊娜;李書琴;安福定;;XML文檔到關系數(shù)據(jù)庫的轉換研究[J];計算機工程與設計;2008年21期

相關碩士學位論文 前7條

1 焦冰露;面向航空物流海量數(shù)據(jù)的訂閱分發(fā)算法研究[D];中國民航大學;2016年

2 左大鵬;Hadoop小文件存儲管理的研究與實現(xiàn)[D];北京交通大學;2015年

3 李慧瑩;基于HDFS的小文件存儲方法的研究與優(yōu)化[D];西安電子科技大學;2014年

4 陳光景;Hadoop小文件處理技術的研究和實現(xiàn)[D];南京郵電大學;2013年

5 蔡睿誠;基于HDFS的小文件處理與相關MapReduce計算模型性能的優(yōu)化與改進[D];吉林大學;2012年

6 李寬;基于HDFS的分布式Namenode節(jié)點模型的研究[D];華南理工大學;2011年

7 泰冬雪;基于Hadoop的海量小文件處理方法的研究[D];遼寧大學;2011年

，

本文編號：1678351