發(fā)布時間：2018-01-15 16:32

  本文關鍵詞：基于NoSQL的海量航空物流小文件分布式多級存儲方法　出處：《計算機應用研究》2017年05期 　論文類型：期刊論文

  更多相關文章： 小文件 Redis HDFS 多級存儲 預取機制

【摘要】：為了解決航空物流領域海量小文件存儲效率和訪問效率不高的問題,提出一種基于NoSQL的海量小文件分布式多級存儲方法。充分考慮到數據的時效性、本地性、操作的并發(fā)性以及文件之間的相關性,先根據相關性將文件合并,然后采用分布式多級存儲,使用內存式Redis數據庫做緩存,HDFS做數據的持久化存儲,其過程采用預取機制。實驗結果表明,該方法有效提高了小文件的存取效率和磁盤的利用率,顯著地降低了網絡的帶寬占用和集群NameNode的內存消耗,適合解決航空領域海量小文件存儲問題。
[Abstract]:In order to solve the problem that the storage efficiency and the access efficiency of mass small files in the field of aviation logistics are not high , a distributed multi - level storage method based on NoSQL is put forward . Considering the timeliness , locality , concurrency of operation and the correlation between files , the file is merged according to the correlation , then distributed multilevel storage is adopted to cache the data by using the memory type Redis database . The experiment results show that the method effectively improves the access efficiency of the small file and the utilization rate of the disk , obviously reduces the bandwidth occupation of the network and the memory consumption of the cluster NameNode , and is suitable for solving the problem of large volume small file storage in the aviation field .

【作者單位】： 中國民航大學計算機科學與技術學院;中國民航大學天津市智能信號與圖像處理重點實驗室;
【基金】：民航局科技創(chuàng)新重大專項基金資助項目(MHRD20140106,MHRD20150107) 中央高校基金資助項目(3122014P004,3122016A001) 中國民航大學天津市智能信號與圖像處理重點實驗室開放基金資助項目(2015ASP02)
【分類號】：TP333
【正文快照】： 0引言針對航空物流行業(yè),大多數信息的交換都是以報文的形式存在,種類繁多,而單個報文的大小基本上在3 k B左右。對于航空物流信息系統(tǒng)的i Link平臺上每天的數據交換量為10 GB左右,然而對于10 GB大小的數據,大約有上千萬個報文。隨著民航信息產業(yè)的不斷發(fā)展,導致海量數據信息也，

本文編號：1429168