本文關(guān)鍵詞：基于NoSQL的海量航空物流小文件分布式多級存儲方法　出處：《計(jì)算機(jī)應(yīng)用研究》2017年05期 　論文類型：期刊論文

  更多相關(guān)文章： 小文件 Redis HDFS 多級存儲 預(yù)取機(jī)制

【摘要】：為了解決航空物流領(lǐng)域海量小文件存儲效率和訪問效率不高的問題,提出一種基于NoSQL的海量小文件分布式多級存儲方法。充分考慮到數(shù)據(jù)的時(shí)效性、本地性、操作的并發(fā)性以及文件之間的相關(guān)性,先根據(jù)相關(guān)性將文件合并,然后采用分布式多級存儲,使用內(nèi)存式Redis數(shù)據(jù)庫做緩存,HDFS做數(shù)據(jù)的持久化存儲,其過程采用預(yù)取機(jī)制。實(shí)驗(yàn)結(jié)果表明,該方法有效提高了小文件的存取效率和磁盤的利用率,顯著地降低了網(wǎng)絡(luò)的帶寬占用和集群NameNode的內(nèi)存消耗,適合解決航空領(lǐng)域海量小文件存儲問題。
[Abstract]:In order to solve the problem that the storage efficiency and the access efficiency of mass small files in the field of aviation logistics are not high , a distributed multi - level storage method based on NoSQL is put forward . Considering the timeliness , locality , concurrency of operation and the correlation between files , the file is merged according to the correlation , then distributed multilevel storage is adopted to cache the data by using the memory type Redis database . The experiment results show that the method effectively improves the access efficiency of the small file and the utilization rate of the disk , obviously reduces the bandwidth occupation of the network and the memory consumption of the cluster NameNode , and is suitable for solving the problem of large volume small file storage in the aviation field .

【作者單位】： 中國民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;中國民航大學(xué)天津市智能信號與圖像處理重點(diǎn)實(shí)驗(yàn)室;
【基金】：民航局科技創(chuàng)新重大專項(xiàng)基金資助項(xiàng)目(MHRD20140106,MHRD20150107) 中央高�；鹳Y助項(xiàng)目(3122014P004,3122016A001) 中國民航大學(xué)天津市智能信號與圖像處理重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(2015ASP02)
【分類號】：TP333
【正文快照】： 0引言針對航空物流行業(yè),大多數(shù)信息的交換都是以報(bào)文的形式存在,種類繁多,而單個(gè)報(bào)文的大小基本上在3 k B左右。對于航空物流信息系統(tǒng)的i Link平臺上每天的數(shù)據(jù)交換量為10 GB左右,然而對于10 GB大小的數(shù)據(jù),大約有上千萬個(gè)報(bào)文。隨著民航信息產(chǎn)業(yè)的不斷發(fā)展,導(dǎo)致海量數(shù)據(jù)信息也，

本文編號：1429168