本文關(guān)鍵詞：云平臺下光譜數(shù)據(jù)快速無損壓縮技術(shù)的研究

  更多相關(guān)文章： LZO 快速無損壓縮 近紅外光譜 關(guān)鍵波段集 小波變換 Hadoop

【摘要】：近年來,隨著計算機性能的大幅提升、近紅外光譜儀器的改進和化學計量學數(shù)據(jù)處理方法的研發(fā),光譜技術(shù)在工業(yè)、農(nóng)業(yè)、醫(yī)藥等領(lǐng)域得到了廣泛應用。由于近紅外光譜儀器具有快速和非損壞性檢測、操作成本低、無需復雜預處理等一系列特點,與化學計量法相結(jié)合,非常適合煙葉成分的定性定量分析。光譜儀器會產(chǎn)生海量的數(shù)據(jù),如何對這些數(shù)據(jù)進行存儲、分析、挖掘成為制約光譜技術(shù)應用的瓶頸。針對這些問題,本文從以下幾個方面來進行云存儲環(huán)境下光譜數(shù)據(jù)快速無損壓縮技術(shù)的研究:一、深入研究了云存儲的概念、體系結(jié)構(gòu)和技術(shù)原理。對云存儲涉及到的關(guān)鍵技術(shù)如虛擬化技術(shù)、并行編程模式、分布式文件管理作了深度剖析,重點分析了Hadoop平臺中使用的Map Reduce、HDFS等技術(shù)原理和實現(xiàn)過程。二、通過實驗比較LZO、LZW和LZSS三種壓縮算法在使用內(nèi)存、壓縮時間、壓縮率和對不同數(shù)據(jù)壓縮效率等四個方面的不同表現(xiàn)。實驗分析得出,在相同環(huán)境下,LZO的壓縮、解壓縮速度是另外兩種壓縮算法的20倍以上,而壓縮率只比LZW和LZ77算法低10%左右。壓縮數(shù)據(jù)量越大,LZO的時間優(yōu)勢越明顯。在云平臺分布式處理和并行傳輸環(huán)境下,通過損失部分壓縮率來換取壓縮時間是值得的,LZO算法更適合近紅外光譜文件在云平臺下的快速實時壓縮。三、為了提高壓縮效率,針對光譜數(shù)據(jù)的完整性要求,只需對關(guān)鍵波段壓縮就能達到目的,因此,通過連續(xù)小波變換(CWT)建立關(guān)鍵波段集檢測數(shù)學模型,可快速檢測出海量光譜、質(zhì)譜文件中的關(guān)鍵波段集。該算法可通過個性化設定光譜文件中關(guān)鍵波段集的檢測范圍和步長,達到控制壓縮文件大小的目的。最后,通過LZO算法對檢測到的關(guān)鍵波段集進行壓縮,提高了文件處理效率。四、根據(jù)用戶需求和系統(tǒng)需要,建立在Hadoop框架下的煙葉光譜數(shù)據(jù)信息管理系統(tǒng)。該系統(tǒng)能夠?qū)崿F(xiàn)用戶對光譜數(shù)據(jù)的傳輸、刪除、查詢、分析和管理等功能。通過在煙葉光譜信息管理系統(tǒng)中測試表明,論文的數(shù)據(jù)壓縮方法和關(guān)鍵波段集檢測方法是可行的。
【學位授予單位】：湖南師范大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TH744.1

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 孫念;胡炳j;王爽;閆鵬;孫朗;王錚杰;;基于FISTA算法的編碼孔徑光譜圖像壓縮與復原系統(tǒng)[J];紅外與激光工程;2014年01期

，

本文編號：1285786