本文關(guān)鍵詞： 圖片大數(shù)據(jù) HDFS HBase 布隆過濾器算法 誤判率　出處：《內(nèi)蒙古農(nóng)業(yè)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：當(dāng)下隨著信息技術(shù)的不斷發(fā)展,如何實(shí)現(xiàn)海量圖片數(shù)據(jù)的存儲與高效檢索,并從這些圖片中檢索出有價(jià)值的、符合用戶需求的圖片信息已成為急需解決的問題。根據(jù)上述問題,本文展開以下幾方面的研究:(1)論文分析了大數(shù)據(jù)存儲技術(shù)的發(fā)展現(xiàn)狀及研究成果,探討了傳統(tǒng)的基于圖片內(nèi)容的檢索(CBIR)技術(shù),在總結(jié)了傳統(tǒng)的圖片存儲、檢索技術(shù)的特點(diǎn)與發(fā)展的基礎(chǔ)之上,對當(dāng)前主流的檢索算法進(jìn)行了大量的調(diào)研。(2)論文將布隆過濾器算法應(yīng)用到海量圖片的檢索問題中。布隆過濾器作為一種空間效率非常高且不規(guī)則的數(shù)據(jù)結(jié)構(gòu),其內(nèi)部運(yùn)算只需簡單的"與"和"異或"操作,硬件方面比較容易實(shí)現(xiàn),同時(shí)匹配的效率也非常高,因此它適合判斷一個(gè)文件是否屬于集合內(nèi)。在此基礎(chǔ)上本文還提出一種改進(jìn)機(jī)制,降低了布隆過濾器算法的誤判率,同時(shí)提高檢索效率。(3)論文運(yùn)用Hadoop的分布式文件系統(tǒng)HDFS和非關(guān)系型數(shù)據(jù)庫HBase對海量圖片大數(shù)據(jù)進(jìn)行分布式存儲管理。通過對圖片進(jìn)行預(yù)處理獲得圖片的Message-Digest Algorithm 5(MD5)值并作為 HBase 數(shù)據(jù)庫中的 RowKey 值,利用布隆過濾器來判斷圖片是否存在于庫中。如果存在庫中再根據(jù)RowKey值在HBase中檢索圖片相關(guān)信息。構(gòu)建基于HDFS-HBase-BloomFilter的一體化海量圖片大數(shù)據(jù)解決方案,并通過實(shí)驗(yàn)進(jìn)行驗(yàn)證。
[Abstract]:This paper studies the development situation and research results of large data storage technology , and makes a great deal of research on the traditional retrieval algorithm .

【學(xué)位授予單位】：內(nèi)蒙古農(nóng)業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP391.41

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周童舟;;計(jì)算機(jī)及網(wǎng)絡(luò)技術(shù)的定義及應(yīng)用[J];電子技術(shù)與軟件工程;2017年02期

2 夏靖波;韋澤鯤;付凱;陳珍;;云計(jì)算中Hadoop技術(shù)研究與應(yīng)用綜述[J];計(jì)算機(jī)科學(xué);2016年11期

3 孫玉林;王曉卉;;一種基于Hadoop的海量圖片檢索策略[J];電子技術(shù)與軟件工程;2016年18期

4 權(quán)恒星;魏學(xué)才;王漫;;基于軟件定義網(wǎng)絡(luò)的分布式文件系統(tǒng)設(shè)計(jì)[J];計(jì)算機(jī)工程;2016年05期

5 王洋;劉星;須成忠;江松;王剛;文韜;范小朋;陸平;;大規(guī)模分布式文件系統(tǒng)元數(shù)據(jù)管理綜述[J];集成技術(shù);2016年02期

6 王鵬超;杜慧敏;曹廣界;杜琴琴;丁家隆;;基于布隆過濾器的精確匹配算法設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué);2015年S1期

7 孫智超;徐蕾;;二路平衡動態(tài)布隆過濾器[J];數(shù)學(xué)的實(shí)踐與認(rèn)識;2014年05期

8 朱曉麗;趙志剛;;一種基于HBase的海量圖片存儲技術(shù)[J];信息系統(tǒng)工程;2013年08期

9 王彥明;奉國和;薛云;;近年來Hadoop國外研究綜述[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2013年06期

10 申德榮;于戈;王習(xí)特;聶鐵錚;寇月;;支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J];軟件學(xué)報(bào);2013年08期

相關(guān)博士學(xué)位論文 前1條

1 田小梅;多布魯姆過濾器查詢算法及其應(yīng)用研究[D];湖南大學(xué);2013年

相關(guān)碩士學(xué)位論文 前1條

1 吳建鵬;基于Hadoop技術(shù)的圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2015年

，

本文編號：1457867