【摘要】：一方面,隨著公安“天網(wǎng)”,視頻監(jiān)控基礎(chǔ)設(shè)施的建設(shè)與完善,監(jiān)控視頻數(shù)據(jù)出現(xiàn)井噴式的增長,另一方面,隨著大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等新一代信息化技術(shù)的快速發(fā)展,公安部門建設(shè)基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)挖掘信息平臺,用于情報分析研判及非接觸式犯罪分析與預(yù)測。海量視頻數(shù)據(jù)的快速存儲、高效檢索是完成其它功能的基礎(chǔ),因此海量圖片數(shù)據(jù)的高效存儲及快速存取技術(shù)的研究與應(yīng)用,有著重大的現(xiàn)實意義。隨著監(jiān)控視頻的井噴式增長,圖片的存儲量已經(jīng)達(dá)到PB以上,并且不斷的在擴(kuò)大。Hadoop的分布式文件系統(tǒng)HDFS,分布式并行化計算框架MapReduce以及HBase為視頻數(shù)據(jù)處理提供了良好的平臺。Hadoop為海量視頻圖片的檢索提供了快速、高效的解決方案。本文介紹了人臉識別、特征值提取、文件合并傳輸以及分布式存儲等海量視頻數(shù)據(jù)處理的一系列過程。重點(diǎn)介紹了公安數(shù)據(jù)的數(shù)據(jù)來源、數(shù)據(jù)格式并結(jié)合公安項目本身需求對RowKey、列簇進(jìn)行設(shè)計。公安大數(shù)據(jù)中有非主鍵查詢的多種需求,為了進(jìn)一步提升檢索效率,文中給出了HBase二級索引方案。本文利用本地服務(wù)器提取圖片特征值,在Hadoop平臺下對圖片特征值進(jìn)行聚類處理,最后利用LSH算法將相似的圖片映射到同一個哈希桶內(nèi)。同時文中對k-means進(jìn)行了適當(dāng)?shù)母倪M(jìn)。首先對圖片特征值進(jìn)行隨機(jī)抽樣處理,減少計算量,之后對數(shù)據(jù)進(jìn)行基于密度的聚類處理,動態(tài)的確定k-means聚類算法的類簇中心。由小到大繪制K-dist圖,利用k-dist圖尋找聚類中心,從而減少k-means算法迭代次數(shù)。通過與傳統(tǒng)的存儲方式、傳統(tǒng)的k-means的對比測試,證明本論文的k-means算法以及HBase表的設(shè)計很大程度的提高了圖片的檢索效率。
【學(xué)位授予單位】：長江大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：D631.1;TP311.13
【圖文】：

k-means算法為了確定聚類中心點(diǎn)，開始的時候聚類的中心點(diǎn)是隨機(jī)的，k-means會進(jìn)行多次的迭代，甚至有可能進(jìn)行數(shù)百次的迭代，這會極大的浪費(fèi)計算資源、極大的占用 CPU、減少其性能。為了解決這個問題最好的辦法是對數(shù)據(jù)進(jìn)行隨機(jī)抽樣處理，在海量的數(shù)據(jù)集合下抽取出一定比例的數(shù)據(jù)，進(jìn)行聚類中心點(diǎn)的確定。這樣做的好處抽樣處理不會改變數(shù)據(jù)的本身的特性，用抽樣的數(shù)據(jù)來代替已有的所有的數(shù)據(jù)進(jìn)行數(shù)據(jù)的分析。樣本方差：1()n122 = =nxxSii(3-4)抽樣平均誤差：nxXx =2()μ (3-5)根據(jù)下圖 3-1所示圖像的分布的特點(diǎn)我們可以看出，雖然右邊的數(shù)據(jù)大大的減少了但是右邊的數(shù)據(jù)并沒有影響數(shù)據(jù)的整體的特性規(guī)律。對數(shù)據(jù)集做抽樣的處理，會大大降低數(shù)據(jù)量，大大的提高程序的運(yùn)行性能。

等以空間劃分的圖片檢索的優(yōu)點(diǎn)在于他們檢索圖片的精確高的，但是在海量多維度的向量的檢索效率極差。本論文采用的是利于高維向量檢索。時間復(fù)雜度在使用 LSH 算法之后將會有一個法中，使用 m個哈希表和 k個哈希函數(shù)，最終將會形成 m*k個哈的統(tǒng)一的特征向量進(jìn)行哈希計算，最終結(jié)果是在同一個桶中的特以相似的特征都將在相似的桶內(nèi)。圖像檢索的模塊的圖片輸入到后臺時，后臺將會利用 SURF對前臺輸入的圖片進(jìn)提取，之后用計算得到的特征值與后臺中已有的聚類中心進(jìn)行計聚類中心點(diǎn)，最后通過 LSH計算，將我們需要查詢的范圍縮小到希桶中的所有的數(shù)據(jù)，計算距離，只要距離在某一個范圍內(nèi)，我我們想要得到圖片，最后將檢索的圖片輸出。特征提取模塊分析圖像特征值提取模塊的性能，分別在不同的節(jié)點(diǎn)數(shù)下進(jìn)行分析，的節(jié)點(diǎn)個數(shù)。具體的實驗結(jié)果如圖 4-7。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李濤;檢索效率的提高[J];管理科學(xué)文摘;1997年04期

2 翰韜;;檢索效率淺析[J];河南圖書館學(xué)刊;1987年02期

3 楊恒芬;關(guān)于檢索效率[J];云南檔案;1988年02期

4 任燕鳴;王家治;;淺談提高計算機(jī)檢索效率的條件[J];水泥與房建材料;1988年01期

5 傅賢貞;提高《世界專利索引》檢索效率的幾個問題[J];情報學(xué)刊;1989年02期

6 丘峰;;關(guān)于提高檢索效率的途徑與措施[J];圖書情報工作;1982年06期

7 李愛軍;孫智英;;科學(xué)研究中提高信息檢索效率的方法探討[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2012年05期

8 張琪玉;自然語言檢索中各種因素對檢索效率的影響[J];情報理論與實踐;1997年05期

9 陳能華;加權(quán)檢索中影響檢索效率的原因分析[J];高校圖書館工作;1995年03期

10 王崇良;余朝暉;;張琪玉“檢索效率”思想研究[J];荊楚學(xué)刊;2018年02期

相關(guān)會議論文 前5條

1 郭軍宏;鄧娜;;從審查角度談測量領(lǐng)域的檢索查新[A];發(fā)展知識產(chǎn)權(quán)服務(wù)業(yè)，支撐創(chuàng)新型國家建設(shè)-2012年中華全國專利代理人協(xié)會年會第三屆知識產(chǎn)權(quán)論壇論文選編(第二部分)[C];2011年

2 張寶成;周冬;;談用清潔能源分類體系提高節(jié)能建筑領(lǐng)域申請的檢索效率[A];2014年中華全國專利代理人協(xié)會年會第五屆知識產(chǎn)權(quán)論壇論文（第二部分）[C];2014年

3 鄭明;朱寧;宋慶華;;把握技術(shù)方案核心,提高通知書說服力[A];提升知識產(chǎn)權(quán)服務(wù)能力 促進(jìn)創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略——2014年中華全國專利代理人協(xié)會年會第五屆知識產(chǎn)權(quán)論壇優(yōu)秀論文集[C];2014年

4 曹玉娟;牛振東;彭學(xué)平;江鵬;;一個基于特征向量的近似網(wǎng)頁去重算法[A];中國索引學(xué)會第三次全國會員代表大會暨學(xué)術(shù)論壇論文集[C];2008年

5 王宗文;彭亮;趙奇;;一種互助檢索模型的設(shè)計[A];提升知識產(chǎn)權(quán)服務(wù)能力 促進(jìn)創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略——2014年中華全國專利代理人協(xié)會年會第五屆知識產(chǎn)權(quán)論壇優(yōu)秀論文集[C];2014年

相關(guān)重要報紙文章 前4條

1 趙碩;因材施“檢”提高檢索效率[N];中國知識產(chǎn)權(quán)報;2013年

2 中國建設(shè)銀行陜西省分行信息科技處 申飚;存儲成本與檢索效率的有效平衡[N];計算機(jī)世界;2003年

3 本報記者 潘永花;組件化平臺提升信息檢索效率[N];網(wǎng)絡(luò)世界;2003年

4 宋家雨;存儲一體化關(guān)鍵在于“搜索”[N];網(wǎng)絡(luò)世界;2007年

相關(guān)博士學(xué)位論文 前1條

1 費(fèi)巍;搜索引擎檢索功能的性能評價研究[D];武漢大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 程孝孝;基于公安大數(shù)據(jù)圖片存取技術(shù)研究[D];長江大學(xué);2019年

2 白曉丹;搜索引擎網(wǎng)頁相關(guān)性及檢索效率評價體系研究[D];北京交通大學(xué);2015年

3 韓麗華;信息檢索可視化效率若干問題研究[D];黑龍江大學(xué);2008年

4 張建靜;基于多級緩存的海量感知數(shù)據(jù)檢索優(yōu)化的研究[D];北方工業(yè)大學(xué);2014年

5 周亮;基于OWL-S的Web服務(wù)發(fā)現(xiàn)[D];南京理工大學(xué);2005年

6 侯叢;DNA數(shù)據(jù)存儲與比對技術(shù)研究[D];西安電子科技大學(xué);2004年

7 顧燕;基于內(nèi)容的圖像檢索方法及其實驗系統(tǒng)設(shè)計[D];河海大學(xué);2002年

8 王艷柏;基于內(nèi)容的圖像檢索技術(shù)研究[D];長春理工大學(xué);2009年

9 華麗君;基于Tag-LDA語義分析的全文檢索方法研究[D];華中師范大學(xué);2015年

10 朱曉飛;基于Z39.50的分布式檢索技術(shù)在數(shù)字圖書館系統(tǒng)的應(yīng)用研究[D];重慶大學(xué);2007年

本文編號：2754623