隨著智慧城市的建設(shè),人臉識(shí)別技術(shù)被應(yīng)用在越來越多的場(chǎng)景中,其中對(duì)于怎樣在海量的圖片中進(jìn)行人臉圖片存儲(chǔ)和快速檢索更是重要的研究課題。目前分布式文件系統(tǒng)在存儲(chǔ)系統(tǒng)中應(yīng)用比較廣泛,且多以HDFS、GFS等分布式文件系統(tǒng)為主,但是它們主要應(yīng)用在大文件方面。對(duì)于圖片的相似檢索主要是基于內(nèi)容的檢索,而且是通過提取圖片之間的特征向量進(jìn)行距離計(jì)算從而衡量圖片之間的相似度,但人臉圖片的特征向量不僅復(fù)雜還多維,因而面對(duì)人臉圖片這種復(fù)雜多維的特征向量如何設(shè)計(jì)高效的索引是重要的技術(shù)問題。本文首先深入剖析當(dāng)今主流的分布式文件系統(tǒng)針對(duì)圖片小文件存儲(chǔ)技術(shù)的性能瓶頸以及分析非對(duì)稱距離計(jì)算倒排索引機(jī)制(IVFADC)的原理后,提出針對(duì)性的解決方案。論文研究的內(nèi)容有以下兩點(diǎn):1.本文分析當(dāng)今主流的分布式文件系統(tǒng)的優(yōu)缺點(diǎn)后采用FastDFS分布式文件存儲(chǔ)系統(tǒng)作為海量人臉圖片的存儲(chǔ),并設(shè)計(jì)圖片的存儲(chǔ)文件方案解決人臉圖片小文件的大容量存儲(chǔ)的問題,不僅有效地提升了海量人臉圖片的存儲(chǔ)速度,甚至設(shè)計(jì)的存儲(chǔ)文件還充分的利用了FastDFS的存儲(chǔ)空間。2.IVFADC是一個(gè)很好的將積量化,非對(duì)稱距離計(jì)算和倒排索引融合在一起處理高維度的索...

【文章頁數(shù)】：58 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1GFS結(jié)構(gòu)圖

GFS雖然較之傳統(tǒng)的分布式文件系統(tǒng)有著較大的改善,但是面對(duì)海量圖片小文件存儲(chǔ)時(shí),元數(shù)據(jù)的膨脹給主服務(wù)器帶來很大的存儲(chǔ)壓力,并且由于GFS是google最頂級(jí)的分布式文件系統(tǒng),有著核心技術(shù)和提供最底層的存儲(chǔ),它的代碼并非開源,所以外界只能通過官方手冊(cè)去了解而不能通過底層代碼去研究[....

圖2-2HDFS的結(jié)構(gòu)圖

HDFS是應(yīng)用在Hadoop上為超大文件的存儲(chǔ)和處理設(shè)計(jì)的分布式文件系統(tǒng)�？梢圆渴鹪谝恍┝畠r(jià)的服務(wù)器上[20]。它的組織結(jié)構(gòu)圖如圖2-2所示,它主要由Client、NameNode、DataNode組成。Client用來管理HDFS、將文件分塊、從NameNode得知文件位置信....

圖2-3FastDFS存儲(chǔ)結(jié)構(gòu)圖

FastDFS的組織架構(gòu)如圖2-3所示。FastDFS由tracker(跟蹤器)、storage(存儲(chǔ)器)及client(客戶端)組成,且它們都可以由多個(gè)服務(wù)器組成。比如FastDFS有多個(gè)group(組),每個(gè)group可以由多臺(tái)服務(wù)器組成,同一個(gè)group內(nèi)的多臺(tái)服務(wù)器的存儲(chǔ)....

圖2-4多維索引結(jié)構(gòu)圖

在基于內(nèi)容檢索的人臉圖像檢索系統(tǒng)中,多維度索引結(jié)構(gòu)的創(chuàng)建是檢索模塊中的重點(diǎn)[33]。將人臉庫(kù)中的人臉圖片進(jìn)行特征提取以后是一堆雜亂無章的高維向量,如何將這些高維向量進(jìn)行有組織的存儲(chǔ)則是創(chuàng)建多維度索引的目的。多維度的索引結(jié)構(gòu)雖然如圖2-4所示豐富多樣,但是當(dāng)面對(duì)人臉圖片特征向量的高....

本文編號(hào)：3997797