本文關(guān)鍵詞： 查詢服務(wù) 局部靈敏哈希 MapReduce編程模型 存儲(chǔ)系統(tǒng)　出處：《華中科技大學(xué)》2012年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著數(shù)據(jù)規(guī)模不斷增加和處理難度增大，大數(shù)據(jù)（Big Data）變得非常重要。存儲(chǔ)系統(tǒng)對(duì)圖像文件等非結(jié)構(gòu)化的大數(shù)據(jù)查詢服務(wù)缺乏有力支持，傳統(tǒng)的文件元數(shù)據(jù)信息沒(méi)有表達(dá)圖像文件內(nèi)容，區(qū)分度低。圖像文件作為存儲(chǔ)系統(tǒng)中一類增長(zhǎng)迅速的文件數(shù)據(jù)，面臨數(shù)據(jù)規(guī)模增加和查詢性能優(yōu)化的雙重挑戰(zhàn)。從這一點(diǎn)出發(fā)，提出一種面向圖像文件的分布式存儲(chǔ)系統(tǒng)中的索引策略，能夠有效地提高圖像文件查詢效率，并能保證查詢準(zhǔn)確率。 全文設(shè)計(jì)并實(shí)現(xiàn)面向圖像文件的分布式查詢系統(tǒng)，對(duì)用戶的圖像文件查詢請(qǐng)求進(jìn)行響應(yīng)。采用執(zhí)行速度快、具有良好穩(wěn)定性的加速穩(wěn)健特征算法提取圖像的特征標(biāo)識(shí)，對(duì)文件元數(shù)據(jù)進(jìn)行輔助，增強(qiáng)對(duì)圖像的表達(dá)力度。采用局部靈敏哈希方法（Locality Sensitive Hashing，LSH）解決高維的圖像特征標(biāo)識(shí)數(shù)據(jù)的最近鄰居查詢問(wèn)題。研究的主要內(nèi)容是結(jié)合局部靈敏哈希計(jì)算與MapReduce編程模型，提出一種分布式的索引策略，，在分布式環(huán)境的多節(jié)點(diǎn)上并行采集圖像特征標(biāo)識(shí)，并使用多節(jié)點(diǎn)并發(fā)的哈希計(jì)算生成索引記錄，解決局部靈敏哈希方法在時(shí)間和空間上開(kāi)銷大的問(wèn)題，提高存儲(chǔ)系統(tǒng)中圖像文件的查詢效率。最后，為了將索引記錄的生成和用戶數(shù)據(jù)處理分離，采用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)化的圖像文件索引信息，進(jìn)一步縮短用戶查詢響應(yīng)時(shí)間。 實(shí)驗(yàn)結(jié)果表明，分布式的索引構(gòu)建和圖像特征標(biāo)識(shí)采集可以顯著提高系統(tǒng)時(shí)間性能，對(duì)用戶查詢響應(yīng)快，能夠保證查詢準(zhǔn)確率。
[Abstract]:Big data Big data becomes very important as the size of the data grows and processing becomes more difficult. The storage system lacks support for unstructured big data query services such as image files. The traditional file metadata information does not express the image file content, and the distinction is low. The image file is a kind of fast growing file data in the storage system. Facing the dual challenges of increasing data scale and optimizing query performance, an index strategy for image file oriented distributed storage system is proposed, which can effectively improve the efficiency of image file query. And can ensure the query accuracy. A distributed query system for image files is designed and implemented in this paper. An accelerated robust feature algorithm with good stability extracts the feature identification of the image and assists the file metadata. The local sensitive hashing method was used to enhance the expression of the image. The localization Sensitive Hashing was used. LSH) is used to solve the problem of nearest neighbor query for high dimensional image feature identification data. The main content of this study is to combine local sensitive hash computation with MapReduce programming model. A distributed indexing strategy is proposed, in which image feature identification is collected in parallel on multi-nodes in distributed environment, and index records are generated by multi-node concurrent hash computation. To solve the problem that the local sensitive hashing method is expensive in time and space, and improve the query efficiency of image files in storage system. Finally, in order to separate the generation of index records from user data processing. The relational database is used to store the structured image file index information, which further shortens the response time of user query. The experimental results show that the distributed index construction and image feature identification collection can significantly improve the time performance of the system, respond quickly to the user query, and ensure the accuracy of the query.
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP333;TP391.41

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 林琳;;基于C語(yǔ)言的存儲(chǔ)資源管理系統(tǒng)的研究[J];才智;2011年13期

2 胡峰;張杰;劉靜;肖大偉;;一種基于Rough集的海量數(shù)據(jù)屬性約簡(jiǎn)方法[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年04期

3 劉霖;趙躍龍;李成藝;;一種新的存儲(chǔ)解決方案——IND系統(tǒng)存儲(chǔ)[J];電腦與信息技術(shù);2006年05期

4 王丹玲;;虛擬化存儲(chǔ)及其實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2006年05期

5 劉紹凱;;存儲(chǔ)區(qū)域網(wǎng)(SAN)系統(tǒng)的管理及其實(shí)現(xiàn)研究[J];電腦知識(shí)與技術(shù);2006年26期

6 蔣春曦;謝慶勝;王偉;;省級(jí)行業(yè)信息服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2008年17期

7 王宇;;網(wǎng)絡(luò)存儲(chǔ)面面觀[J];電聲技術(shù);2008年05期

8 夏國(guó)遠(yuǎn);;數(shù)據(jù)存儲(chǔ)技術(shù)的應(yīng)用分析[J];大眾科技;2011年09期

9 黃曉武;;基于ISCSI的校園網(wǎng)絡(luò)存儲(chǔ)安全研究[J];福建電腦;2006年03期

10 王春建;;電視非編網(wǎng)素材的實(shí)時(shí)備份[J];廣播電視信息;2011年11期

相關(guān)會(huì)議論文 前2條

1 劉景寧;王曉靜;童薇;時(shí)洋;馮丹;;對(duì)象存儲(chǔ)器中光纖通道驅(qū)動(dòng)程序設(shè)計(jì)與優(yōu)化[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 王雪嬌;錢(qián)軍;溫東新;張展;崔忠強(qiáng);;基于Linux虛擬文件系統(tǒng)故障注入器的設(shè)計(jì)與實(shí)現(xiàn)[A];第六屆中國(guó)測(cè)試學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)博士學(xué)位論文 前10條

1 楊天明;網(wǎng)絡(luò)備份中重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華中科技大學(xué);2010年

2 牛中盈;并行文件系統(tǒng)安全性研究[D];華中科技大學(xué);2010年

3 林勝;存儲(chǔ)系統(tǒng)容錯(cuò)及陣列編碼[D];南開(kāi)大學(xué);2010年

4 陳俊健;面向?qū)ο蟠鎯?chǔ)系統(tǒng)安全技術(shù)研究[D];華中科技大學(xué);2011年

5 彭濤;基于特征和實(shí)例的海量數(shù)據(jù)約簡(jiǎn)方法研究[D];華中科技大學(xué);2011年

6 姜明華;基于冗余智能存儲(chǔ)通道的存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

7 魏青松;大規(guī)模分布式存儲(chǔ)技術(shù)研究[D];電子科技大學(xué);2004年

8 吳濤;虛擬化存儲(chǔ)技術(shù)研究[D];華中科技大學(xué);2004年

9 王爍;數(shù)字視頻播放系統(tǒng)的研究[D];華中科技大學(xué);2004年

10 鄧玉輝;基于網(wǎng)絡(luò)磁盤(pán)陣列的海量信息存儲(chǔ)系統(tǒng)[D];華中科技大學(xué);2004年

相關(guān)碩士學(xué)位論文 前10條

1 段莉娟;網(wǎng)絡(luò)中間件數(shù)據(jù)采集系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2010年

2 胡永奎;對(duì)象存儲(chǔ)設(shè)備中文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];解放軍信息工程大學(xué);2010年

3 王莉莉;基于DELTA壓縮算法的大型數(shù)據(jù)庫(kù)災(zāi)備關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2011年

4 柏宏斌;基于B/S架構(gòu)的信息管理系統(tǒng)理論研究[D];電子科技大學(xué);2010年

5 彭亮亮;基于IPv6的校園網(wǎng)絡(luò)存儲(chǔ)再生性的研究[D];西安電子科技大學(xué);2010年

6 魯昌龍;固態(tài)硬盤(pán)存儲(chǔ)系統(tǒng)模型及存儲(chǔ)管理層算法的研究[D];景德鎮(zhèn)陶瓷學(xué)院;2011年

7 徐忠明;基于Hadoop的網(wǎng)絡(luò)驗(yàn)證平臺(tái)的研究[D];廣東工業(yè)大學(xué);2011年

8 蔡洪;智能網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)（INSS）中負(fù)載均衡技術(shù)的研究[D];華南理工大學(xué);2011年

9 王承才;小學(xué)校園Web網(wǎng)絡(luò)硬盤(pán)應(yīng)用系統(tǒng)的研究及實(shí)現(xiàn)[D];華南理工大學(xué);2011年

10 羅浩;基于P2P的分布式存儲(chǔ)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

本文編號(hào)：1490118