本文關(guān)鍵詞： 查詢服務 局部靈敏哈希 MapReduce編程模型 存儲系統(tǒng)　出處：《華中科技大學》2012年碩士論文　論文類型：學位論文

【摘要】：隨著數(shù)據(jù)規(guī)模不斷增加和處理難度增大，大數(shù)據(jù)（Big Data）變得非常重要。存儲系統(tǒng)對圖像文件等非結(jié)構(gòu)化的大數(shù)據(jù)查詢服務缺乏有力支持，傳統(tǒng)的文件元數(shù)據(jù)信息沒有表達圖像文件內(nèi)容，區(qū)分度低。圖像文件作為存儲系統(tǒng)中一類增長迅速的文件數(shù)據(jù)，面臨數(shù)據(jù)規(guī)模增加和查詢性能優(yōu)化的雙重挑戰(zhàn)。從這一點出發(fā)，提出一種面向圖像文件的分布式存儲系統(tǒng)中的索引策略，能夠有效地提高圖像文件查詢效率，并能保證查詢準確率。 全文設(shè)計并實現(xiàn)面向圖像文件的分布式查詢系統(tǒng)，對用戶的圖像文件查詢請求進行響應。采用執(zhí)行速度快、具有良好穩(wěn)定性的加速穩(wěn)健特征算法提取圖像的特征標識，對文件元數(shù)據(jù)進行輔助，增強對圖像的表達力度。采用局部靈敏哈希方法（Locality Sensitive Hashing，LSH）解決高維的圖像特征標識數(shù)據(jù)的最近鄰居查詢問題。研究的主要內(nèi)容是結(jié)合局部靈敏哈希計算與MapReduce編程模型，提出一種分布式的索引策略，，在分布式環(huán)境的多節(jié)點上并行采集圖像特征標識，并使用多節(jié)點并發(fā)的哈希計算生成索引記錄，解決局部靈敏哈希方法在時間和空間上開銷大的問題，提高存儲系統(tǒng)中圖像文件的查詢效率。最后，為了將索引記錄的生成和用戶數(shù)據(jù)處理分離，采用關(guān)系型數(shù)據(jù)庫存儲結(jié)構(gòu)化的圖像文件索引信息，進一步縮短用戶查詢響應時間。 實驗結(jié)果表明，分布式的索引構(gòu)建和圖像特征標識采集可以顯著提高系統(tǒng)時間性能，對用戶查詢響應快，能夠保證查詢準確率。
[Abstract]:Big data Big data becomes very important as the size of the data grows and processing becomes more difficult. The storage system lacks support for unstructured big data query services such as image files. The traditional file metadata information does not express the image file content, and the distinction is low. The image file is a kind of fast growing file data in the storage system. Facing the dual challenges of increasing data scale and optimizing query performance, an index strategy for image file oriented distributed storage system is proposed, which can effectively improve the efficiency of image file query. And can ensure the query accuracy. A distributed query system for image files is designed and implemented in this paper. An accelerated robust feature algorithm with good stability extracts the feature identification of the image and assists the file metadata. The local sensitive hashing method was used to enhance the expression of the image. The localization Sensitive Hashing was used. LSH) is used to solve the problem of nearest neighbor query for high dimensional image feature identification data. The main content of this study is to combine local sensitive hash computation with MapReduce programming model. A distributed indexing strategy is proposed, in which image feature identification is collected in parallel on multi-nodes in distributed environment, and index records are generated by multi-node concurrent hash computation. To solve the problem that the local sensitive hashing method is expensive in time and space, and improve the query efficiency of image files in storage system. Finally, in order to separate the generation of index records from user data processing. The relational database is used to store the structured image file index information, which further shortens the response time of user query. The experimental results show that the distributed index construction and image feature identification collection can significantly improve the time performance of the system, respond quickly to the user query, and ensure the accuracy of the query.
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2012
【分類號】：TP333;TP391.41

【共引文獻】

相關(guān)期刊論文 前10條

1 林琳;;基于C語言的存儲資源管理系統(tǒng)的研究[J];才智;2011年13期

2 胡峰;張杰;劉靜;肖大偉;;一種基于Rough集的海量數(shù)據(jù)屬性約簡方法[J];重慶郵電大學學報(自然科學版);2009年04期

3 劉霖;趙躍龍;李成藝;;一種新的存儲解決方案——IND系統(tǒng)存儲[J];電腦與信息技術(shù);2006年05期

4 王丹玲;;虛擬化存儲及其實現(xiàn)[J];電腦知識與技術(shù);2006年05期

5 劉紹凱;;存儲區(qū)域網(wǎng)(SAN)系統(tǒng)的管理及其實現(xiàn)研究[J];電腦知識與技術(shù);2006年26期

6 蔣春曦;謝慶勝;王偉;;省級行業(yè)信息服務系統(tǒng)的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2008年17期

7 王宇;;網(wǎng)絡存儲面面觀[J];電聲技術(shù);2008年05期

8 夏國遠;;數(shù)據(jù)存儲技術(shù)的應用分析[J];大眾科技;2011年09期

9 黃曉武;;基于ISCSI的校園網(wǎng)絡存儲安全研究[J];福建電腦;2006年03期

10 王春建;;電視非編網(wǎng)素材的實時備份[J];廣播電視信息;2011年11期

相關(guān)會議論文 前2條

1 劉景寧;王曉靜;童薇;時洋;馮丹;;對象存儲器中光纖通道驅(qū)動程序設(shè)計與優(yōu)化[A];第15屆全國信息存儲技術(shù)學術(shù)會議論文集[C];2008年

2 王雪嬌;錢軍;溫東新;張展;崔忠強;;基于Linux虛擬文件系統(tǒng)故障注入器的設(shè)計與實現(xiàn)[A];第六屆中國測試學術(shù)會議論文集[C];2010年

相關(guān)博士學位論文 前10條

1 楊天明;網(wǎng)絡備份中重復數(shù)據(jù)刪除技術(shù)研究[D];華中科技大學;2010年

2 牛中盈;并行文件系統(tǒng)安全性研究[D];華中科技大學;2010年

3 林勝;存儲系統(tǒng)容錯及陣列編碼[D];南開大學;2010年

4 陳俊健;面向?qū)ο蟠鎯ο到y(tǒng)安全技術(shù)研究[D];華中科技大學;2011年

5 彭濤;基于特征和實例的海量數(shù)據(jù)約簡方法研究[D];華中科技大學;2011年

6 姜明華;基于冗余智能存儲通道的存儲系統(tǒng)關(guān)鍵技術(shù)研究[D];華中科技大學;2011年

7 魏青松;大規(guī)模分布式存儲技術(shù)研究[D];電子科技大學;2004年

8 吳濤;虛擬化存儲技術(shù)研究[D];華中科技大學;2004年

9 王爍;數(shù)字視頻播放系統(tǒng)的研究[D];華中科技大學;2004年

10 鄧玉輝;基于網(wǎng)絡磁盤陣列的海量信息存儲系統(tǒng)[D];華中科技大學;2004年

相關(guān)碩士學位論文 前10條

1 段莉娟;網(wǎng)絡中間件數(shù)據(jù)采集系統(tǒng)的研究與實現(xiàn)[D];電子科技大學;2010年

2 胡永奎;對象存儲設(shè)備中文件系統(tǒng)的設(shè)計與實現(xiàn)[D];解放軍信息工程大學;2010年

3 王莉莉;基于DELTA壓縮算法的大型數(shù)據(jù)庫災備關(guān)鍵技術(shù)研究[D];電子科技大學;2011年

4 柏宏斌;基于B/S架構(gòu)的信息管理系統(tǒng)理論研究[D];電子科技大學;2010年

5 彭亮亮;基于IPv6的校園網(wǎng)絡存儲再生性的研究[D];西安電子科技大學;2010年

6 魯昌龍;固態(tài)硬盤存儲系統(tǒng)模型及存儲管理層算法的研究[D];景德鎮(zhèn)陶瓷學院;2011年

7 徐忠明;基于Hadoop的網(wǎng)絡驗證平臺的研究[D];廣東工業(yè)大學;2011年

8 蔡洪;智能網(wǎng)絡存儲系統(tǒng)（INSS）中負載均衡技術(shù)的研究[D];華南理工大學;2011年

9 王承才;小學校園Web網(wǎng)絡硬盤應用系統(tǒng)的研究及實現(xiàn)[D];華南理工大學;2011年

10 羅浩;基于P2P的分布式存儲研究與實現(xiàn)[D];電子科技大學;2011年

本文編號：1490118