基于Hadoop的圖像場景分類系統(tǒng)的設計與實現(xiàn)
發(fā)布時間:2021-07-29 15:21
在計算機視覺、模式識別與機器學習領域中圖像場景分類扮演著非常重要的角色。圖像場景分類廣泛應用于很多個領域,如目標識別和行為檢測。但是,對于單個物體實例來說,通常會由于不同的光照條件,拍攝角度和圖像采集距離導致圖像分類的準確性降低,而且對象本身的非剛性變形和其他對象的部分遮擋也會導致對象實例的表現(xiàn)特征發(fā)生大的變化。與此同時,隨著多媒體和互聯(lián)網(wǎng)技術的快速發(fā)展,這些技術所產(chǎn)生的數(shù)據(jù)規(guī)模不斷的擴大。大多數(shù)數(shù)據(jù)以圖像和視頻的形式呈現(xiàn)。圖像的快速而準確的分類已經(jīng)成為計算機視覺領域的熱點問題之一。Hadoop是主流的分布式計算平臺之一,在處理海量數(shù)據(jù)方面上占有極大的優(yōu)勢。因此,在Hadoop平臺上使用其平臺上強大的計算和存儲功能用來提高圖像分類的效率。本文的內(nèi)容主要包含以下幾個部分:(1)簡要介紹了Hadoop平臺的架構以及圖像分類的基本方法,重點介紹了低級特征提取的SIFT算法和中層特征建模的BoW模型的基本理論知識。(2)深入分析了由SIFT算法和BoW模型而引出的問題,本文會從SIFT算法的低級特征提取和BoW中層特征建模這兩個方面提出一些優(yōu)化的算法作為圖像場景分類所使用的算法,通過這些優(yōu)化的...
【文章來源】:武漢郵電科學研究院湖北省
【文章頁數(shù)】:65 頁
【學位級別】:碩士
【部分圖文】:
Hadoop的整體框架
Hadoop實驗集群部署結構
武漢郵電科學研究院碩士學位論文9圖2-3HDFS框架HDFS是Master/Slave架構。一個HDFS集群中包含了一個NameNode(Master)和多個DataNode(Slave)。實現(xiàn)HDFS時,文件會被分為幾個塊(塊大小:128M),這些塊都會被存儲在一些DataNodes上。NameNode主要負責的是在實時的響應client的請求的同時,還需要管理元數(shù)據(jù)信息(文件名,副本系數(shù)和存儲在塊中的DataNode);DataNode會存儲與用戶文件相對應的塊,然后周期性的對NameNode發(fā)送心跳信息,報告自身和所有塊信息以及健康狀態(tài)。典型的部署方法是為Hadoop集群中的一臺計算機部署一個NameNode,為其他計算機部署DataNode。HDFS能夠用很多個塊來描述所有文件。HDFS也能夠設置所有文件副本系數(shù)以及分成的塊大小,同時也能夠通過設置文件中的副本個數(shù)使得在新建文件時就可以獲得副本系數(shù)的值。副本系數(shù)也能夠在后面的操作上進行更改。NameNode通過處理塊副本上的復制,按期的讓DataNode獲得心跳和塊的狀態(tài)。2.1.2MapReduce并行編程框架MapReduce是Hadoop的核心組成[28],它是一個可以應用在數(shù)據(jù)處理方面上的編程模型。MapReduce實質上是實現(xiàn)并行運算的,所以在一定程度上能夠將海量數(shù)據(jù)分析的任務分配到所有擁有多個機器的一個數(shù)據(jù)中心,能夠運用在Hadoop平臺上MapReduce所實現(xiàn)的并行計算這一優(yōu)點。MapReduce的核心功能就是將用戶的需求編寫成業(yè)務的邏輯代碼并使用它自己的默認組件集成到一個完整的分布式計算程序中,使得該程序可以在Hadoop集群上同時運行。MapReduce
【參考文獻】:
期刊論文
[1]基于k-means聚類的電動汽車用戶行為特征可視化分析[J]. 李永攀,黃兵,解大. 電氣自動化. 2019(01)
[2]應用MapReduce與視覺描述符的圖像檢索算法[J]. 盛昀瑤,張福泉,任艷. 重慶理工大學學報(自然科學). 2018(12)
[3]基于馬氏距離多核學習的高光譜圖像分類[J]. 高巍,彭宇. 儀器儀表學報. 2018(03)
[4]搭建HDFS分布式文件系統(tǒng)[J]. 劉景云. 網(wǎng)絡安全和信息化. 2018(02)
[5]基于ASIFT算法的圖像特征匹配[J]. 張振寧. 現(xiàn)代計算機(專業(yè)版). 2018(02)
[6]基于Hadoop分布式平臺的海量圖像檢索[J]. 王倩,譚永杰,秦杰,柴爭義,葉海琴. 南京理工大學學報. 2017(04)
[7]基于Hadoop平臺的圖像檢索分布式算法的改進研究[J]. 丁燦,侯春萍,王寶亮. 南開大學學報(自然科學版). 2017(04)
[8]基于MapReduce框架下K-means的改進算法[J]. 陰愛英,吳運兵,朱敏琛,張瑩. 計算機應用研究. 2018(08)
[9]視覺地形分類的詞袋框架綜述[J]. 吳航,劉保真,蘇衛(wèi)華,張文昌,孫景工. 中國圖象圖形學報. 2016(10)
碩士論文
[1]基于深度學習的雙模態(tài)情感識別[D]. 袁亮.南京郵電大學 2018
[2]動態(tài)K-means算法在遙感圖像挖掘領域的并行化研究[D]. 鮑黎明.南京郵電大學 2017
[3]應用SIFT算法的圖像配準系統(tǒng)設計與實現(xiàn)[D]. 高文剛.中北大學 2017
[4]基于云平臺的大規(guī)模圖像檢索研究[D]. 朱珊.北京交通大學 2017
[5]基于Hadoop云計算平臺的K-Means聚類算法研究[D]. 劉洋.哈爾濱理工大學 2017
[6]SIFT特征匹配技術研究與應用[D]. 陳晗婧.南京理工大學 2017
[7]基于SIFT算法的快速圖像配準技術[D]. 孫偉曄.吉林大學 2017
[8]場景圖像分類的若干問題研究[D]. 謝可.東南大學 2016
[9]K-means聚類算法的改進研究[D]. 宋建林.安徽大學 2016
[10]基于PCA和LBP改進算法的人臉識別研究[D]. 霍焰焰.哈爾濱理工大學 2015
本文編號:3309571
【文章來源】:武漢郵電科學研究院湖北省
【文章頁數(shù)】:65 頁
【學位級別】:碩士
【部分圖文】:
Hadoop的整體框架
Hadoop實驗集群部署結構
武漢郵電科學研究院碩士學位論文9圖2-3HDFS框架HDFS是Master/Slave架構。一個HDFS集群中包含了一個NameNode(Master)和多個DataNode(Slave)。實現(xiàn)HDFS時,文件會被分為幾個塊(塊大小:128M),這些塊都會被存儲在一些DataNodes上。NameNode主要負責的是在實時的響應client的請求的同時,還需要管理元數(shù)據(jù)信息(文件名,副本系數(shù)和存儲在塊中的DataNode);DataNode會存儲與用戶文件相對應的塊,然后周期性的對NameNode發(fā)送心跳信息,報告自身和所有塊信息以及健康狀態(tài)。典型的部署方法是為Hadoop集群中的一臺計算機部署一個NameNode,為其他計算機部署DataNode。HDFS能夠用很多個塊來描述所有文件。HDFS也能夠設置所有文件副本系數(shù)以及分成的塊大小,同時也能夠通過設置文件中的副本個數(shù)使得在新建文件時就可以獲得副本系數(shù)的值。副本系數(shù)也能夠在后面的操作上進行更改。NameNode通過處理塊副本上的復制,按期的讓DataNode獲得心跳和塊的狀態(tài)。2.1.2MapReduce并行編程框架MapReduce是Hadoop的核心組成[28],它是一個可以應用在數(shù)據(jù)處理方面上的編程模型。MapReduce實質上是實現(xiàn)并行運算的,所以在一定程度上能夠將海量數(shù)據(jù)分析的任務分配到所有擁有多個機器的一個數(shù)據(jù)中心,能夠運用在Hadoop平臺上MapReduce所實現(xiàn)的并行計算這一優(yōu)點。MapReduce的核心功能就是將用戶的需求編寫成業(yè)務的邏輯代碼并使用它自己的默認組件集成到一個完整的分布式計算程序中,使得該程序可以在Hadoop集群上同時運行。MapReduce
【參考文獻】:
期刊論文
[1]基于k-means聚類的電動汽車用戶行為特征可視化分析[J]. 李永攀,黃兵,解大. 電氣自動化. 2019(01)
[2]應用MapReduce與視覺描述符的圖像檢索算法[J]. 盛昀瑤,張福泉,任艷. 重慶理工大學學報(自然科學). 2018(12)
[3]基于馬氏距離多核學習的高光譜圖像分類[J]. 高巍,彭宇. 儀器儀表學報. 2018(03)
[4]搭建HDFS分布式文件系統(tǒng)[J]. 劉景云. 網(wǎng)絡安全和信息化. 2018(02)
[5]基于ASIFT算法的圖像特征匹配[J]. 張振寧. 現(xiàn)代計算機(專業(yè)版). 2018(02)
[6]基于Hadoop分布式平臺的海量圖像檢索[J]. 王倩,譚永杰,秦杰,柴爭義,葉海琴. 南京理工大學學報. 2017(04)
[7]基于Hadoop平臺的圖像檢索分布式算法的改進研究[J]. 丁燦,侯春萍,王寶亮. 南開大學學報(自然科學版). 2017(04)
[8]基于MapReduce框架下K-means的改進算法[J]. 陰愛英,吳運兵,朱敏琛,張瑩. 計算機應用研究. 2018(08)
[9]視覺地形分類的詞袋框架綜述[J]. 吳航,劉保真,蘇衛(wèi)華,張文昌,孫景工. 中國圖象圖形學報. 2016(10)
碩士論文
[1]基于深度學習的雙模態(tài)情感識別[D]. 袁亮.南京郵電大學 2018
[2]動態(tài)K-means算法在遙感圖像挖掘領域的并行化研究[D]. 鮑黎明.南京郵電大學 2017
[3]應用SIFT算法的圖像配準系統(tǒng)設計與實現(xiàn)[D]. 高文剛.中北大學 2017
[4]基于云平臺的大規(guī)模圖像檢索研究[D]. 朱珊.北京交通大學 2017
[5]基于Hadoop云計算平臺的K-Means聚類算法研究[D]. 劉洋.哈爾濱理工大學 2017
[6]SIFT特征匹配技術研究與應用[D]. 陳晗婧.南京理工大學 2017
[7]基于SIFT算法的快速圖像配準技術[D]. 孫偉曄.吉林大學 2017
[8]場景圖像分類的若干問題研究[D]. 謝可.東南大學 2016
[9]K-means聚類算法的改進研究[D]. 宋建林.安徽大學 2016
[10]基于PCA和LBP改進算法的人臉識別研究[D]. 霍焰焰.哈爾濱理工大學 2015
本文編號:3309571
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3309571.html
最近更新
教材專著