基于Hi3559的全景拼接與行人檢測系統(tǒng)軟件研發(fā)
發(fā)布時間:2021-01-06 12:29
隨著計算機技術的快速發(fā)展,視頻監(jiān)控系統(tǒng)越來越多地被應用在人們的日常生活中。傳統(tǒng)的視頻監(jiān)控系統(tǒng)由于攝像頭位置固定,能夠獲取的視野范圍有限,且存在盲區(qū),會留下潛在的安全隱患。另外,當視頻畫面內行人較多時,安保人員的監(jiān)察效率會有所下降。通過視頻拼接和目標檢測技術,能夠將多路有重疊區(qū)域的視頻拼接成具有廣闊視野的全景視頻,并實時檢測場景內的動目標,對于提升視頻監(jiān)控的效率具有重要意義。對此,本文研發(fā)了基于Hi3559的全景拼接與行人檢測系統(tǒng)。系統(tǒng)采用模塊化的設計思想,分為流媒體處理模塊、視頻拼接模塊和行人檢測模塊。其中,流媒體處理模塊負責三路視頻數(shù)據(jù)的采集和預處理工作,并將算法處理后的全景視頻數(shù)據(jù)編碼后進行推送,供瀏覽器訪問;視頻拼接模塊基于SURF算法實現(xiàn)視頻圖像的特征點提取,使用最近鄰與次近鄰算法實現(xiàn)特征點的匹配,并結合RANSAC算法對特征點進行提純,最后基于最佳縫合線完成三路視頻的融合,拼接過程使用開發(fā)板的AVS模塊實現(xiàn)硬件加速。行人檢測模塊基于GMM檢測前景運動目標,使用開發(fā)板的IVE模塊實現(xiàn)GMM建模、前景檢測、后處理、連通區(qū)域標定等操作及硬件加速。系統(tǒng)測試結果表明,該系統(tǒng)能夠完成三路...
【文章來源】:浙江大學浙江省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:90 頁
【學位級別】:碩士
【部分圖文】:
圖1-1傳統(tǒng)監(jiān)控改進方案??
浙江大學碩士學位論文?相關技術??圖像A采集——?圖像A預處理——??^圖像配準_?圖像融合一?輸出圖像?????圖像B采集一?圖像B預處理——??圖2-1圖像拼接流程圖??1)圖像采集:通過攝像頭等設備,獲取輸入圖像數(shù)據(jù),本文使用的視頻采??集設備是IMX334模組。??2)圖像預處理:對輸入圖像進行去噪、曝光調整、畸變矯正等預處理工作,??為后續(xù)的圖像配準做準備。預處理工作的好壞,影響后續(xù)圖像拼接的速率和精確??程度。本文的圖像采集和預處理工作都在流媒體處理模塊的視頻采集模塊中完成。??3?)圖像配準:圖像配準就是將在不同時間或者不同視角下獲取的多幅圖像,??使用相關的圖像配準算法對圖像之間的重疊區(qū)域做處理,并計算用于將多幅圖像??變換到同一坐標系下的變換矩陣,實現(xiàn)空間位置對齊的過程14?51。??4)圖像融合:圖像融合技術能夠將配準后的多幅圖像,拼接成一幅完整的??全景圖像,并消除明顯的拼接痕跡和嵬影等現(xiàn)象,使得圖像整體更加平滑1461。??圖像拼接的關鍵在于圖像配準和圖像融合。圖像配準決定了圖像拼接的準確??程度,圖像融合決定了最后輸出圖像是否自然。下面對圖像配準和圖像融合做具??體介紹。??2.2.1圖像配準??圖像配準是通過提取圖像的特征信息,如顏色、紋理等,對齊多幅圖像的重??疊區(qū)域,并將不同視角下的多幅圖像變換到同一平面下的過程。從數(shù)學角度講,??普通的圖像可以用二維矩陣進行表示,所以圖像配準的目的就是計算出圖像的變??換矩陣,實現(xiàn)多幅圖像到同一坐標系下的變換。??變換矩陣能用來表征圖像之間的幾何變換關系,間接地表示相機的相對位置??關系。圖像的幾何變換關系可分為剛體變換、相似變換、仿射
浙江大學碩士學位論文?相關技術??變換可以用3*3的透視變換矩陣完成,該變換矩陣也稱單應性矩陣(Homography??Matrix)。通過單應性矩陣,能夠將不同視角下的圖像變換到同一平面,為后續(xù)??圖像融合做準備,其變換示意圖如圖2-2所示。??-?O'?^?-??.(議:〉H??pbnoi?srnfacc??圖2-2透視變換示意圖??單應性矩陣H的表達式如式(2-1)所示:??■all?a12?a13_??//?=?a21?a22?a23?(2-1)??-a31?a32?a33_??其中G11?,21表示線性變換,比如縮放、剪切、旋轉。丨¥31用于平移,??La2i?a22」?La23j??[%i?a32]產生透視變換。??假設圖像中對應點對的齊次坐標分別為1)和1),則透視變換的??通用變換公式如式(2-2)所示:??all?a12?a13'??[x'?,y',?1]?=?[u,V,?1]?^21?a22?a23?(2-2)??-a31?a32?a33.??矩陣展開并代入之后可得變換后的圖像坐標表示如式(2-3)所示:??axlu?+?a21v?+?a3i??義,—???a13u?+?a23v?+?a33??(2-3)??,a12u?+?a22v?+?a32??—??a13u?+?a23v?+?a33??由于使用的是齊次坐標系,所以可以進行任意尺度的縮放,對式(2-3)同時除??以以后,變換矩陣只剩下8個自由度,因此只需要4組對應點就可以唯一確??定一個透視變換的單應性矩陣模型。在實際的應用場景中,由于噪聲等干擾因素??的存在,通常需要遠大于4組的點對并結合其他算法
【參考文獻】:
期刊論文
[1]基于視覺的目標檢測與跟蹤綜述[J]. 尹宏鵬,陳波,柴毅,劉兆棟. 自動化學報. 2016(10)
[2]一種多路快速視頻拼接系統(tǒng)設計與實現(xiàn)[J]. 吳健,蘭時勇,黃飛虎. 計算機工程. 2014(02)
[3]基于SIFT特征檢測的圖像拼接優(yōu)化算法研究[J]. 黨建武,宗巖,王陽萍. 計算機應用研究. 2012(01)
本文編號:2960570
【文章來源】:浙江大學浙江省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:90 頁
【學位級別】:碩士
【部分圖文】:
圖1-1傳統(tǒng)監(jiān)控改進方案??
浙江大學碩士學位論文?相關技術??圖像A采集——?圖像A預處理——??^圖像配準_?圖像融合一?輸出圖像?????圖像B采集一?圖像B預處理——??圖2-1圖像拼接流程圖??1)圖像采集:通過攝像頭等設備,獲取輸入圖像數(shù)據(jù),本文使用的視頻采??集設備是IMX334模組。??2)圖像預處理:對輸入圖像進行去噪、曝光調整、畸變矯正等預處理工作,??為后續(xù)的圖像配準做準備。預處理工作的好壞,影響后續(xù)圖像拼接的速率和精確??程度。本文的圖像采集和預處理工作都在流媒體處理模塊的視頻采集模塊中完成。??3?)圖像配準:圖像配準就是將在不同時間或者不同視角下獲取的多幅圖像,??使用相關的圖像配準算法對圖像之間的重疊區(qū)域做處理,并計算用于將多幅圖像??變換到同一坐標系下的變換矩陣,實現(xiàn)空間位置對齊的過程14?51。??4)圖像融合:圖像融合技術能夠將配準后的多幅圖像,拼接成一幅完整的??全景圖像,并消除明顯的拼接痕跡和嵬影等現(xiàn)象,使得圖像整體更加平滑1461。??圖像拼接的關鍵在于圖像配準和圖像融合。圖像配準決定了圖像拼接的準確??程度,圖像融合決定了最后輸出圖像是否自然。下面對圖像配準和圖像融合做具??體介紹。??2.2.1圖像配準??圖像配準是通過提取圖像的特征信息,如顏色、紋理等,對齊多幅圖像的重??疊區(qū)域,并將不同視角下的多幅圖像變換到同一平面下的過程。從數(shù)學角度講,??普通的圖像可以用二維矩陣進行表示,所以圖像配準的目的就是計算出圖像的變??換矩陣,實現(xiàn)多幅圖像到同一坐標系下的變換。??變換矩陣能用來表征圖像之間的幾何變換關系,間接地表示相機的相對位置??關系。圖像的幾何變換關系可分為剛體變換、相似變換、仿射
浙江大學碩士學位論文?相關技術??變換可以用3*3的透視變換矩陣完成,該變換矩陣也稱單應性矩陣(Homography??Matrix)。通過單應性矩陣,能夠將不同視角下的圖像變換到同一平面,為后續(xù)??圖像融合做準備,其變換示意圖如圖2-2所示。??-?O'?^?-??.(議:〉H??pbnoi?srnfacc??圖2-2透視變換示意圖??單應性矩陣H的表達式如式(2-1)所示:??■all?a12?a13_??//?=?a21?a22?a23?(2-1)??-a31?a32?a33_??其中G11?,21表示線性變換,比如縮放、剪切、旋轉。丨¥31用于平移,??La2i?a22」?La23j??[%i?a32]產生透視變換。??假設圖像中對應點對的齊次坐標分別為1)和1),則透視變換的??通用變換公式如式(2-2)所示:??all?a12?a13'??[x'?,y',?1]?=?[u,V,?1]?^21?a22?a23?(2-2)??-a31?a32?a33.??矩陣展開并代入之后可得變換后的圖像坐標表示如式(2-3)所示:??axlu?+?a21v?+?a3i??義,—???a13u?+?a23v?+?a33??(2-3)??,a12u?+?a22v?+?a32??—??a13u?+?a23v?+?a33??由于使用的是齊次坐標系,所以可以進行任意尺度的縮放,對式(2-3)同時除??以以后,變換矩陣只剩下8個自由度,因此只需要4組對應點就可以唯一確??定一個透視變換的單應性矩陣模型。在實際的應用場景中,由于噪聲等干擾因素??的存在,通常需要遠大于4組的點對并結合其他算法
【參考文獻】:
期刊論文
[1]基于視覺的目標檢測與跟蹤綜述[J]. 尹宏鵬,陳波,柴毅,劉兆棟. 自動化學報. 2016(10)
[2]一種多路快速視頻拼接系統(tǒng)設計與實現(xiàn)[J]. 吳健,蘭時勇,黃飛虎. 計算機工程. 2014(02)
[3]基于SIFT特征檢測的圖像拼接優(yōu)化算法研究[J]. 黨建武,宗巖,王陽萍. 計算機應用研究. 2012(01)
本文編號:2960570
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/2960570.html
最近更新
教材專著