【摘要】：對環(huán)境的感知,是人類獲取周圍環(huán)境信息的主要手段。視覺信息占人類從外界獲取信息的比例超過八成。圖像傳感器自誕生以來,給科學研究,工業(yè)生產,日常生活帶來了極大的影響。隨著圖像傳感器應用的逐漸擴展和深入,對傳感器的多方面參數(shù)提出了新的要求,傳感器自身也在不斷發(fā)展。大視場,高分辨率和高幀率的成像儀器一直是科學研究與工程技術工作者不斷努力的方向。在充分調研大視場,超高像素成像方案的基礎上,結合當前快速發(fā)展的信息處理技術,本論文采用了多傳感器的方案設計了一套大視場成像實驗儀器。論文從以下幾個方面總結了課題的主要研究工作：1、首先從機械結構、圖像傳感器的電子驅動與數(shù)據(jù)采集、圖像數(shù)據(jù)傳輸三個方面介紹本論文中提出的平面型大視場系統(tǒng)硬件構成。研究球面視場空間與傳感器矩形成像面的關系,確定視場分割方法。詳細介紹了子相機光軸空間指向和半球空間分割的結果�？紤]到視場分割的關鍵在于光軸指向與矩形視場的大小,保持這兩者不變可以將傳感器的位置進行局部平移。提出了一種類菲涅耳透鏡的平面相機陣列結構。該結構具有靈活、緊湊、便于電氣連接的優(yōu)點。研究了基于FPGA器件實現(xiàn)對多路圖像傳感器數(shù)據(jù)采集的方法。在單芯片上實現(xiàn)對圖像傳感器的曝光控制,數(shù)據(jù)采集,并實現(xiàn)了Camera Link高速數(shù)字圖像傳輸接口。使得最終的大視場相機結構更加緊湊,系統(tǒng)的穩(wěn)定性得到提升。并對系統(tǒng)進行測試,給出了詳細參數(shù)。2、一個理想的由鏡頭和圖像傳感器組成的攝像系統(tǒng)應該是無畸變、無噪聲的空間平移不變線性系統(tǒng),但實際物理器件會受到各種限制,無法達到這一要求。課題對設計的大視場相機輻射響應特性進行了定標分析。輻射定標是指確定輸入相機的輻射亮度與相機輸出信號幅值之間的定量關系,即定量相機的輻射響應特性。由多個傳感器構成的大視場成像設備,因為各個子相機的光學鏡頭的誤差,傳感面的感光敏感度,電子部件的不同,導致相同的場景通過不同的子相機獲得的數(shù)字圖像存在一定的差異。為了定量化這種差異對最終獲得的全景圖像的影響,我們對大視場相機的各個子相機的輻射響應進行了精確標定。包括傳感器的線性和非線性輻射響應,不同曝光狀態(tài)下的暗電流幅值,和鏡頭與機械結構引起的漸暈特性。給出了依據(jù)標定結果對圖像矯正的示例,和利用矯正圖進行拼接融合的全景圖。在大視場范圍成像場景下,整個視場內的光照亮度差異通常會很大。傳統(tǒng)的采用廣角鏡頭和單個傳感器的形式,會導致較暗的區(qū)域和較亮的區(qū)域都無法在傳感器上得到有效的響應值。通過采用多個子相機覆蓋大的視場能夠有效緩解這種量化位數(shù)不夠帶來的局限。3、為了得到大視場相機結構中各個子相機的內部和外部參數(shù)的精確值,課題中對全部子相機的內部和外部參數(shù)進行了標定。基于子相機的畸變參數(shù),對采集到的圖像首先進行校正。研究了圖像拼接和全景圖的合成方法�；谖覀兊拇笠晥鱿鄼C實驗儀器,結合子相機的內部和外部參數(shù),利用標定獲得的內、外參數(shù)對圖像進行初步配準,并結合圖像特征進行多相機聯(lián)合優(yōu)化。避免了多相機圖像拼接時需要逐個配準,和可能出現(xiàn)配準失效的問題。同時,采用多傳感器的大視場方案,能有效避免場景中運動物體給最終全景圖合成造成的困難。改進多波段融合方法對配準后的圖像進行融合。最終獲得可自選投影表面的全景圖。多相機內外參數(shù)的詳細標定,為虛擬現(xiàn)實,三維重建和目標跟蹤等應用打下了堅實的基礎。
文內圖片：
圖片說明：圖１．邋２單中屯、《尺度ＡＷＡ祀－２型號相機逡逑該系統(tǒng)的核屯、是被命名為ａｗａｒｅ的一種單中也多尺度相機ＷＷＷ，，ａｗａｒｅ－２逡逑
[Abstract]:The perception of the environment is the main means for human to get the information of the surrounding environment. Visual information accounts for more than 80 percent of the world's access to information from the outside world. Since its birth, the image sensor has brought great influence to scientific research, industrial production and daily life. With the gradual expansion and in-depth of the application of the image sensor, new requirements are put forward for many parameters of the sensor, and the sensor itself is developing continuously. Imaging instruments with large field of view, high resolution and high frame rate have been the direction of continuous efforts by scientific research and engineering engineers. Based on the full investigation of the large-field and super-high-pixel imaging scheme, combined with the current rapid development information processing technology, a large-field-of-view imaging experimental instrument is designed in this paper. In this paper, the main research work of the project is summarized from the following aspects:1. Firstly, the hardware structure of the planar large-field-of-view system is introduced from three aspects: the mechanical structure, the electronic drive of the image sensor, the data acquisition and the image data transmission. The relation between the spherical field of view space and the rectangular imaging surface of the sensor is studied, and the method of field-of-view segmentation is determined. The results of the spatial orientation of the optical axis of the sub-camera and the division of the semi-spherical space are described in detail. The position of the sensor can be locally translated in view of the key point of view division at the optical axis pointing to the size of the rectangular field of view. A planar camera array structure of a kind of Fresnel lens is proposed. The structure has the advantages of being flexible, compact and convenient for electrical connection. The method of multi-channel image sensor data acquisition based on FPGA is studied. The invention realizes the exposure control and the data acquisition of the image sensor on a single chip, and realizes the Camera Link high-speed digital image transmission interface. So that the final large-field-of-view camera structure is more compact and the stability of the system is improved. And the system is tested and the detailed parameters are given. An ideal imaging system composed of a lens and an image sensor should be a non-distortion and noise-free space translation invariant linear system, but the actual physical device is subject to various restrictions and cannot meet the requirement. In this paper, the radiation response characteristics of the large-field-of-view camera designed are scaled and analyzed. The radiation calibration is the quantitative relation between the radiation intensity of the input camera and the amplitude of the output signal of the camera, that is, the radiation response characteristic of the quantitative camera. The large-field-of-view imaging device is composed of a plurality of sensors, because the error of the optical lens of each sub-camera, the sensitivity of the sensing surface and the difference of the electronic components cause the same scene to have a certain difference through the digital images obtained by different sub-cameras. In order to quantify the effect of this difference on the final obtained panoramic image, we accurately calibrate the radiation response of each sub-camera of the large field camera. Includes the linear and non-linear radiation response of the sensor, the dark current amplitude in different exposure states, and the vignetting characteristics caused by the lens and the mechanical structure. An example of image correction is given based on the result of the calibration, and a full view of the fusion of the image with the correction diagram is given. In large field-of-view imaging scenarios, the difference in illumination brightness in the entire field of view is generally large. The traditional form of wide-angle lenses and a single sensor results in a darker area and a lighter area that can't get an effective response on the sensor. In order to obtain the accurate values of the internal and external parameters of each sub-camera in the large-field-of-view camera structure, the internal and external parameters of all sub-cameras are calibrated. The acquired image is first corrected based on the distortion parameters of the sub-camera. The synthetic method of image mosaic and panorama is studied. Based on our large field-of-view camera experiment instrument, combined with the internal and external parameters of the sub-camera, the image is preliminarily registered by using the internal and external parameters obtained by the calibration, and the multi-camera joint optimization is carried out in combination with the image characteristics. Which avoids the need for one-by-one registration when the multi-camera image is spliced, and the problem that the registration failure can occur. And meanwhile, a large-field-of-view scheme with a multi-sensor is adopted, so that the difficulty caused by the motion object in the scene to the final panorama synthesis can be effectively avoided. And the improved multi-band fusion method is used for fusing the registered images. And finally, the panorama of the self-selected projection surface is obtained. The detailed calibration of the internal and external parameters of the multi-camera lays a solid foundation for the application of virtual reality, three-dimensional reconstruction and target tracking.
【學位授予單位】：中國科學技術大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP391.41;TB852.1

【相似文獻】

相關期刊論文 前10條

1 朱蘇磊,韓焱;CMOS圖像傳感器的消噪技術[J];測試技術學報;2000年02期

2 李仰軍,馬俊婷,郝曉劍;微光CCD圖像傳感器驅動電路設計[J];測試技術學報;2001年03期

3 張文選,范 紅,胡 屏;CMOS圖像傳感器介紹[J];長春光學精密機械學院學報;2002年01期

4 董佳,邱躍洪,陳智;應用于空間環(huán)境的CMOS圖像傳感器[J];科學技術與工程;2005年18期

5 曾朝陽,曾德賢,趙繼廣;CMOS圖像傳感器新技術綜述[J];光學儀器;2005年02期

6 趙志剛;畢曉麟;;CMOS圖像傳感器在光電自動跟蹤系統(tǒng)中的應用[J];科學技術與工程;2006年03期

7 周紅平;;CCD圖像傳感器原理[J];中國新技術新產品;2009年20期

8 ;德國研制出高速CMOS圖像傳感器[J];機床與液壓;2012年02期

9 孫志君;日電200萬像素的超高分辨率CCD圖像傳感器——日本CCD圖像傳感器中的一顆明珠[J];半導體光電;1988年03期

10 趙文伯,劉俊剛;CMOS圖像傳感器發(fā)展現(xiàn)狀[J];半導體光電;1999年01期

相關會議論文 前10條

1 閔昊;;CMOS圖像傳感器的現(xiàn)在及未來[A];信息科學與微電子技術:中國科協(xié)第三屆青年學術年會論文集[C];1998年

2 陳慧敏;栗蘋;閆曉鵬;孫建強;李昆;;CMOS圖像傳感器的最新進展及其應用[A];中國光學學會2006年學術大會論文摘要集[C];2006年

3 孟祥提;康愛國;黃強;;γ射線輻照對數(shù)字型彩色CMOS圖像傳感器輸出特性的影響[A];第三屆北京核學會核應用技術學術交流會論文集[C];2004年

4 劉宇;王國裕;趙洪信;崔昭華;;基于0.35μm工藝設計的APS CMOS圖像傳感器[A];2004全國圖像傳感器技術學術交流會議論文集[C];2004年

5 程開富;;圖像傳感器在醫(yī)學診斷領域中的應用[A];2004全國圖像傳感器技術學術交流會議論文集[C];2004年

6 呂建工;王詠梅;付利平;;CCD圖像傳感器應用簡介[A];中國空間科學學會空間探測專業(yè)委員會第十八次學術會議論文集（上冊）[C];2005年

7 宋愛群;黃元慶;;CCD圖像傳感器的應用技術與發(fā)展趨勢[A];第十七屆全國測控計量儀器儀表學術年會（MCMI'2007）論文集（上冊）[C];2007年

8 顏學龍;郭建峰;;CMOS圖像傳感器噪聲分析及抑制技術[A];2007'中國儀器儀表與測控技術交流大會論文集（二）[C];2007年

9 袁紅輝;陳世軍;劉強;徐星;王欣;丁毅;;一種專用128×128CMOS圖像傳感器的研制[A];中國光學學會2010年光學大會論文集[C];2010年

10 劉昌舉;祝曉笑;白雪平;吳治軍;楊雄敏;;高動態(tài)范圍CMOS圖像傳感器研究進展[A];中國光學學會2010年光學大會論文集[C];2010年

相關重要報紙文章 前10條

1 賽迪顧問研究員 李東宏;圖像傳感器提高汽車安全性[N];中國電子報;2005年

2 聞佳音;CMOS圖像傳感器開始成為熱點[N];電子報;2005年

3 邱詩文/DigiTimes;國內量產CMOS圖像傳感器[N];電子資訊時報;2005年

4 邱詩文/DigiTimes;CMOS圖像傳感器價格走勢分化[N];電子資訊時報;2005年

5 郭長佑;CMOS圖像傳感器之技術推進[N];電子資訊時報;2007年

6 許金池 DigiTimes;柯達CMOS圖像傳感器卷土重來[N];電子資訊時報;2007年

7 王小龍;德開發(fā)出新型有機圖像傳感器[N];科技日報;2013年

8 詩文;原相CMOS圖像傳感器銷售旺[N];電子資訊時報;2004年

9 ;誰是新一代圖像傳感器的主流？[N];電子資訊時報;2005年

10 郭長佑;CMOS圖像傳感器評介[N];電子資訊時報;2007年

相關博士學位論文 前10條

1 趙軍麗;面陣CMOS圖像傳感器窄帶濾波測速技術研究[D];中國科學院研究生院(西安光學精密機械研究所);2015年

2 高志遠;基于多次曝光技術的大動態(tài)范圍CMOS圖像傳感器研究[D];天津大學;2015年

3 李兆涵;超寬動態(tài)范圍圖像傳感器的研究[D];吉林大學;2016年

4 蔡俊;基于圖像超分辨率重建的CMOS圖像傳感器關鍵技術研究[D];上海大學;2016年

5 盧鈺;大視場超高像素相機關鍵技術研究[D];中國科學技術大學;2016年

6 張娜;超高速數(shù)字CMOS圖像傳感器關鍵技術研究[D];天津大學;2008年

7 朱天成;微光CMOS圖像傳感器關鍵技術研究[D];天津大學;2010年

8 裴志軍;高性能CMOS圖像傳感器設計技術研究[D];天津大學;2004年

9 張文普;高性能X射線CMOS圖像傳感器及應用研究[D];重慶大學;2005年

10 劉智;CMOS圖像傳感器在星敏感器中應用研究[D];中國科學院研究生院（長春光學精密機械與物理研究所）;2004年

相關碩士學位論文 前10條

1 姚嵐;一種CMOS圖像傳感器驅動及視頻處理技術的研究與實現(xiàn)[D];中國科學院研究生院（西安光學精密機械研究所）;2008年

2 崔博;CMOS圖像傳感器的噪聲研究與抑制電路設計[D];華中科技大學;2007年

3 鄒義平;CMOS圖像傳感器的圖像降噪技術的研究[D];北京郵電大學;2009年

4 顧曉;基于大面陣CMOS圖像傳感器的成像系統(tǒng)研究[D];中國科學院研究生院（西安光學精密機械研究所）;2005年

5 鄭金鵬;CMOS圖像傳感器的研究[D];天津大學;2005年

6 董博彥;CMOS圖像傳感器的測試與分析[D];天津大學;2005年

7 林聚承;新型CMOS圖像傳感器的研究[D];重慶大學;2006年

8 王瀟;CMOS圖像傳感器低功耗設計技術研究[D];北京交通大學;2007年

9 陳劍;CMOS圖像傳感器研究[D];西安電子科技大學;2007年

10 鄭曉;一種CMOS圖像傳感器的設計[D];西安電子科技大學;2007年

本文編號：2510492