隨著人民生活水平的不斷提高,越來越多的人也開始選擇通過民航系統(tǒng)出行。而在民航飛行規(guī)模增長的同時(shí),一些可能影響民航飛行過程中的安全隱患也逐漸浮出水面。航空安全事件是指與航空器運(yùn)行有關(guān)的,造成人員傷亡、經(jīng)濟(jì)損失、航空器損壞或失蹤的意外事件。與此同時(shí),信息資源的爆炸式增長與網(wǎng)絡(luò)資訊的飛速傳播,對于航空安全事件的數(shù)據(jù)收集與整理也造成了極大的挑戰(zhàn)。因此,研究面向跨媒體信息的圖文關(guān)聯(lián)方法,并應(yīng)用在航空安全事件的知識庫構(gòu)建上,具有重要意義,本文對以下內(nèi)容進(jìn)行了研究。針對航空安全事件模態(tài)單一的問題提出了一種基于循環(huán)殘差網(wǎng)絡(luò)的改進(jìn)方法用于圖文檢索。該方法的主體為包含殘差連接與循環(huán)連接的雙分支嵌入網(wǎng)絡(luò),在精簡計(jì)算量的同時(shí)提取更深的特征。對算法的改進(jìn)主要在于特征提取步驟中采用的高斯-拉普拉斯多重混合模型的使用,目標(biāo)函數(shù)采用基于三元組的雙向排序損失。以R@K作為實(shí)驗(yàn)指標(biāo),表明了該設(shè)置對于實(shí)驗(yàn)效果有著一定的改進(jìn)。在公共數(shù)據(jù)集上,雙向檢索的R@K值與改進(jìn)前的循環(huán)殘差網(wǎng)絡(luò)相比提高了近1%,將該特征嵌入方法應(yīng)用于航空安全事件圖像和文本的雙向檢索,實(shí)驗(yàn)效果也比不使用嵌入組件的網(wǎng)絡(luò)更好。為了實(shí)現(xiàn)面向航空安全事件更準(zhǔn)確的圖... 

【文章來源】：中國民航大學(xué)天津市

【文章頁數(shù)】：59 頁

【學(xué)位級別】：碩士

【部分圖文】：

突發(fā)事件跨媒體信息檢索系統(tǒng)

紓―eepConvolutionalNeuralNetwork，DCNN）應(yīng)用在圖像識別領(lǐng)域的大門[29]。網(wǎng)絡(luò)結(jié)構(gòu)如圖2-2所示。早期基于DCNN的圖像識別方法通常將圖像分為對象和背景區(qū)域進(jìn)行識別。隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，圖像識別技術(shù)也逐漸完成了從手工標(biāo)注到自動(dòng)化、規(guī)模不斷擴(kuò)大，結(jié)合自然語言處理技術(shù)從而對圖像進(jìn)行描述、到應(yīng)用拓展的過渡。從圖像的識別到語義分析的難點(diǎn)在于[30]：（1）圖像的視覺表達(dá)與語義之間的表達(dá)可能存在完全不同的指代，產(chǎn)生巨大的語義鴻溝（SemanticGap）；（2）語義表達(dá)自身所具有的多義性和不確定性（Ambiguity）。圖2-2AlexNet網(wǎng)絡(luò)結(jié)構(gòu)圖圖像的文本描述最早是由Farhadi等人[31]提出。具體的形式化描述為：令I(lǐng)表示圖像，S表示文本描述，模型完成從圖像I到描述句子S的跨越模態(tài)映射。早期的圖像描述方法基于模板，將從圖像中識別出來的實(shí)體、屬性和關(guān)系等信息填充到預(yù)設(shè)的句子模板中形成對圖像的描述。Yang[32]等人用隱馬爾科夫模型選擇可能的對象、動(dòng)詞、介詞以及背景類型填充句子的模板。但這一方式受限于人工預(yù)設(shè)的句子模型，生成的文本描述不具有多樣性�；跈z索的方法將圖像的文本描述問題看作信息檢索問題，首先利用圖像視覺特征上的相似性檢索候選圖像集（帶標(biāo)注），再通過統(tǒng)計(jì)或聚類的方法將標(biāo)注組合生成圖像的候選文本描述，最后對圖像的候選文本描述進(jìn)行排序，選取最優(yōu)結(jié)果[33-34]。GIST和SIFT作為常

中國民航大學(xué)碩士學(xué)位論文9用的圖像描述特征也在這一研究中得到了靈活使用[35]，新近的特征提取方法也結(jié)合了深度學(xué)習(xí)，如卷積神經(jīng)網(wǎng)絡(luò)VGG-CNN（VisualGeometryGroupConvolutionalNeuralNetwork）[36]。網(wǎng)絡(luò)結(jié)構(gòu)如圖2-3所示。這樣的方法限制在于圖像標(biāo)注。圖2-3VGG-CNN網(wǎng)絡(luò)結(jié)構(gòu)近幾年，基于編碼—解碼的方法在計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域都有廣泛的應(yīng)用，同樣的，研究人員考慮在圖像描述方面應(yīng)用這一類型的方法。根據(jù)編碼和解碼方法不同，基于編碼—解碼的圖像文本描述方法又可分為三種：基于融合的方法、基于注意力的方法以及基于強(qiáng)化學(xué)習(xí)的方法[33]。然而，大多數(shù)的圖像與文本相關(guān)研究都集中在從圖像生成文本描述方面，屬于不同模態(tài)間的單方向研究。2.2.2文本指向圖像當(dāng)給定查詢文本，需要依據(jù)文本的表意去檢索展示或者反映了相似內(nèi)容的圖像。在從文本檢索圖像這一方面，早期的僅使用特定的關(guān)鍵詞來匹配的方法越來越令人感到掣肘，所以在使用文本對圖像進(jìn)行檢索這一研究范疇內(nèi)，逐漸開始引進(jìn)更多輔助道具用來檢索，包括結(jié)合內(nèi)容、顏色、語義進(jìn)行檢索等方案。比如Squire[37]等人提出的結(jié)合圖像中稀疏的顏色和紋理特征的特征加權(quán)方案，相關(guān)性反饋也使該文本檢索系統(tǒng)在性能上得到了提升。此外，關(guān)系也可以作為構(gòu)建文本與圖像模態(tài)之間的溝通橋梁。Lin[38]等人通過關(guān)系建模了文本的視覺表示，將該視覺表示與文本本身整合到一起進(jìn)行檢索，得到最終檢索排名。Feng[39]將基于統(tǒng)計(jì)模型的文本檢索圖像技術(shù)進(jìn)行了一個(gè)系統(tǒng)的梳理，主要研究了基于注釋檢索的兩個(gè)概率生成模型和通用圖像的直接檢索模型。但是對于大規(guī)模甚至是無監(jiān)督的雜亂形式數(shù)據(jù)，機(jī)器學(xué)習(xí)仍然比起傳統(tǒng)的統(tǒng)計(jì)方法更勝一籌。Cornia[40]提出的基

【參考文獻(xiàn)】：
期刊論文
[1]圖像語義分割方法綜述[J]. 胡濤,李衛(wèi)華,秦先祥.  測控技術(shù). 2019(07)
[2]分類重構(gòu)堆棧生成對抗網(wǎng)絡(luò)的文本生成圖像模型[J]. 陳鑫晶,陳鍛生.  華僑大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(04)
[3]民航突發(fā)事件領(lǐng)域本體關(guān)系提取方法的研究[J]. 王紅,李晗,李浩飛.  計(jì)算機(jī)科學(xué)與探索. 2020(02)
[4]深度學(xué)習(xí)在圖像識別中的應(yīng)用研究綜述[J]. 鄭遠(yuǎn)攀,李廣陽,李曄.  計(jì)算機(jī)工程與應(yīng)用. 2019(12)
[5]基于語義相關(guān)性與拓?fù)潢P(guān)系的跨媒體檢索算法[J]. 代剛,張鴻.  計(jì)算機(jī)應(yīng)用. 2018(09)
[6]圖像的文本描述方法研究綜述[J]. 馬龍龍,韓先培,孫樂.  中文信息學(xué)報(bào). 2018(04)
[7]數(shù)字圖像語義標(biāo)注模型比較與分析[J]. 陳金菊,歐石燕.  圖書情報(bào)工作. 2018(06)
[8]基于貝葉斯網(wǎng)絡(luò)的民航突發(fā)事件因果關(guān)系分析方法研究[J]. 王紅,郭笑丹,祝寒.  計(jì)算機(jī)應(yīng)用研究. 2019(03)
[9]圖像語義相似性網(wǎng)絡(luò)的文本描述方法[J]. 劉暢,周向東,施伯樂.  計(jì)算機(jī)應(yīng)用與軟件. 2018(01)
[10]SURF算法的降維研究[J]. 盧清薇,羅旌鈺,王云峰.  軟件. 2017(12)



本文編號：2967361