當(dāng)前,隨著人工智能技術(shù)的不斷發(fā)展,深度人工神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于人類社會的各個領(lǐng)域。特別地,前饋型深度卷積神經(jīng)網(wǎng)絡(luò)（CNNs）在各種計算機視覺任務(wù)上已經(jīng)取得了巨大成功。然而,隨著應(yīng)用需求的不斷增加,視覺處理任務(wù)復(fù)雜度不斷提高,依靠簡單前饋方式工作的卷積神經(jīng)網(wǎng)絡(luò)開始滿足不了人們的需求,探索更加類似人類視覺系統(tǒng)的新一代視覺信息處理神經(jīng)網(wǎng)絡(luò)顯得迫在眉睫。來自認(rèn)知神經(jīng)科學(xué)的研究表明,人類的視覺系統(tǒng)由大量的前饋連接、反饋連接和側(cè)向連接構(gòu)成,而反饋連接和側(cè)向連接的數(shù)量遠(yuǎn)遠(yuǎn)大于前饋連接。因此,基于前饋網(wǎng)絡(luò)構(gòu)建有效的反饋機制具有重要的研究價值。本文受人類視皮質(zhì)層反饋機制的啟發(fā),對深度卷積神經(jīng)網(wǎng)絡(luò)中如何構(gòu)建反饋機制進(jìn)行了深入的研究,提出了有效的反饋機制計算模型和運行框架,充分?jǐn)U展了深度卷積神經(jīng)網(wǎng)絡(luò)的功能,并成功運用于多項計算視覺任務(wù)中。本文的主要研究工作和貢獻(xiàn)歸納如下:1.在深度卷積神經(jīng)網(wǎng)絡(luò)中,針對反饋機制的構(gòu)建問題,本文在理論上提出了有效的反饋機制計算模型。在面向目標(biāo)識別的深度卷積神經(jīng)網(wǎng)絡(luò)中,本文給出了反饋機制的具體數(shù)學(xué)定義,并將反饋機制建模成一個優(yōu)化問題,確定了反饋機制工作運行的基本框架。2.針對提出... 

【文章來源】：中國科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁數(shù)】：117 頁

【學(xué)位級別】：博士

【部分圖文】：

HopBeld神經(jīng)網(wǎng)絡(luò)塞本結(jié)構(gòu)

的輸出：＾都會通過反饋連接（權(quán)重為作為其他神經(jīng)元輸入，即神經(jīng)元的輸出都會受到所有其他神經(jīng)元輸出的調(diào)節(jié)，所有神經(jīng)元的輸制約相互影響的。ＤＨＮＮ的工作過程從初始狀態(tài)開始隨著外界的輸入演變的過程，可以想象，所有神經(jīng)元的狀態(tài)在這個動態(tài)演變的過程中將不斷調(diào)整，而最終網(wǎng)絡(luò)穩(wěn)定收斂時，所有神經(jīng)元的狀態(tài)將不再改變。Ｈｏｐ一種非線性的動力學(xué)系統(tǒng)，它能夠?qū)崿F(xiàn)存儲預(yù)設(shè)穩(wěn)定點的功能，而其動體現(xiàn)在它能夠進(jìn)行穩(wěn)定性分析，具有有限環(huán)和混沌等狀態(tài)。??我們通過Ｈｏｐｆｉｅｌｄ網(wǎng)絡(luò)可以實現(xiàn)簡單的聯(lián)想記憶功能【２８＞２９］。如果我ｆｉｅｌｄ網(wǎng)絡(luò)的穩(wěn)態(tài)表７Ｆ成一■種模式，那么這種模式能夠通過Ｈｏｐｆｉｅｌｄ網(wǎng)絡(luò)化過程從初始的部分模式信息恢復(fù)出完整的模式信息，這便實現(xiàn)了該想記憶。另外，我們也可以通過Ｈｏｐｆｉｅｌｄ網(wǎng)絡(luò)實現(xiàn)優(yōu)化問題的求解，這用Ｈｏｐｆｉｅｌｄ網(wǎng)絡(luò)的能量函數(shù)來實現(xiàn)。具體來講，我們可以將優(yōu)化問題的轉(zhuǎn)化為Ｈｏｐｆｉｅｌｄ網(wǎng)絡(luò)的能量函數(shù)，網(wǎng)絡(luò)的初始狀態(tài)對應(yīng)成優(yōu)化問題的優(yōu)空間的起始點，而當(dāng)網(wǎng)絡(luò)能量不斷減小并收斂時，網(wǎng)絡(luò)的輸出就成了的一個解。??ｙ（ｔ）輸出層??

簡單的拼圖任務(wù)等，這時就需要雙向＿下疊加在一起組成的。輸出由這兩個ＲＮＮ的同時提供給兩個方向相反的＿，而輸出則是來獲得。前面介紹的ＲＮＮｓ和雙向ＲＮＮｓ都是網(wǎng)絡(luò)只有一個隱層的情況，如果我們設(shè)置網(wǎng)絡(luò)個隱層，這樣便能形成深度循環(huán)網(wǎng)絡(luò)。??間的反向傳播（ＢＰＴＴ）［３６】算法來訓(xùn)練網(wǎng)絡(luò)權(quán)向，從網(wǎng)絡(luò)的輸出反向推導(dǎo)每一個可學(xué)習(xí)參數(shù)梯度更新每個可學(xué)習(xí)參數(shù)。淺層＿３在采用的成功，然而，ＲＮＮｓ在處理長期依賴時會遇回傳過程中，距離較遠(yuǎn)的節(jié)點之間在計算梯度時容易出現(xiàn)梯度消失的問題。許多研究者參與出解決方案，例如ＥＳＮ?（Ｅｃｈｏ?Ｓｔａｔｅ?Ｎｅｔｗｏｒｋ＾?（ＧａｔｅｄＲＮＮ［３９］）等等。長短期記憶網(wǎng)絡(luò)ＬＳＴ。??

【參考文獻(xiàn)】：
期刊論文
[1]人工智能各國戰(zhàn)略解讀:美國推進(jìn)創(chuàng)新腦神經(jīng)技術(shù)腦研究計劃[J]. 倫一.  電信網(wǎng)技術(shù). 2017(02)
[2]劉成林:從模式識別到類腦研究[J]. 祝葉華.  科技導(dǎo)報. 2016(07)
[3]世界科技創(chuàng)新趨勢與啟示[J]. 白春禮.  科學(xué)發(fā)展. 2014(03)



本文編號：3091693