基于CMOS憶阻器混合電路的遞歸神經(jīng)網(wǎng)絡(luò)研究與設(shè)計(jì)
發(fā)布時(shí)間:2021-07-31 16:22
隨著納米技術(shù)的發(fā)展,高集成度神經(jīng)網(wǎng)絡(luò)電路成為可能。雖然CMOS工藝在不斷地進(jìn)步,但是基于CMOS的神經(jīng)網(wǎng)絡(luò)仍然存在很多不可避免的問(wèn)題:突觸信息存儲(chǔ)在片上的易失性;CMOS神經(jīng)網(wǎng)絡(luò)需要額外的器件進(jìn)行神經(jīng)元累加操作等。這使得基于CMOS的神經(jīng)網(wǎng)絡(luò)難以滿足所需的高集成度。為了提高硬件集成度以及減少網(wǎng)絡(luò)功耗,提出了基于憶阻器的神經(jīng)網(wǎng)絡(luò)。憶阻器具有功耗低、尺寸小、計(jì)算存儲(chǔ)一體化等特點(diǎn),非常適合應(yīng)用于神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)中。本文利用憶阻器計(jì)算存儲(chǔ)一體化的特性,對(duì)憶阻器交叉陣列結(jié)構(gòu)進(jìn)行改進(jìn)和分析,使其更加準(zhǔn)確地存儲(chǔ)權(quán)值和偏置值,且結(jié)合憶阻器相應(yīng)的編碼方案后可以實(shí)現(xiàn)點(diǎn)積運(yùn)算過(guò)程。根據(jù)改進(jìn)的憶阻器交叉陣列結(jié)構(gòu),本文還設(shè)計(jì)了 CW-RNN電路結(jié)構(gòu),可以完成CW-RNN的基本運(yùn)算過(guò)程。在此運(yùn)算過(guò)程中,神經(jīng)元的狀態(tài)值直接使用采樣保持電路以模擬形式進(jìn)行存儲(chǔ),從而避免一次模數(shù)-數(shù)模轉(zhuǎn)換過(guò)程。此結(jié)構(gòu)設(shè)計(jì)面積為81.128um2,且相比較于一臺(tái)計(jì)算機(jī)的運(yùn)算性能,此電路結(jié)構(gòu)速度更快、功耗更低。由于憶阻器本身存在誤差,為了保證憶阻CW-RNN的可靠性,使用了憶阻器的寫(xiě)控制電路,使得憶阻器寫(xiě)權(quán)值更加準(zhǔn)確,分類準(zhǔn)確率更高。根據(jù)...
【文章來(lái)源】:湖南大學(xué)湖南省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:67 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2.1四種基本元件之間的關(guān)系[I6]??
電阻減小呈現(xiàn)低阻態(tài)。反之,缺氧摻雜物被推回,摻雜區(qū)減小,器件電阻增大呈??現(xiàn)高阻態(tài)。因此,器件的作用相當(dāng)于一個(gè)滑動(dòng)變阻器。惠普實(shí)驗(yàn)室給出了憶阻器??與滑動(dòng)變阻器的等效模型,如圖2.2所示,在該等效模型中D是兩電極之間薄??膜的長(zhǎng)度,w代表缺氧二氧化鈦摻雜長(zhǎng)度(也稱為狀態(tài)變量),電壓表、電流表??分別測(cè)憶阻器兩端的電壓以及流經(jīng)憶阻器的電流,由于非摻雜區(qū)域的阻性強(qiáng),將??非摻雜區(qū)等效成一個(gè)高電阻及說(shuō)(高阻態(tài)/OFF狀態(tài)),而摻雜區(qū)的導(dǎo)通性強(qiáng)電??阻小,將摻雜區(qū)等效成一個(gè)低電阻i?。。(低阻態(tài)/ON狀態(tài)),整個(gè)器件的總電阻??相當(dāng)于摻雜物所在區(qū)域的電阻串聯(lián)非摻雜區(qū)的電阻。??!'?…???*?w?...??■?w?、?一,?r?(1^?Undoped:??IMoped?I?Undoped?L?\?卜㈡??'<D?>?W ̄\?^?-AW-???■?,n??八ON??圖2.2憶阻器等效成滑動(dòng)變阻器模型mi??根據(jù)蔡少棠的憶阻器理論構(gòu)建電路模型時(shí),一個(gè)有效的憶阻器模型要滿足??以下要求:模型必須盡可能地與實(shí)際器件特性擬合;理想的模型應(yīng)該簡(jiǎn)單、直觀??且是閉合回路;模型應(yīng)該具有一般性
之間的互相連接構(gòu)成。每個(gè)神經(jīng)元都有一種特定的輸出函數(shù),被稱為激活函數(shù)。??每?jī)蓚(gè)神經(jīng)元間的連接都由加權(quán)值所表示,稱之為權(quán)重。連接權(quán)重值,神經(jīng)元之??間的連接方式和激勵(lì)函數(shù)的選擇不同會(huì)導(dǎo)致網(wǎng)絡(luò)的輸出不同。如下圖2.5展示了??一個(gè)神經(jīng)元,它是由輸入、激活函數(shù)和輸出組成。??X,?人工突觸??X2?^?/?''Nv?激活函數(shù)??x3?^??/(?)?>?輸出??i??圖2.5神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)??在神經(jīng)元的數(shù)學(xué)模型中,軸突所攜帶的信號(hào)A:通過(guò)突觸F進(jìn)行傳遞,由于??突觸的強(qiáng)弱不一,突觸F具有學(xué)習(xí)能力,它控制一個(gè)祌經(jīng)元對(duì)另一個(gè)神經(jīng)元影??響的大小和方向。然后樹(shù)突接收到信號(hào)后傳遞到神經(jīng)元內(nèi)部,與其他樹(shù)突傳遞過(guò)??來(lái)的信號(hào)一起進(jìn)行相加,如果這個(gè)和值大于某一個(gè)固定閾值的話,神經(jīng)元就會(huì)被??激活,然后傳遞沖激信號(hào)^給樹(shù)突。我們將是否激活神經(jīng)元的函數(shù)稱為激活函??數(shù)
【參考文獻(xiàn)】:
期刊論文
[1]基于憶阻器交叉陣列的卷積神經(jīng)網(wǎng)絡(luò)電路設(shè)計(jì)[J]. 胡飛,尤志強(qiáng),劉鵬,鄺繼順. 計(jì)算機(jī)研究與發(fā)展. 2018(05)
[2]基于神經(jīng)元晶體管和憶阻器的Hopfield神經(jīng)網(wǎng)絡(luò)及其在聯(lián)想記憶中的應(yīng)用[J]. 朱航濤,王麗丹,段書(shū)凱,楊婷. 西南大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[3]憶阻遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析及其在聯(lián)想記憶中的應(yīng)用(英文)[J]. 鮑剛,陳媛媛,溫思雨,賴陟岑. 自動(dòng)化學(xué)報(bào). 2017(12)
[4]一種基于憶阻激活函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)及其聯(lián)想記憶[J]. 郭騰騰,王麗丹,周夢(mèng)哲,段書(shū)凱. 中國(guó)科學(xué):信息科學(xué). 2017(09)
[5]A long lifetime,low error rate RRAM design with self-repair module[J]. 尤志強(qiáng),胡飛,黃黎明,劉鵬,鄺繼順,李實(shí)英. Journal of Semiconductors. 2016(11)
[6]神經(jīng)網(wǎng)絡(luò)七十年:回顧與展望[J]. 焦李成,楊淑媛,劉芳,王士剛,馮志璽. 計(jì)算機(jī)學(xué)報(bào). 2016(08)
[7]基于憶阻器的模擬人工神經(jīng)元電路設(shè)計(jì)[J]. 朱任杰,張濤,柯志強(qiáng). 微電子學(xué)與計(jì)算機(jī). 2014(08)
[8]憶阻器存儲(chǔ)研究與展望[J]. 胡舒凱,吳俊杰,周海芳,張擁軍,方旭東. 計(jì)算機(jī)研究與發(fā)展. 2012(S1)
[9]前饋神經(jīng)網(wǎng)絡(luò)中的反向傳播算法及其改進(jìn):進(jìn)展與展望[J]. 劉曙光,鄭崇勛,劉明遠(yuǎn). 計(jì)算機(jī)科學(xué). 1996(01)
碩士論文
[1]基于CMOS憶阻器混合電路的卷積神經(jīng)網(wǎng)絡(luò)研究與設(shè)計(jì)[D]. 胡飛.湖南大學(xué) 2017
[2]憶阻器在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用研究[D]. 王偉偉.湖南大學(xué) 2015
本文編號(hào):3313793
【文章來(lái)源】:湖南大學(xué)湖南省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:67 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2.1四種基本元件之間的關(guān)系[I6]??
電阻減小呈現(xiàn)低阻態(tài)。反之,缺氧摻雜物被推回,摻雜區(qū)減小,器件電阻增大呈??現(xiàn)高阻態(tài)。因此,器件的作用相當(dāng)于一個(gè)滑動(dòng)變阻器。惠普實(shí)驗(yàn)室給出了憶阻器??與滑動(dòng)變阻器的等效模型,如圖2.2所示,在該等效模型中D是兩電極之間薄??膜的長(zhǎng)度,w代表缺氧二氧化鈦摻雜長(zhǎng)度(也稱為狀態(tài)變量),電壓表、電流表??分別測(cè)憶阻器兩端的電壓以及流經(jīng)憶阻器的電流,由于非摻雜區(qū)域的阻性強(qiáng),將??非摻雜區(qū)等效成一個(gè)高電阻及說(shuō)(高阻態(tài)/OFF狀態(tài)),而摻雜區(qū)的導(dǎo)通性強(qiáng)電??阻小,將摻雜區(qū)等效成一個(gè)低電阻i?。。(低阻態(tài)/ON狀態(tài)),整個(gè)器件的總電阻??相當(dāng)于摻雜物所在區(qū)域的電阻串聯(lián)非摻雜區(qū)的電阻。??!'?…???*?w?...??■?w?、?一,?r?(1^?Undoped:??IMoped?I?Undoped?L?\?卜㈡??'<D?>?W ̄\?^?-AW-???■?,n??八ON??圖2.2憶阻器等效成滑動(dòng)變阻器模型mi??根據(jù)蔡少棠的憶阻器理論構(gòu)建電路模型時(shí),一個(gè)有效的憶阻器模型要滿足??以下要求:模型必須盡可能地與實(shí)際器件特性擬合;理想的模型應(yīng)該簡(jiǎn)單、直觀??且是閉合回路;模型應(yīng)該具有一般性
之間的互相連接構(gòu)成。每個(gè)神經(jīng)元都有一種特定的輸出函數(shù),被稱為激活函數(shù)。??每?jī)蓚(gè)神經(jīng)元間的連接都由加權(quán)值所表示,稱之為權(quán)重。連接權(quán)重值,神經(jīng)元之??間的連接方式和激勵(lì)函數(shù)的選擇不同會(huì)導(dǎo)致網(wǎng)絡(luò)的輸出不同。如下圖2.5展示了??一個(gè)神經(jīng)元,它是由輸入、激活函數(shù)和輸出組成。??X,?人工突觸??X2?^?/?''Nv?激活函數(shù)??x3?^??/(?)?>?輸出??i??圖2.5神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)??在神經(jīng)元的數(shù)學(xué)模型中,軸突所攜帶的信號(hào)A:通過(guò)突觸F進(jìn)行傳遞,由于??突觸的強(qiáng)弱不一,突觸F具有學(xué)習(xí)能力,它控制一個(gè)祌經(jīng)元對(duì)另一個(gè)神經(jīng)元影??響的大小和方向。然后樹(shù)突接收到信號(hào)后傳遞到神經(jīng)元內(nèi)部,與其他樹(shù)突傳遞過(guò)??來(lái)的信號(hào)一起進(jìn)行相加,如果這個(gè)和值大于某一個(gè)固定閾值的話,神經(jīng)元就會(huì)被??激活,然后傳遞沖激信號(hào)^給樹(shù)突。我們將是否激活神經(jīng)元的函數(shù)稱為激活函??數(shù)
【參考文獻(xiàn)】:
期刊論文
[1]基于憶阻器交叉陣列的卷積神經(jīng)網(wǎng)絡(luò)電路設(shè)計(jì)[J]. 胡飛,尤志強(qiáng),劉鵬,鄺繼順. 計(jì)算機(jī)研究與發(fā)展. 2018(05)
[2]基于神經(jīng)元晶體管和憶阻器的Hopfield神經(jīng)網(wǎng)絡(luò)及其在聯(lián)想記憶中的應(yīng)用[J]. 朱航濤,王麗丹,段書(shū)凱,楊婷. 西南大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[3]憶阻遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析及其在聯(lián)想記憶中的應(yīng)用(英文)[J]. 鮑剛,陳媛媛,溫思雨,賴陟岑. 自動(dòng)化學(xué)報(bào). 2017(12)
[4]一種基于憶阻激活函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)及其聯(lián)想記憶[J]. 郭騰騰,王麗丹,周夢(mèng)哲,段書(shū)凱. 中國(guó)科學(xué):信息科學(xué). 2017(09)
[5]A long lifetime,low error rate RRAM design with self-repair module[J]. 尤志強(qiáng),胡飛,黃黎明,劉鵬,鄺繼順,李實(shí)英. Journal of Semiconductors. 2016(11)
[6]神經(jīng)網(wǎng)絡(luò)七十年:回顧與展望[J]. 焦李成,楊淑媛,劉芳,王士剛,馮志璽. 計(jì)算機(jī)學(xué)報(bào). 2016(08)
[7]基于憶阻器的模擬人工神經(jīng)元電路設(shè)計(jì)[J]. 朱任杰,張濤,柯志強(qiáng). 微電子學(xué)與計(jì)算機(jī). 2014(08)
[8]憶阻器存儲(chǔ)研究與展望[J]. 胡舒凱,吳俊杰,周海芳,張擁軍,方旭東. 計(jì)算機(jī)研究與發(fā)展. 2012(S1)
[9]前饋神經(jīng)網(wǎng)絡(luò)中的反向傳播算法及其改進(jìn):進(jìn)展與展望[J]. 劉曙光,鄭崇勛,劉明遠(yuǎn). 計(jì)算機(jī)科學(xué). 1996(01)
碩士論文
[1]基于CMOS憶阻器混合電路的卷積神經(jīng)網(wǎng)絡(luò)研究與設(shè)計(jì)[D]. 胡飛.湖南大學(xué) 2017
[2]憶阻器在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用研究[D]. 王偉偉.湖南大學(xué) 2015
本文編號(hào):3313793
本文鏈接:http://sikaile.net/kejilunwen/dianzigongchenglunwen/3313793.html
最近更新
教材專著