本文關(guān)鍵詞： 神經(jīng)網(wǎng)絡 互學習 權(quán)值共享 BP算法 雙向認知 分類識別 人工智能　出處：《計算機學報》2017年06期 　論文類型：期刊論文

【摘要】：由于BP神經(jīng)網(wǎng)絡具有表達能力強,模型簡單等特點,經(jīng)過近30年的發(fā)展,在理論和應用研究上都取得了巨大的進步,然而容易陷入局部最優(yōu)和泛化能力差等問題卻限制了神經(jīng)網(wǎng)絡的發(fā)展.同時,大數(shù)據(jù)的出現(xiàn)和深度學習算法的提出與應用,為神經(jīng)網(wǎng)絡向更類腦的方向發(fā)展提出了新的要求.針對上述問題,該文從模擬生物雙向認知能力的角度出發(fā),構(gòu)造了一種新的神經(jīng)網(wǎng)絡模型——互學習神經(jīng)網(wǎng)絡模型,該模型在標準正向神經(jīng)網(wǎng)絡的基礎上,引入了與其具有結(jié)構(gòu)對稱性的負向神經(jīng)網(wǎng)絡,利用正、負向神經(jīng)網(wǎng)絡分別模擬生物的順向和逆向認知過程,并在此基礎上提出了一種新的神經(jīng)網(wǎng)絡訓練方法——互學習神經(jīng)網(wǎng)絡訓練方法,該方法通過網(wǎng)絡連接權(quán)值轉(zhuǎn)置共享,正、負雙向交替訓練的方式對互學習神經(jīng)網(wǎng)絡模型進行訓練,從而實現(xiàn)輸入數(shù)據(jù)和輸出標簽之間的相互學習,使網(wǎng)絡具有雙向認知能力.實驗表明,互學習神經(jīng)網(wǎng)絡訓練方法可以同時訓練正、負兩個神經(jīng)網(wǎng)絡,并使網(wǎng)絡收斂.同時,在此基礎上提出了"互學習預訓練+標準正向訓練"的兩階段學習策略和相應的轉(zhuǎn)換學習方法,這種轉(zhuǎn)換學習方法起到了和"無監(jiān)督預訓練+監(jiān)督微調(diào)"相同的效果,能夠使網(wǎng)絡訓練效果更好,是一種快速、穩(wěn)定、泛化能力強的新型神經(jīng)網(wǎng)絡學習方法.
[Abstract]:Because BP neural network has the characteristics of strong expression ability and simple model, after nearly 30 years' development, it has made great progress in theory and application research. However, problems such as local optimization and poor generalization ability limit the development of neural networks. At the same time, the emergence of big data and the introduction and application of depth learning algorithm, This paper puts forward new requirements for the development of neural network towards more brain-like. In view of the above problems, a new neural network model-mutual learning neural network model is constructed from the point of view of simulating biologic bidirectional cognitive ability. Based on the standard forward neural network, a negative neural network with structural symmetry is introduced in this model. The forward and negative neural networks are used to simulate the forward and reverse cognitive processes of organisms, respectively. On the basis of this, a new neural network training method-mutual learning neural network training method is proposed. This method trains the model of mutual learning neural network by transposition of network connection weights, positive and negative two-way alternate training. The experiment shows that the training method of mutual learning neural network can train both positive and negative neural networks at the same time, and make the network converge. On the basis of this, the two-stage learning strategy and the corresponding conversion learning method of "mutual learning pre-training standard forward training" are put forward. This conversion learning method has the same effect as "unsupervised pre-training supervision fine-tuning". It is a new learning method of neural network with fast, stable and strong generalization ability.
【作者單位】： 遼寧工程技術(shù)大學數(shù)學與系統(tǒng)科學研究所;遼寧工程技術(shù)大學智能工程與數(shù)學研究院;遼寧工程技術(shù)大學礦業(yè)學院;
【基金】：國家自然科學基金(51304114,71371091)資助~~
【分類號】：TP18

【參考文獻】

相關(guān)期刊論文 前4條

1 焦李成;楊淑媛;劉芳;王士剛;馮志璽;;神經(jīng)網(wǎng)絡七十年:回顧與展望[J];計算機學報;2016年08期

2 劉建偉;劉媛;羅雄麟;;深度學習研究進展[J];計算機應用研究;2014年07期

3 鄧萬宇;鄭慶華;陳琳;許學斌;;神經(jīng)網(wǎng)絡極速學習方法研究[J];計算機學報;2010年02期

4 汪培莊,張大志;思維的數(shù)學形式初探[J];高校應用數(shù)學學報A輯(中文版);1986年01期

【共引文獻】

相關(guān)期刊論文 前10條

1 張雪英;張樂;孫穎;張衛(wèi);;基于KELM決策融合的語音情感識別[J];電子技術(shù)應用;2017年08期

2 安杏杏;董宏麗;張勇;邵曉光;代麗艷;;輸油管道泄漏檢測技術(shù)綜述[J];吉林大學學報(信息科學版);2017年04期

3 梁洪衛(wèi);張旭;鄒岱峰;;基于VMD-BP神經(jīng)網(wǎng)絡模型的天然氣管道工況檢測研究[J];化工自動化及儀表;2017年07期

4 孫凡;李會艷;趙愛清;;多FPGA神經(jīng)元網(wǎng)絡仿真平臺設計[J];天津職業(yè)技術(shù)師范大學學報;2017年02期

5 胡正平;陳俊嶺;王蒙;孫哲;;深層融合度量子空間學習稀疏特征提取算法[J];信號處理;2017年06期

6 覃科;劉曉剛;丁立新;;基于卷積神經(jīng)網(wǎng)絡的CO_2焊接熔池圖像狀態(tài)識別方法[J];焊接;2017年06期

7 鄧凝旖;沈志強;郭躍飛;;基于類別先驗與深度神經(jīng)網(wǎng)絡特征的顯著性檢測[J];計算機工程;2017年06期

8 宋漢強;李本威;張峗;蔣科藝;;基于聚類與粒子群極限學習機的航空發(fā)動機推力估計器設計[J];推進技術(shù);2017年06期

9 余偉豪;李忠;安建琴;宋奕瑤;;深度學習框架和加速技術(shù)探討[J];軟件;2017年06期

10 萬子平;馬麗莎;李星宇;劉小旭;龍哲;;BP神經(jīng)網(wǎng)絡的內(nèi)場駕考電子教練系統(tǒng)設計[J];單片機與嵌入式系統(tǒng)應用;2017年06期

【二級參考文獻】

相關(guān)期刊論文 前7條

1 王守覺;曹文明;;半導體神經(jīng)計算機的硬件實現(xiàn)及其在連續(xù)語音識別中的應用[J];電子學報;2006年02期

2 王守覺;仿生模式識別(拓撲模式識別)——一種模式識別新模型的理論與應用[J];電子學報;2002年10期

3 王海龍,戚飛虎,任慶生;協(xié)同神經(jīng)網(wǎng)絡中參數(shù)的優(yōu)化[J];紅外與毫米波學報;2001年03期

4 趙同,戚飛虎,馮炯;協(xié)同式神經(jīng)網(wǎng)絡的識別性能分析[J];電子學報;2000年01期

5 張學工;關(guān)于統(tǒng)計學習理論與支持向量機[J];自動化學報;2000年01期

6 陳國良,熊焰,方祥;通用并行神經(jīng)網(wǎng)絡模擬系統(tǒng)GP~2N~2S~2[J];小型微型計算機系統(tǒng);1992年12期

7 陳國良,宋松純,秦小鷗;主從通用神經(jīng)網(wǎng)絡模型[J];電子學報;1992年10期

【相似文獻】

相關(guān)期刊論文 前10條

1 李運鋒,袁景淇,薛耀鋒;發(fā)酵過程中神經(jīng)網(wǎng)絡訓練樣本的選取[J];化工自動化及儀表;2004年06期

2 肖紅;曹茂俊;李盼池;王海英;;基于分段線性插值的過程神經(jīng)網(wǎng)絡訓練[J];計算機工程;2011年20期

3 史志科;非線性規(guī)劃U—D分解方法及其在神經(jīng)網(wǎng)絡訓練中的應用[J];自動化學報;1995年06期

4 吳軍,徐松源,王常虹;神經(jīng)網(wǎng)絡訓練的一種隨機方法[J];黑龍江自動化技術(shù)與應用;1997年03期

5 金濤斌,王安國,丁榮林,吳詠詩;周期性缺陷接地結(jié)構(gòu)神經(jīng)網(wǎng)絡訓練樣本預處理[J];固體電子學研究與進展;2005年03期

6 胡紀五,王衛(wèi)東;帶有慣性附加項的神經(jīng)網(wǎng)絡訓練方的研究[J];計算技術(shù)與自動化;1999年02期

7 郝紅衛(wèi);蔣蓉蓉;;基于最近鄰規(guī)則的神經(jīng)網(wǎng)絡訓練樣本選擇方法[J];自動化學報;2007年12期

8 王艷峰;張健;吳燕紅;;一種優(yōu)選神經(jīng)網(wǎng)絡訓練樣本的混合聚類算法[J];遼寧工業(yè)大學學報(自然科學版);2010年06期

9 周福章，朱堅民;神經(jīng)網(wǎng)絡訓練參數(shù)等對控制效果的影響[J];洛陽工學院學報;1996年01期

10 徐樂華;凌衛(wèi)新;熊麗瓊;;基于面向?qū)ο笞赃m應粒子群算法的神經(jīng)網(wǎng)絡訓練[J];計算機應用研究;2009年01期

相關(guān)會議論文 前3條

1 張應博;;神經(jīng)網(wǎng)絡訓練中的迭代擴展卡爾曼粒子濾波算法[A];2010年全國開放式分布與并行計算機學術(shù)會議論文集[C];2010年

2 姜曉軍;程衛(wèi)東;;神經(jīng)網(wǎng)絡訓練樣本選取與優(yōu)化的研究[A];第十七屆全國測控計量儀器儀表學術(shù)年會（MCMI'2007）論文集（下冊）[C];2007年

3 張應博;秦鐘;王法勝;;神經(jīng)網(wǎng)絡訓練中的粒子濾波算法[A];第二十九屆中國控制會議論文集[C];2010年

相關(guān)碩士學位論文 前1條

1 林琿;微波器件智能建模中神經(jīng)網(wǎng)絡訓練數(shù)據(jù)獲取算法研究[D];天津大學;2014年

，

本文編號：1508564