本文關(guān)鍵詞：深度神經(jīng)網(wǎng)絡(luò)架構(gòu)改進和訓(xùn)練性能提升的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：深度學(xué)習(xí)技術(shù)在人工智能領(lǐng)域已經(jīng)被應(yīng)用到各行各業(yè)中,為人們提供更加智能信息資源。通過組合多種類型的網(wǎng)絡(luò)層,形成深度神經(jīng)網(wǎng)絡(luò)模型,逐層對原始數(shù)據(jù)計算,利用反向傳播算法學(xué)習(xí)對數(shù)據(jù)越來越抽象的表示形式,從而提高諸如目標(biāo)檢測、圖像分類等任務(wù)的精確度。深度學(xué)習(xí)技術(shù)提高分類任務(wù)識別精確度的關(guān)鍵在于深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層深度是否適當(dāng),類型是否豐富,網(wǎng)絡(luò)結(jié)構(gòu)是否合理,訓(xùn)練效率是否可接受等方面。為了提高深度神經(jīng)網(wǎng)絡(luò)對圖像分類的精確度,本文分別從深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)訓(xùn)練效率兩方面提出了新的思路,并進行了驗證。網(wǎng)絡(luò)結(jié)構(gòu)方面,本文提出了一種基于多個圖像特征提取網(wǎng)絡(luò)模型的深度神經(jīng)網(wǎng)絡(luò),通過將數(shù)據(jù)特征抽象階段的網(wǎng)絡(luò)層分成多個計算路徑,各個計算路徑相互不干涉,分別同時對相同的訓(xùn)練樣本數(shù)據(jù)進行特征抽象計算,利用反向傳播算法對各個路徑對應(yīng)的模型參數(shù)進行微調(diào),學(xué)習(xí)圖像特征,并輸出對候選圖像類型的預(yù)測概率分布。同時,為了豐富特征提取網(wǎng)絡(luò)模型的種類,還設(shè)計了一種基于自編碼器的特征提取網(wǎng)絡(luò)模型,與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)一起構(gòu)成了本文的多路特征提取網(wǎng)絡(luò)模型。經(jīng)過特征提取階段,對應(yīng)得到多組預(yù)測概率分布,并輸入至本文設(shè)計的誤差分析網(wǎng)絡(luò)中,綜合考慮每組數(shù)值,經(jīng)過一系列網(wǎng)絡(luò)層的計算變換,最終給出更加接近真實標(biāo)簽的預(yù)測概率值,達到提高預(yù)測精確度的目的。網(wǎng)絡(luò)的訓(xùn)練效率方面,本文通過把多路訓(xùn)練網(wǎng)絡(luò)計算過程中超出計算機內(nèi)存的部分中間計算結(jié)果臨時放在指定磁盤空間,避免系統(tǒng)無規(guī)則的數(shù)據(jù)交換,同時改進操作系統(tǒng)底層的I/O調(diào)度算法,引入遺傳算法的思想,獨立維護I/O調(diào)度算法的關(guān)鍵參數(shù),使其能夠根據(jù)上層應(yīng)用的實際I/O壓力,動態(tài)地篩選出最佳的參數(shù)組合,從而提升系統(tǒng)對I/O請求調(diào)度的能力。同時,本文還設(shè)計構(gòu)建了一個可靠的操作系統(tǒng)環(huán)境,以確保多路訓(xùn)練網(wǎng)絡(luò)在該環(huán)境下訓(xùn)練時測試得到的I/O壓力數(shù)據(jù)的有效性。
【關(guān)鍵詞】：深度學(xué)習(xí) 網(wǎng)絡(luò)層設(shè)計 誤差分析 I/O調(diào)度
【學(xué)位授予單位】：中北大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP391.41;TP183
【目錄】：

• 摘要4-5
• Abstract5-9
• 1 緒論9-22
• 1.1 論文選題依據(jù)、研究背景及意義9-12
• 1.1.1 選題依據(jù)9
• 1.1.2 研究背景和問題的提出9-12
• 1.2 相關(guān)領(lǐng)域國內(nèi)外發(fā)展現(xiàn)狀12-17
• 1.2.1 深度學(xué)習(xí)技術(shù)方面12-16
• 1.2.2 計算機I/O性能方面16-17
• 1.3 論文主要研究內(nèi)容及安排17-21
• 1.3.1 主要研究內(nèi)容17-18
• 1.3.2 論文組織結(jié)構(gòu)18-21
• 1.4 本章小結(jié)21-22
• 2 深度學(xué)習(xí)技術(shù)理論22-41
• 2.1 監(jiān)督學(xué)習(xí)22-23
• 2.2 反向傳播算法23-26
• 2.3 多層神經(jīng)網(wǎng)絡(luò)26-29
• 2.4 卷積神經(jīng)網(wǎng)絡(luò)29-35
• 2.4.1 網(wǎng)絡(luò)結(jié)構(gòu)30-35
• 2.4.2 模型參數(shù)的調(diào)整35
• 2.5 自編碼器35-40
• 2.6 本章小結(jié)40-41
• 3 網(wǎng)絡(luò)模型改進及其性能優(yōu)化41-66
• 3.1 多路訓(xùn)練網(wǎng)絡(luò)模型的設(shè)計41-54
• 3.1.1 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計41-51
• 3.1.2 誤差分析方法的設(shè)計51-54
• 3.2 訓(xùn)練性能的優(yōu)化54-64
• 3.2.1 性能優(yōu)化的必要性54
• 3.2.2 實驗環(huán)境的設(shè)計54-59
• 3.2.3 I/O性能優(yōu)化方法的設(shè)計59-64
• 3.3 本章小結(jié)64-66
• 4 實驗與驗證66-79
• 4.1 網(wǎng)絡(luò)模型的有效性驗證與分析66-74
• 4.2 訓(xùn)練性能改進的驗證74-78
• 4.3 本章小結(jié)78-79
• 5 總結(jié)與展望79-81
• 5.1 總結(jié)79-80
• 5.2 展望80-81
• 參考文獻81-90
• 攻讀碩士學(xué)位期間發(fā)表的論文及所取得的研究成果90-91
• 致謝91-92

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前4條

1 馬永杰;云文霞;;遺傳算法研究進展[J];計算機應(yīng)用研究;2012年04期

2 喻壽益;鄺溯瓊;;保留精英遺傳算法收斂性和收斂速度的鞅方法分析[J];控制理論與應(yīng)用;2010年07期

3 鞏敦衛(wèi);郝國生;嚴(yán)玉若;;交互式遺傳算法基于用戶認知不確定性的定向變異[J];控制與決策;2010年01期

4 梁昔明;朱燦;顏東煌;;基于物種選擇的遺傳算法求解約束非線性規(guī)劃問題[J];中南大學(xué)學(xué)報(自然科學(xué)版);2009年01期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 劉碩;高清視頻服務(wù)器磁盤I/O調(diào)度算法的研究[D];廈門大學(xué);2014年

  本文關(guān)鍵詞：深度神經(jīng)網(wǎng)絡(luò)架構(gòu)改進和訓(xùn)練性能提升的研究，，由筆耕文化傳播整理發(fā)布。

本文編號：320876