近年來,人工神經(jīng)網(wǎng)絡(luò)技術(shù)快速發(fā)展,已應(yīng)用到電子、經(jīng)濟(jì)、醫(yī)療等各個(gè)領(lǐng)域。訓(xùn)練是建立神經(jīng)網(wǎng)絡(luò)的關(guān)鍵步驟。擬牛頓方法被認(rèn)為是最有效的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法之一。當(dāng)神經(jīng)網(wǎng)絡(luò)架構(gòu)比較復(fù)雜時(shí),擬牛頓算法的軟件實(shí)現(xiàn)往往需要消耗很長的時(shí)間。為了加速訓(xùn)練過程,在FPGA上實(shí)現(xiàn)了基于單精度浮點(diǎn)算術(shù)的擬牛頓神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法硬件加速平臺。該平臺共包括初始化、線搜索、梯度計(jì)算、矩陣更新、目標(biāo)函數(shù)計(jì)算和控制六大模塊。通過對硬件加速平臺各個(gè)模塊進(jìn)行資源評估和運(yùn)行時(shí)間評估,發(fā)現(xiàn)其仍有較大的優(yōu)化空間。本文旨在使用近似計(jì)算技術(shù)對擬牛頓神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法硬件加速平臺進(jìn)行優(yōu)化。首先,通過資源分析發(fā)現(xiàn)矩陣更新模塊消耗大量的存儲資源和計(jì)算資源,所以對矩陣更新模塊進(jìn)行定點(diǎn)化優(yōu)化,實(shí)現(xiàn)了基于定點(diǎn)矩陣更新的混合精度擬牛頓算法硬件平臺。在定點(diǎn)化過程中,使用矩陣正定性檢測和矩陣重置的方法解決上溢問題,使用精度縮放的方式解決由于位寬不足引起的精度下降問題。最后根據(jù)定點(diǎn)化結(jié)果設(shè)計(jì)了矩陣更新模塊的硬件架構(gòu)。實(shí)驗(yàn)結(jié)果表明,與單精度浮點(diǎn)擬牛頓算法硬件實(shí)現(xiàn)相比,混合精度的設(shè)計(jì)最高降低10.9%LUT,20.2%FF,2.2%DSP和18.1%BRAM。其次,...

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 課題背景及研究意義
    1.2 國內(nèi)外發(fā)展現(xiàn)狀
        1.2.1 基于FPGA的算法實(shí)現(xiàn)
        1.2.2 近似計(jì)算在神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)的應(yīng)用
        1.2.3 基于FPGA的擬牛頓神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的實(shí)現(xiàn)研究
    1.3 本論文任務(wù)及貢獻(xiàn)
    1.4 論文結(jié)構(gòu)及內(nèi)容安排
第2章 課題相關(guān)知識簡介
    2.1 擬牛頓優(yōu)化算法
        2.1.1 擬牛頓條件
        2.1.2 BFGS算法
    2.2 人工神經(jīng)網(wǎng)絡(luò)
        2.2.1 神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
        2.2.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練
    2.3 近似計(jì)算
        2.3.1 數(shù)據(jù)表示類型
        2.3.2 一維線搜索方法
    2.4 現(xiàn)場可編程門陣列
        2.4.1 FPGA 的開發(fā)流程
        2.4.2 Net-FPGA SUME開發(fā)板
    2.5 本章小結(jié)
第3章 基于定點(diǎn)矩陣更新的混合精度 BFGS 算法的硬件實(shí)現(xiàn)
    3.1 問題陳述及優(yōu)化目標(biāo)
    3.2 矩陣更新模塊定點(diǎn)化
        3.2.1 matlab定點(diǎn)仿真設(shè)置
        3.2.2 定點(diǎn)化過程
        3.2.3 矩陣正定性檢測及矩陣重置
        3.2.4 精度縮放
        3.2.5 matlab仿真結(jié)果及變量位寬說明
    3.3 混合精度擬牛頓算法硬件實(shí)現(xiàn)
    3.4 性能評估
        3.4.1 單精度浮點(diǎn)矩陣更新模塊vs定點(diǎn)矩陣更新模塊
        3.4.2 混合精度BFGS算法vs單精度浮點(diǎn)BFGS算法
    3.5 本章小結(jié)
第4章 基于非精確線搜索方法的BFGS算法硬件實(shí)現(xiàn)
    4.1 問題陳述
    4.2 三種一維線搜索方法的對比評估
        4.2.1 訓(xùn)練數(shù)據(jù)選擇
        4.2.2 線搜索方法選擇
    4.3 基于非精確線搜索方法的BFGS算法的實(shí)現(xiàn)
        4.3.1 全硬件方案
        4.3.2 FPGA+CPU方案
    4.4 性能評估
        4.4.1 資源利用率
        4.4.2 運(yùn)行時(shí)間
    4.5 本章小結(jié)
第5章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
參考文獻(xiàn)
發(fā)表論文和參加科研情況說明
致謝



本文編號：3834947