近年來(lái),人工神經(jīng)網(wǎng)絡(luò)技術(shù)快速發(fā)展,已應(yīng)用到電子、經(jīng)濟(jì)、醫(yī)療等各個(gè)領(lǐng)域。訓(xùn)練是建立神經(jīng)網(wǎng)絡(luò)的關(guān)鍵步驟。擬牛頓方法被認(rèn)為是最有效的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法之一。當(dāng)神經(jīng)網(wǎng)絡(luò)架構(gòu)比較復(fù)雜時(shí),擬牛頓算法的軟件實(shí)現(xiàn)往往需要消耗很長(zhǎng)的時(shí)間。為了加速訓(xùn)練過(guò)程,在FPGA上實(shí)現(xiàn)了基于單精度浮點(diǎn)算術(shù)的擬牛頓神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法硬件加速平臺(tái)。該平臺(tái)共包括初始化、線(xiàn)搜索、梯度計(jì)算、矩陣更新、目標(biāo)函數(shù)計(jì)算和控制六大模塊。通過(guò)對(duì)硬件加速平臺(tái)各個(gè)模塊進(jìn)行資源評(píng)估和運(yùn)行時(shí)間評(píng)估,發(fā)現(xiàn)其仍有較大的優(yōu)化空間。本文旨在使用近似計(jì)算技術(shù)對(duì)擬牛頓神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法硬件加速平臺(tái)進(jìn)行優(yōu)化。首先,通過(guò)資源分析發(fā)現(xiàn)矩陣更新模塊消耗大量的存儲(chǔ)資源和計(jì)算資源,所以對(duì)矩陣更新模塊進(jìn)行定點(diǎn)化優(yōu)化,實(shí)現(xiàn)了基于定點(diǎn)矩陣更新的混合精度擬牛頓算法硬件平臺(tái)。在定點(diǎn)化過(guò)程中,使用矩陣正定性檢測(cè)和矩陣重置的方法解決上溢問(wèn)題,使用精度縮放的方式解決由于位寬不足引起的精度下降問(wèn)題。最后根據(jù)定點(diǎn)化結(jié)果設(shè)計(jì)了矩陣更新模塊的硬件架構(gòu)。實(shí)驗(yàn)結(jié)果表明,與單精度浮點(diǎn)擬牛頓算法硬件實(shí)現(xiàn)相比,混合精度的設(shè)計(jì)最高降低10.9%LUT,20.2%FF,2.2%DSP和18.1%BRAM。其次,...

【文章頁(yè)數(shù)】：64 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 課題背景及研究意義
    1.2 國(guó)內(nèi)外發(fā)展現(xiàn)狀
        1.2.1 基于FPGA的算法實(shí)現(xiàn)
        1.2.2 近似計(jì)算在神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)的應(yīng)用
        1.2.3 基于FPGA的擬牛頓神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的實(shí)現(xiàn)研究
    1.3 本論文任務(wù)及貢獻(xiàn)
    1.4 論文結(jié)構(gòu)及內(nèi)容安排
第2章 課題相關(guān)知識(shí)簡(jiǎn)介
    2.1 擬牛頓優(yōu)化算法
        2.1.1 擬牛頓條件
        2.1.2 BFGS算法
    2.2 人工神經(jīng)網(wǎng)絡(luò)
        2.2.1 神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
        2.2.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練
    2.3 近似計(jì)算
        2.3.1 數(shù)據(jù)表示類(lèi)型
        2.3.2 一維線(xiàn)搜索方法
    2.4 現(xiàn)場(chǎng)可編程門(mén)陣列
        2.4.1 FPGA 的開(kāi)發(fā)流程
        2.4.2 Net-FPGA SUME開(kāi)發(fā)板
    2.5 本章小結(jié)
第3章 基于定點(diǎn)矩陣更新的混合精度 BFGS 算法的硬件實(shí)現(xiàn)
    3.1 問(wèn)題陳述及優(yōu)化目標(biāo)
    3.2 矩陣更新模塊定點(diǎn)化
        3.2.1 matlab定點(diǎn)仿真設(shè)置
        3.2.2 定點(diǎn)化過(guò)程
        3.2.3 矩陣正定性檢測(cè)及矩陣重置
        3.2.4 精度縮放
        3.2.5 matlab仿真結(jié)果及變量位寬說(shuō)明
    3.3 混合精度擬牛頓算法硬件實(shí)現(xiàn)
    3.4 性能評(píng)估
        3.4.1 單精度浮點(diǎn)矩陣更新模塊vs定點(diǎn)矩陣更新模塊
        3.4.2 混合精度BFGS算法vs單精度浮點(diǎn)BFGS算法
    3.5 本章小結(jié)
第4章 基于非精確線(xiàn)搜索方法的BFGS算法硬件實(shí)現(xiàn)
    4.1 問(wèn)題陳述
    4.2 三種一維線(xiàn)搜索方法的對(duì)比評(píng)估
        4.2.1 訓(xùn)練數(shù)據(jù)選擇
        4.2.2 線(xiàn)搜索方法選擇
    4.3 基于非精確線(xiàn)搜索方法的BFGS算法的實(shí)現(xiàn)
        4.3.1 全硬件方案
        4.3.2 FPGA+CPU方案
    4.4 性能評(píng)估
        4.4.1 資源利用率
        4.4.2 運(yùn)行時(shí)間
    4.5 本章小結(jié)
第5章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
參考文獻(xiàn)
發(fā)表論文和參加科研情況說(shuō)明
致謝



本文編號(hào)：3834947