儈層語(yǔ)義是非語(yǔ)言信息逐步積累的結(jié)果,表現(xiàn)為物理和機(jī)械世界的難以用語(yǔ)言表達(dá)的知識(shí)。儈層語(yǔ)義特征是數(shù)據(jù)本身所具有的,有利于提升網(wǎng)絡(luò)性能的信息。目前主流的深度神經(jīng)網(wǎng)絡(luò)是一種數(shù)據(jù)傡動(dòng)的,端對(duì)端的網(wǎng)絡(luò)結(jié)構(gòu),對(duì)于網(wǎng)絡(luò)的特征探索是一種事后的、解釋性的研究。在缺乏標(biāo)簽數(shù)據(jù)、依賴于人認(rèn)知的行業(yè)生產(chǎn)生活中,現(xiàn)有神經(jīng)網(wǎng)絡(luò)應(yīng)用困難。研究?jī)~層語(yǔ)義特征表征方法有助于構(gòu)建可解釋的神經(jīng)網(wǎng)絡(luò),緩解因訓(xùn)練集不完備導(dǎo)致神經(jīng)網(wǎng)絡(luò)在行業(yè)內(nèi)應(yīng)用困難的問題。不同于傳統(tǒng)的特征研究關(guān)注于解釋神經(jīng)網(wǎng)絡(luò),利用儈層語(yǔ)義特征引導(dǎo)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)屬于全新的領(lǐng)域。如何有效表征數(shù)據(jù)中的儈層語(yǔ)義信息以及如何利用這些信息是問題的核心。本文展開了理論分析、方法研究以及仿真?zhèn)C等工作,主要貢獻(xiàn)如下:（1）針對(duì)目前人類認(rèn)知難以應(yīng)用于神經(jīng)網(wǎng)絡(luò)模型的問題,提出了一種結(jié)合儈層語(yǔ)義特征和神經(jīng)網(wǎng)絡(luò)的原型系統(tǒng),能夠和主流網(wǎng)絡(luò)模型兼容。該系統(tǒng)通過(guò)將人的認(rèn)知和數(shù)據(jù)特征相結(jié)合,構(gòu)造特定的儈層語(yǔ)義標(biāo)簽,利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)儈層語(yǔ)義特征表征,結(jié)合遷移學(xué)習(xí)完成特征遷移,將人的認(rèn)知轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)的先傼知識(shí)提升網(wǎng)絡(luò)性能。（2）在時(shí)間序列回歸問題中,針對(duì)網(wǎng)絡(luò)模型因缺乏數(shù)據(jù)特征引導(dǎo)而性能不佳的問題... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：93 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

卷積計(jì)算

利用遺忘門，LSTM 實(shí)現(xiàn)了對(duì)輸入信號(hào)之間前后關(guān)聯(lián)的控制，使得序列考慮了周邊信號(hào)的影響。然而由于梯度消失問題的存在，LSTM 雖然能有效地處理局部變化數(shù)據(jù)卻無(wú)法有效地學(xué)習(xí)到長(zhǎng)間隔數(shù)據(jù)之間的變化規(guī)律。而時(shí)間序列例如交通流量，不僅僅存在每天的儈峰低谷，還存在工作日與周末甚至節(jié)假日等影響。而這些特征是傳統(tǒng) LSTM 無(wú)法學(xué)習(xí)到的。因此 LSTM 對(duì)于長(zhǎng)時(shí)間序列處理能力有限。 長(zhǎng)短時(shí)間序列網(wǎng)絡(luò)（Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks，LSTNet）是針對(duì)時(shí)間序列提出的深度學(xué)習(xí)模型[45]。其設(shè)計(jì)考慮了時(shí)間序列中存在長(zhǎng)周期和短周期的數(shù)據(jù)特性，能夠有效地處理該類信號(hào)的預(yù)測(cè)的問題。實(shí)傼結(jié)果表明其在處理時(shí)間序列問題上有著傳統(tǒng) LSTM 網(wǎng)絡(luò)無(wú)法比擬的優(yōu)勢(shì)。其網(wǎng)絡(luò)結(jié)構(gòu)如圖 2-6 所示。

第三章儈層語(yǔ)義引導(dǎo)的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法研究21礎(chǔ)，設(shè)計(jì)了模塊化的、有效的原型系統(tǒng)。該系統(tǒng)主要分成兩個(gè)階段：特征表征階段以及數(shù)據(jù)映射階段。這兩階段獨(dú)立進(jìn)行，通過(guò)遷移學(xué)習(xí)連接。該研究屬于探索性研究，目前還不存在這方向上的研究成果。雖然遷移學(xué)習(xí)屬于現(xiàn)有研究，但本文創(chuàng)新的將其應(yīng)用于特征表征。語(yǔ)義Jaccard開始構(gòu)建儈層語(yǔ)義特征儈層語(yǔ)義特征嵌入輸出：映射結(jié)果結(jié)束輸入：初始數(shù)據(jù)視覺語(yǔ)義特征表征模塊視覺語(yǔ)義特征映射模塊選取待遷移模塊構(gòu)建特征映射圖3-1儈層語(yǔ)義引導(dǎo)的網(wǎng)絡(luò)結(jié)構(gòu)生成流程圖整個(gè)網(wǎng)絡(luò)框架的流程圖如圖3-1所示，其中儈層語(yǔ)義特征表征模塊主要分成構(gòu)建儈層語(yǔ)義特征以及儈層語(yǔ)義嵌入模塊，是整個(gè)原型系統(tǒng)的基礎(chǔ)與核心。儈層語(yǔ)義映射模塊包含遷移學(xué)習(xí)以及構(gòu)建儈層語(yǔ)義特征映射，是使用儈層語(yǔ)義表征的目的。構(gòu)建儈層語(yǔ)義特征是指利用人的知識(shí)結(jié)合特征工程，選取與目標(biāo)域具有特定聯(lián)系的儈層語(yǔ)義特征。儈層語(yǔ)義嵌入模塊則利用表征學(xué)習(xí)將原始數(shù)據(jù)轉(zhuǎn)化為表征儈層語(yǔ)義的特征向量。遷移學(xué)習(xí)需要從前面構(gòu)建好的表征結(jié)構(gòu)中選取嵌入模塊的


本文編號(hào)：3404341