序列數(shù)據(jù)分類是數(shù)據(jù)挖掘領(lǐng)域的熱點(diǎn)問(wèn)題,該任務(wù)的本質(zhì)是為給定的序列分配一個(gè)預(yù)定義的標(biāo)簽。針對(duì)序列數(shù)據(jù)的分類問(wèn)題,已有許多研究工作,它們大致可以分為以下三類:基于特征、基于距離和基于模型的方法。前兩類方法由于人工特征的設(shè)計(jì)和距離計(jì)算,將消耗大量時(shí)間且需要專業(yè)的背景知識(shí),同時(shí)這些方法很難建模序列的依賴關(guān)系和提取多尺度特征,而隨著深度學(xué)習(xí)的發(fā)展,神經(jīng)網(wǎng)絡(luò)模型依靠其模型結(jié)構(gòu)和反向傳播算法可以端到端的提取樣本特征。另外,序列數(shù)據(jù)中含有大量信息,但目前大多數(shù)序列分類方法無(wú)法針對(duì)具體樣本自適應(yīng)地挖掘序列數(shù)據(jù),而注意力機(jī)制作為一種模仿生物觀察行為的方法,近年來(lái)在計(jì)算機(jī)視覺領(lǐng)域飛速發(fā)展,其可以針對(duì)具體樣本自適應(yīng)地選擇合適的特征。因此本文將在深度學(xué)習(xí)結(jié)合注意力機(jī)制的方向上作出探索,主要研究工作包括以下兩個(gè)方面:(1)本文提出一種基于注意力機(jī)制的變量相關(guān)性挖掘網(wǎng)絡(luò)(Attention-based Variable Correlation Mining Network,VCM-Net)應(yīng)用于多變量時(shí)間序列分類領(lǐng)域。該模型先通過(guò)稀疏的多尺度卷積濾波器提取變量相關(guān)性特征,然后采用注意力機(jī)制為每個(gè)樣本自適應(yīng)地選擇這些特...

【文章頁(yè)數(shù)】：71 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-2LeNet-5卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2-1“右手扔”動(dòng)作的執(zhí)行過(guò)程圖，從左至右為時(shí)間演化方向2.3多尺度卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）最開始由Lecun等人[74]提出，在2012年Krizhevsky等人[14]憑借Alex-Ne....

圖2-1“右手扔”動(dòng)作的執(zhí)行過(guò)程圖，從左至右為時(shí)間演化方向

圖2-1“右手扔”動(dòng)作的執(zhí)行過(guò)程圖，從左至右為時(shí)間演化方向多尺度卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）最開始由Lecun等人[74]提012年Krizhevsky等人[14]憑借Alex-Net獲得Ima....

圖2-3多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

所謂多尺度是指在同一層卷積操作中采用大小不同的卷積核獲取多種尺度特征。如圖2-3所示，具體以多變量時(shí)間序列為例講述multi-scaleCNN，如果輸入是文本序列則變量維度變成詞向量的維度，時(shí)間維度表示文本中詞的順序方向。

圖2-4LSTM單元結(jié)構(gòu)圖

圖2-4LSTM單元結(jié)構(gòu)圖[75]本節(jié)將以時(shí)間序列數(shù)據(jù)ǖǖǖ為例，描述LSTM單元的更新過(guò)程，以下幾步：（1）首先初始化連接權(quán)重和偏置，根據(jù)上一時(shí)刻隱藏層狀態(tài)和當(dāng)前算候選記憶單元激活值：x（ǖ....

本文編號(hào)：4034030