提出一種利用強(qiáng)化學(xué)習(xí)Actor-Critic（A-C）訓(xùn)練神經(jīng)網(wǎng)絡(luò)生成音樂的方法。常規(guī)的LSTM音樂生成網(wǎng)絡(luò)在生成音樂時(shí)并沒有考慮到實(shí)際的作曲情況,只是通過先前訓(xùn)練保存的策略來選擇下一個(gè)音符,所以生成的音樂穩(wěn)定性差、風(fēng)格模糊。引入一個(gè)經(jīng)過訓(xùn)練的Critic網(wǎng)絡(luò),該網(wǎng)絡(luò)能夠評估LSTM網(wǎng)絡(luò)輸出音符的價(jià)值,以此更新LSTM網(wǎng)絡(luò)的生成策略。這形成了一個(gè)更接近生成階段的訓(xùn)練過程,并允許優(yōu)化特定的音樂風(fēng)格,所以生成的音樂結(jié)構(gòu)穩(wěn)定,更具風(fēng)格。對該方法生成的音樂進(jìn)行驗(yàn)證,證明了其有效性。 

【文章來源】：計(jì)算機(jī)應(yīng)用與軟件. 2020,37(05)北大核心

【文章頁數(shù)】：6 頁

【部分圖文】：

LSTM網(wǎng)絡(luò)結(jié)構(gòu)

本文借鑒Actor-Critic算法的思想和術(shù)語在常規(guī)訓(xùn)練的基礎(chǔ)上給予生成網(wǎng)絡(luò)一種模擬生成階段的訓(xùn)練方式。本次訓(xùn)練中將基于字符級LSTM音樂生成網(wǎng)絡(luò)視為Actor網(wǎng)絡(luò),生成音符序列并接受設(shè)定的任務(wù)分?jǐn)?shù),根據(jù)接收的分?jǐn)?shù)再次更新生成策略,優(yōu)化生成結(jié)果。本文將特定的任務(wù)分?jǐn)?shù)設(shè)置為時(shí)間差分TD,由LSTM網(wǎng)絡(luò)和音樂理論規(guī)則共同構(gòu)成Critic網(wǎng)絡(luò)輸出。兩個(gè)網(wǎng)絡(luò)中的LSTM網(wǎng)絡(luò)由上文得到的權(quán)值參數(shù)進(jìn)行初始化。具體流程如圖2所示。2.2 時(shí)間差分TD

神經(jīng)網(wǎng)絡(luò)的輸入和輸出都表示為向量形式,所以需要對音樂數(shù)據(jù)進(jìn)行預(yù)處理。設(shè)定時(shí)間量化為十六分音符,然后使用piano roll[14]把樣本中表示音符的信息轉(zhuǎn)化成序列的形式。得到音符序列之后需要用向量的形式表示這些序列,本文使用one-hot編碼對音符序列進(jìn)行向量處理,也可以理解為是對音符序列的標(biāo)注。即把輸入音符序列xn轉(zhuǎn)化為輸入向量Xn,midi音符的編號共有128個(gè),因此經(jīng)過編碼后的輸入向量Xn共有128維。其數(shù)據(jù)預(yù)處理過程如圖3所示。4.2 不同參數(shù)對實(shí)驗(yàn)結(jié)果的影響

【參考文獻(xiàn)】：
期刊論文
[1]基于CNN-LSTM網(wǎng)絡(luò)的聲紋識別研究[J]. 閆河,董鶯艷,王鵬,羅成,李煥.  計(jì)算機(jī)應(yīng)用與軟件. 2019(04)
[2]多媒體技術(shù)研究:2014——深度學(xué)習(xí)與媒體計(jì)算[J]. 吳飛,朱文武,于俊清.  中國圖象圖形學(xué)報(bào). 2015(11)



本文編號：3591240