基于深度學習的音樂風格識別與生成技術研究與原型實現(xiàn)
發(fā)布時間:2021-04-27 07:42
使用計算機自動生成不同風格的音樂是音樂信息檢索和音樂制作中比較重要的熱門領域。越來越多的研究者投入到自動化音樂生成領域中,目前音樂自動化生成已經(jīng)被很多的作曲家運用。由于深度學習和機器學習在最近幾年的興起,以及計算機軟硬件性能的高速提升,為自動化生成不同流派的音樂奠定了很好的基礎。在此之前,大多數(shù)研究者都是使用深度學習網(wǎng)絡進行音樂的流派分類識別。現(xiàn)在,更多的研究者開始使用深度學習進行音樂生成,因此研究不同流派的音樂生成很有意義。由于LSTM網(wǎng)絡在處理長時間序列問題上有很好的效果,因此本文在已經(jīng)對LSTM網(wǎng)絡有了一定的了解的前提下,運用所掌握的相關深度學習知識,設計并實現(xiàn)了一個能生成多種流派音樂的算法模型。本課題的主要研究內(nèi)容包含以下幾方面:1.音樂數(shù)據(jù)的預處理,在預處理過程中包含了音軌的分離和運用音軌拼接等技術對音樂特征進行獲取,特征包括了音色、音調(diào)和響度等。同時還對音樂數(shù)據(jù)進行了量化處理,輸入數(shù)據(jù)和輸出數(shù)據(jù)格式進行了設計。2.在LSTM網(wǎng)絡的基礎上,重新設計了音樂流派風格識別和生成網(wǎng)絡。在該網(wǎng)絡中所有的音樂流派子網(wǎng)都共享了解釋層,這樣可以大大減少模型參數(shù)的學習,提升學習效率。每一個音樂...
【文章來源】:電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:92 頁
【學位級別】:碩士
【文章目錄】:
摘要
abstract
第一章 緒論
1.1 研究工作的背景與意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 本文的主要研究內(nèi)容
1.4 本論文的結構安排
第二章 相關基礎理論和相關技術
2.1 音樂流派和音樂特征
2.1.1 音樂流派分類
2.1.2 音樂特征選擇
2.2 MIDI音樂相關概念
2.2.1 MIDI事件
2.2.2 MIDI音樂格式
2.3 深度學習相關概念
2.3.1 神經(jīng)元
2.3.2 激活函數(shù)
2.3.3 梯度下降
2.3.4 超參數(shù)
2.4 RNN神經(jīng)網(wǎng)絡
2.4.1 網(wǎng)絡結構
2.4.2 正向傳播算法
2.4.3 反向傳播算法
2.4.4 LSTM網(wǎng)絡
2.5 本章小結
第三章 基于深度學習的音樂風格識別與生成模型設計
3.1 音樂風格識別與生成模型流程設計
3.2 數(shù)據(jù)預處理
3.2.1 音軌分離
3.2.2 音樂特征的獲取
3.2.3 數(shù)據(jù)的向量化
3.3 MIDI內(nèi)容編碼設計
3.3.1 輸入矩陣的設計
3.3.2 輸出矩陣的設計
3.4 音樂流派分析模型設計
3.4.1 音樂流派分析模型結構
3.4.2 雙向LSTM層設計
3.4.3 線性層設計
3.5 音樂風格分析模型設計
3.5.1 音樂風格分析模型結構
3.5.2 解釋層設計
3.5.3 多任務音樂流派子網(wǎng)單元設計
3.6 本章小結
第四章 基于深度學習的音樂風格識別與生成網(wǎng)絡的實現(xiàn)與訓練
4.1 模型開發(fā)平臺與開發(fā)環(huán)境
4.2 訓練與測試數(shù)據(jù)
4.3 音樂風格識別與生成網(wǎng)絡結構實現(xiàn)及參數(shù)選擇
4.3.1 網(wǎng)絡結構實現(xiàn)
4.3.2 損失函數(shù)
4.3.3 其隱藏層層數(shù)和個數(shù)的選擇
4.3.4 其他參數(shù)
4.4 網(wǎng)絡的訓練與優(yōu)化
4.4.1 網(wǎng)絡的訓練
4.4.2 音樂序列的生成
4.4.3 網(wǎng)絡的優(yōu)化
4.5 本章小結
第五章 音樂風格識別與生成算法實驗結果與分析
5.1 迭代次數(shù)和隱藏層神經(jīng)元個數(shù)對實驗的影響
5.1.1 迭代次數(shù)對實驗的影響
5.1.2 隱藏層神經(jīng)元個數(shù)影響分析
5.2 生成音樂序列頻譜圖和聲譜圖分析
5.2.1 生成音樂序列頻譜圖分析
5.2.2 生成音樂聲譜圖分析
5.3 生成音樂流派分類結果
5.3.1 分類準確率評價標準
5.3.2 分類算法選擇和結果
5.4 兩種生成音樂方法對比分析
5.5 本章總結
第六章 總結與展望
6.1 全文總結
6.2 后續(xù)工作展望
致謝
參考文獻
【參考文獻】:
期刊論文
[1]基于遞歸神經(jīng)網(wǎng)絡的自動作曲算法[J]. 李雄飛,馮婷婷,駱實,張小利. 吉林大學學報(工學版). 2018(03)
[2]語音圖文信息處理中的深度學習方法進展?蜓訹J]. 柯登峰,俞棟,賈珈. 自動化學報. 2016(06)
[3]基于深度學習語音分離技術的研究現(xiàn)狀與進展[J]. 劉文舉,聶帥,梁山,張學良. 自動化學報. 2016(06)
[4]多媒體技術研究:2014——深度學習與媒體計算[J]. 吳飛,朱文武,于俊清. 中國圖象圖形學報. 2015(11)
[5]基于RNN-RBM語言模型的語音識別研究[J]. 黎亞雄,張堅強,潘登,胡憚. 計算機研究與發(fā)展. 2014(09)
[6]深度學習及其在目標和行為識別中的新進展[J]. 鄭胤,陳權崎,章毓晉. 中國圖象圖形學報. 2014(02)
[7]基于Hilbert映射的元胞自動機音樂生成算法[J]. 王存睿,段曉東,劉向東,李志潔. 微電子學與計算機. 2010(01)
[8]隱馬爾可夫模型(HMM)及其應用[J]. 王志堂,蔡淋波. 湖南科技學院學報. 2009(04)
[9]算法作曲的研究進展[J]. 馮寅,周昌樂. 軟件學報. 2006(02)
[10]基于內(nèi)外概率算法的音樂節(jié)奏自動生成[J]. 余立功,卜佳俊,陳純. 浙江大學學報(工學版). 2005(12)
本文編號:3163073
【文章來源】:電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:92 頁
【學位級別】:碩士
【文章目錄】:
摘要
abstract
第一章 緒論
1.1 研究工作的背景與意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 本文的主要研究內(nèi)容
1.4 本論文的結構安排
第二章 相關基礎理論和相關技術
2.1 音樂流派和音樂特征
2.1.1 音樂流派分類
2.1.2 音樂特征選擇
2.2 MIDI音樂相關概念
2.2.1 MIDI事件
2.2.2 MIDI音樂格式
2.3 深度學習相關概念
2.3.1 神經(jīng)元
2.3.2 激活函數(shù)
2.3.3 梯度下降
2.3.4 超參數(shù)
2.4 RNN神經(jīng)網(wǎng)絡
2.4.1 網(wǎng)絡結構
2.4.2 正向傳播算法
2.4.3 反向傳播算法
2.4.4 LSTM網(wǎng)絡
2.5 本章小結
第三章 基于深度學習的音樂風格識別與生成模型設計
3.1 音樂風格識別與生成模型流程設計
3.2 數(shù)據(jù)預處理
3.2.1 音軌分離
3.2.2 音樂特征的獲取
3.2.3 數(shù)據(jù)的向量化
3.3 MIDI內(nèi)容編碼設計
3.3.1 輸入矩陣的設計
3.3.2 輸出矩陣的設計
3.4 音樂流派分析模型設計
3.4.1 音樂流派分析模型結構
3.4.2 雙向LSTM層設計
3.4.3 線性層設計
3.5 音樂風格分析模型設計
3.5.1 音樂風格分析模型結構
3.5.2 解釋層設計
3.5.3 多任務音樂流派子網(wǎng)單元設計
3.6 本章小結
第四章 基于深度學習的音樂風格識別與生成網(wǎng)絡的實現(xiàn)與訓練
4.1 模型開發(fā)平臺與開發(fā)環(huán)境
4.2 訓練與測試數(shù)據(jù)
4.3 音樂風格識別與生成網(wǎng)絡結構實現(xiàn)及參數(shù)選擇
4.3.1 網(wǎng)絡結構實現(xiàn)
4.3.2 損失函數(shù)
4.3.3 其隱藏層層數(shù)和個數(shù)的選擇
4.3.4 其他參數(shù)
4.4 網(wǎng)絡的訓練與優(yōu)化
4.4.1 網(wǎng)絡的訓練
4.4.2 音樂序列的生成
4.4.3 網(wǎng)絡的優(yōu)化
4.5 本章小結
第五章 音樂風格識別與生成算法實驗結果與分析
5.1 迭代次數(shù)和隱藏層神經(jīng)元個數(shù)對實驗的影響
5.1.1 迭代次數(shù)對實驗的影響
5.1.2 隱藏層神經(jīng)元個數(shù)影響分析
5.2 生成音樂序列頻譜圖和聲譜圖分析
5.2.1 生成音樂序列頻譜圖分析
5.2.2 生成音樂聲譜圖分析
5.3 生成音樂流派分類結果
5.3.1 分類準確率評價標準
5.3.2 分類算法選擇和結果
5.4 兩種生成音樂方法對比分析
5.5 本章總結
第六章 總結與展望
6.1 全文總結
6.2 后續(xù)工作展望
致謝
參考文獻
【參考文獻】:
期刊論文
[1]基于遞歸神經(jīng)網(wǎng)絡的自動作曲算法[J]. 李雄飛,馮婷婷,駱實,張小利. 吉林大學學報(工學版). 2018(03)
[2]語音圖文信息處理中的深度學習方法進展?蜓訹J]. 柯登峰,俞棟,賈珈. 自動化學報. 2016(06)
[3]基于深度學習語音分離技術的研究現(xiàn)狀與進展[J]. 劉文舉,聶帥,梁山,張學良. 自動化學報. 2016(06)
[4]多媒體技術研究:2014——深度學習與媒體計算[J]. 吳飛,朱文武,于俊清. 中國圖象圖形學報. 2015(11)
[5]基于RNN-RBM語言模型的語音識別研究[J]. 黎亞雄,張堅強,潘登,胡憚. 計算機研究與發(fā)展. 2014(09)
[6]深度學習及其在目標和行為識別中的新進展[J]. 鄭胤,陳權崎,章毓晉. 中國圖象圖形學報. 2014(02)
[7]基于Hilbert映射的元胞自動機音樂生成算法[J]. 王存睿,段曉東,劉向東,李志潔. 微電子學與計算機. 2010(01)
[8]隱馬爾可夫模型(HMM)及其應用[J]. 王志堂,蔡淋波. 湖南科技學院學報. 2009(04)
[9]算法作曲的研究進展[J]. 馮寅,周昌樂. 軟件學報. 2006(02)
[10]基于內(nèi)外概率算法的音樂節(jié)奏自動生成[J]. 余立功,卜佳俊,陳純. 浙江大學學報(工學版). 2005(12)
本文編號:3163073
本文鏈接:http://sikaile.net/wenyilunwen/musictheory/3163073.html
教材專著