基于深度學習的鋼琴和聲自動編配系統(tǒng)研究
發(fā)布時間:2020-09-01 12:39
和聲是由多個音符構(gòu)成的組合,對于豐富旋律表達方式具有重要的作用。為旋律編配和聲,就是為旋律的單音增加和聲效果,涉及到基礎樂理以及和聲規(guī)則等專業(yè)知識,技術門檻要求較高。隨著深度學習和神經(jīng)網(wǎng)絡技術的興起,人工智能正被廣泛應用于音樂檢索、音樂創(chuàng)作和音樂教學等領域。本文通過深度學習的方式,代替人工為旋律編配和聲,為鋼琴音樂創(chuàng)作提供一個強大的輔助工具。本文的研究針對WAV格式鋼琴音樂,把和聲編配分為三個主要的子任務:音符檢測、多基頻估計和模型訓練。音樂信號經(jīng)過音符檢測被劃為多個片段,通過多基頻估計提取每個片段的主音符以及和聲成分,把它們分別作為神經(jīng)網(wǎng)絡的特征和標簽對模型進行訓練,使其具有編配和聲的能力。本文的主要研究內(nèi)容和創(chuàng)新點如下:(1)研究音符起點檢測算法,以往方法大多數(shù)都沒考慮到樂器音高的先驗知識,考慮到鋼琴是十二平均律制樂器,本文提出一種基于十二平均律的音律濾波器組的設計方法,目的是獲取音樂信號中每幀能量在音階頻率上的分布,并以此為依據(jù)判斷音符起點。該方法考慮到樂音特征,并結(jié)合具體的音高信息,從而改善音符起點檢測效果。(2)研究多基頻估計算法,常用思路是將待測音樂頻譜分解到各個單音的頻譜之中,但是頻譜含有大量冗余頻率信息,本文利用鋼琴琴鍵的諧波結(jié)構(gòu),提出一種基于諧波結(jié)構(gòu)的音色濾波器組的設計方法,目的是從音樂信號中提取基頻和諧波等特征信息,然后將待測音樂的特征分解到各個單音的特征上去,表示為各個單音特征的加權和形式,從而實現(xiàn)多基頻估計。(3)對深度學習算法進行研究,由于編配和聲需要著重考慮附近音符分布,本文選用基于長短期記憶的雙向循環(huán)神經(jīng)網(wǎng)絡,并在編碼-解碼模型的基礎上引入注意力機制。訓練完成后,往模型輸入單音旋律即可得到和聲序列,再利用音符起點信息合成音樂,以便于與原始的單音音樂作對比。(4)構(gòu)建網(wǎng)絡評分平臺,將原始的單音音樂和經(jīng)過和聲編配的音樂上傳至云服務器,音樂愛好者可通過瀏覽器在線試聽并評分,其中大部分歌曲的得分較高,說明試聽者對和聲編配效果相當滿意,從而驗證本文的和聲自動編配系統(tǒng)的有效性。
【學位單位】:華南理工大學
【學位級別】:碩士
【學位年份】:2019
【中圖分類】:TN912.3;TP18;J624.1
【部分圖文】:
隨后他們又提出一個基于貝葉斯框架的 NMF 算法[32];Dessein 等人[33]使用基于 beta 散度代價函數(shù)的 NMF 進行實時譜分解。目前國內(nèi)對多基頻估計的研究較少,主要有:陳雪梅[34]在迭代譜減法的基礎上利用諧波乘積譜提取候選基頻并通過諧波重置將重疊的諧波分離;嚴亮[35]對于頻譜中的峰值區(qū)域和非峰值區(qū)域進行建模,采用最大似然概率的方法進行多基頻估計;郭奕[36]把基于譜包絡的梅爾倒譜系數(shù)作為特征,并通過最小二乘法把待測信號的頻譜特征表示為各個音符的頻譜特征的加權和形式;萬玉龍等人[37]提出基于平均能量譜包絡的非負矩陣分解算法對多個音符進行識別;陳靜[38]通過塊稀疏約束的 NMF 算法,分別從建模和學習兩個角度建立多原子音符字典并通過該字典對音樂信號進行譜分解。1.3 本文的主要研究內(nèi)容如圖 1-1 所示,本文所設計的鋼琴和聲自動編配系統(tǒng)主要包含三個子任務:音符檢測、多基頻估計和模型訓練,所有的研究和創(chuàng)新工作都是圍繞這三個子任務進行展開。
圖 2-1 低音區(qū)和高音區(qū)琴鍵對應的頻譜對比圖-1 分別展示音符 A0 和 A5 的頻譜圖,分別對應鋼琴的第 1 個和第 61 個基頻分別是27.5Hz和880Hz,容易發(fā)現(xiàn)音符A0的頻譜圖含有豐富的諧波 A5 的頻譜圖中,能量基本集中在基頻上,諧波成分所占的能量很少。聲基本概念是兩個或者兩個以上的音符同時發(fā)聲構(gòu)成的音響組合,主要包含縱向結(jié)構(gòu)個方面。其中,縱向結(jié)構(gòu)是指柱式和弦,也就是和弦的各個音同時發(fā)聲。音的前后連接,也稱為和聲進行。與旋律有著重要的聯(lián)系,旋律是按照一定的音高、時值和音量構(gòu)成的音符的音樂都有一個地位突出的旋律,稱之為主旋律,一組和聲就是為這條旋種伴奏方法也叫和聲織體,也就是一條主要的旋律加上比較次要的和聲聲編配具體的工作內(nèi)容是根據(jù)旋律中各個音的前后連接關系,為旋律中的
圖 2-3 音符 A3 和音符 A4 諧波重疊現(xiàn)象圖 2-3 分別展示了音符 A3 和音符 A4 各自的頻譜圖以及兩個音符同時出現(xiàn)的其中音符 A3 的基頻是 220Hz,音符的基頻是 440Hz,可以看出,音符 A3 的和音符 A4 的基頻在 440Hz 處發(fā)生重疊,導致 440Hz 處的幅值達到最大。在多中,往往會同時出現(xiàn)多個音符,諧波重疊現(xiàn)象會更加復雜,針對這種現(xiàn)象,大法只能根據(jù)非重疊諧波的信息近似分離重疊出的諧波,這給多基頻估計帶來一。3 不諧和性本文的研究對象是鋼琴音樂,而鋼琴是一種半諧和樂器,即音符的基頻和各次之間不是成完美的倍數(shù)關系,其中會存在一定的偏差,而且這種偏差會隨著諧增加而增大,這種偏差一般用不諧和因子來衡量。對于半諧和樂器,基頻與各關系如下:
本文編號:2809743
【學位單位】:華南理工大學
【學位級別】:碩士
【學位年份】:2019
【中圖分類】:TN912.3;TP18;J624.1
【部分圖文】:
隨后他們又提出一個基于貝葉斯框架的 NMF 算法[32];Dessein 等人[33]使用基于 beta 散度代價函數(shù)的 NMF 進行實時譜分解。目前國內(nèi)對多基頻估計的研究較少,主要有:陳雪梅[34]在迭代譜減法的基礎上利用諧波乘積譜提取候選基頻并通過諧波重置將重疊的諧波分離;嚴亮[35]對于頻譜中的峰值區(qū)域和非峰值區(qū)域進行建模,采用最大似然概率的方法進行多基頻估計;郭奕[36]把基于譜包絡的梅爾倒譜系數(shù)作為特征,并通過最小二乘法把待測信號的頻譜特征表示為各個音符的頻譜特征的加權和形式;萬玉龍等人[37]提出基于平均能量譜包絡的非負矩陣分解算法對多個音符進行識別;陳靜[38]通過塊稀疏約束的 NMF 算法,分別從建模和學習兩個角度建立多原子音符字典并通過該字典對音樂信號進行譜分解。1.3 本文的主要研究內(nèi)容如圖 1-1 所示,本文所設計的鋼琴和聲自動編配系統(tǒng)主要包含三個子任務:音符檢測、多基頻估計和模型訓練,所有的研究和創(chuàng)新工作都是圍繞這三個子任務進行展開。
圖 2-1 低音區(qū)和高音區(qū)琴鍵對應的頻譜對比圖-1 分別展示音符 A0 和 A5 的頻譜圖,分別對應鋼琴的第 1 個和第 61 個基頻分別是27.5Hz和880Hz,容易發(fā)現(xiàn)音符A0的頻譜圖含有豐富的諧波 A5 的頻譜圖中,能量基本集中在基頻上,諧波成分所占的能量很少。聲基本概念是兩個或者兩個以上的音符同時發(fā)聲構(gòu)成的音響組合,主要包含縱向結(jié)構(gòu)個方面。其中,縱向結(jié)構(gòu)是指柱式和弦,也就是和弦的各個音同時發(fā)聲。音的前后連接,也稱為和聲進行。與旋律有著重要的聯(lián)系,旋律是按照一定的音高、時值和音量構(gòu)成的音符的音樂都有一個地位突出的旋律,稱之為主旋律,一組和聲就是為這條旋種伴奏方法也叫和聲織體,也就是一條主要的旋律加上比較次要的和聲聲編配具體的工作內(nèi)容是根據(jù)旋律中各個音的前后連接關系,為旋律中的
圖 2-3 音符 A3 和音符 A4 諧波重疊現(xiàn)象圖 2-3 分別展示了音符 A3 和音符 A4 各自的頻譜圖以及兩個音符同時出現(xiàn)的其中音符 A3 的基頻是 220Hz,音符的基頻是 440Hz,可以看出,音符 A3 的和音符 A4 的基頻在 440Hz 處發(fā)生重疊,導致 440Hz 處的幅值達到最大。在多中,往往會同時出現(xiàn)多個音符,諧波重疊現(xiàn)象會更加復雜,針對這種現(xiàn)象,大法只能根據(jù)非重疊諧波的信息近似分離重疊出的諧波,這給多基頻估計帶來一。3 不諧和性本文的研究對象是鋼琴音樂,而鋼琴是一種半諧和樂器,即音符的基頻和各次之間不是成完美的倍數(shù)關系,其中會存在一定的偏差,而且這種偏差會隨著諧增加而增大,這種偏差一般用不諧和因子來衡量。對于半諧和樂器,基頻與各關系如下:
【參考文獻】
相關期刊論文 前6條
1 林靜;賀前華;李新超;楊繼臣;;基于高頻加權CQT譜的音符起始點檢測[J];計算機工程與設計;2015年09期
2 楊龍;;基于MFCC倒譜距離的語音端點檢測方法[J];信息通信;2015年07期
3 萬玉龍;王憲亮;周若華;顏永紅;;基于非負矩陣分解的鋼琴多音符估計[J];網(wǎng)絡新媒體技術;2014年05期
4 宋倩倩;于鳳芹;;基于EMD和改進雙門限法的語音端點檢測[J];電聲技術;2009年08期
5 徐恩平;;計算機軟件輔助音樂教學[J];科技信息;2009年02期
6 譚勁;MIDI接口和MIDI文件[J];惠州大學學報(自然科學版);1995年04期
相關博士學位論文 前1條
1 郭奕;自動音樂標注系統(tǒng)多基頻估計方法研究[D];電子科技大學;2013年
相關碩士學位論文 前6條
1 陳靜;鋼琴音樂的多基頻估計研究[D];電子科技大學;2016年
2 嚴亮;自動音樂識譜技術研究[D];電子科技大學;2016年
3 曾貞;鋼琴即興伴奏中和聲思維的培養(yǎng)[D];貴州師范大學;2015年
4 陳雪梅;樂音信號的多基頻估計[D];山東大學;2014年
5 馮亞楠;基于小波域Teager能量熵的音符起點檢測算法研究[D];天津大學;2012年
6 張秋月;基于相位特征的音樂符起點檢測[D];天津大學;2010年
本文編號:2809743
本文鏈接:http://sikaile.net/kejilunwen/xinxigongchenglunwen/2809743.html
最近更新
教材專著