發(fā)布時間：2017-10-20 16:19

  本文關(guān)鍵詞：基于多模態(tài)融合的音樂情感分類方法研究

  更多相關(guān)文章： 音樂情感分類 多模態(tài) 圖學(xué)習 Hough森林 隱式空間

【摘要】：隨著信息技術(shù)的飛速發(fā)展,海量的音樂數(shù)據(jù)涌現(xiàn)在互聯(lián)網(wǎng)中。如何有效地對這些音樂數(shù)據(jù)進行組織與檢索吸引了越來越多來白不同領(lǐng)域研究者的關(guān)注。作為音樂檢索的一個重要手段,基于音樂的情感屬性對音樂進行分類可有效提高音樂檢索的精度和效率,但同時也面臨著諸多技術(shù)挑戰(zhàn)。音樂數(shù)據(jù)通常由音頻信號與歌詞文本兩種模態(tài)所組成,傳統(tǒng)的音樂情感分類方法多數(shù)側(cè)重于對單一模態(tài)數(shù)據(jù)的分析,由于單模態(tài)數(shù)據(jù)中所包含語義信息的局限性,使得其往往無法完全表達音樂中蘊含的情感信息,因此研究有效的方法挖掘和利用音樂中多種模態(tài)數(shù)據(jù)間相關(guān)性與互補性,對提高現(xiàn)有音樂情感分類方法的性能具有十分重要的意義。本文以融合多種模態(tài)數(shù)據(jù)的音樂情感分類方法為具體研究對象,探索綜合利用多種模態(tài)音樂數(shù)據(jù)中包含的相關(guān)情感信息以有效提高情感分類的準確率。不同于以往基于文檔級音樂表示的多模態(tài)音樂情感分類方法,本文提出了句子層次的音樂特征表示機制以從更細粒度精確刻畫其情感屬性,并且提出了基于區(qū)分度排序與同義詞擴展的音樂文本預(yù)處理方法以提高音樂文本數(shù)據(jù)的情感類別區(qū)分能力。另一方面,為消除不同模態(tài)數(shù)據(jù)間的異構(gòu)性以實現(xiàn)更加有效的融合,本文提出了針對音樂情感分類的多模態(tài)Locality Preserving Projection算法,將音頻與歌詞模態(tài)數(shù)據(jù)映射到更具情感分類能力的公共隱式特征空間中。在其基礎(chǔ)上,本文進一步提出了基于多模態(tài)投票的Hough森林音樂情感分類方法,利用不同模態(tài)的音樂數(shù)據(jù)在時間上的相關(guān)性提升了音樂情感分類的準確率。另一方面,本文提出了基于多模態(tài)K近鄰與圖學(xué)習的音樂情感分類方法,基于不同模態(tài)特征在隱式空間中的相似度實現(xiàn)情感標簽的有效傳播,充分利用了不同模態(tài)音樂數(shù)據(jù)之間的相關(guān)性和互補性,提高了音樂情感分類的準確率。實驗結(jié)果表明,本文提出的方法有效融合了不同模態(tài)音樂數(shù)據(jù)中的情感信息,有效提升了音樂情感分類的精度。
【關(guān)鍵詞】：音樂情感分類 多模態(tài) 圖學(xué)習 Hough森林 隱式空間
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP391.1
【目錄】：

• 摘要4-5
• Abstract5-11
• 第一章 緒論11-16
• 1.1 研究背景、現(xiàn)狀和意義11-12
• 1.2 本文工作12-14
• 1.3 文章結(jié)構(gòu)14-16
• 第二章 多模態(tài)問題與情感分析相關(guān)研究16-23
• 2.1 多模態(tài)問題研究現(xiàn)狀16-19
• 2.1.1 跨模態(tài)統(tǒng)一表示16-17
• 2.1.2 多模態(tài)融合分析17-19
• 2.2 情感分析研究現(xiàn)狀19-23
• 2.2.1 基于音頻的音樂情感分類19-20
• 2.2.2 基于文本的情感分類20-21
• 2.2.3 多模態(tài)音樂情感分類21-22
• 2.2.4 多模態(tài)微博數(shù)據(jù)情感分類22-23
• 第三章 多模態(tài)音樂特征表示23-40
• 3.1 引言23-25
• 3.2 歌詞文本特征表示25-32
• 3.2.1 基于TF-IDF的詞袋模型特征25-26
• 3.2.2 單詞的分布式表示26-28
• 3.2.3 半監(jiān)督的遞歸式Autoencoder28-30
• 3.2.4 基于情感區(qū)分度與稀疏情感詞擴展的文本預(yù)處理方法30-32
• 3.3 音頻特征表示32-35
• 3.4 融合音頻與文本模態(tài)的音樂隱式空間表示35-38
• 3.5 本章小結(jié)38-40
• 第四章 多模態(tài)音樂情感分類方法40-52
• 4.1 引言40-41
• 4.2 傳統(tǒng)多模態(tài)情感分類方法41
• 4.3 基于多模態(tài)的Hough森林的音樂情感分類方法41-46
• 4.3.1 針對句子層次音樂表示的Hough森林分類模型42-43
• 4.3.2 基于特征融合的多模態(tài)Hough投票機制43-44
• 4.3.3 基于模型融合的多模態(tài)Hough投票機制44-46
• 4.4 基于多模態(tài)K近鄰與圖學(xué)習的音樂情感分類方法46-50
• 4.4.1 多模態(tài)音樂數(shù)據(jù)的圖模型表示46-48
• 4.4.2 基于K近鄰的圖學(xué)習算法48-49
• 4.4.3 基于多模態(tài)K近鄰與圖學(xué)習的音樂情感類別預(yù)測49-50
• 4.5 本章小結(jié)50-52
• 第五章 實驗結(jié)果與分析52-65
• 5.1 實驗數(shù)據(jù)集52-54
• 5.1.1 實驗數(shù)據(jù)收集52-53
• 5.1.2 數(shù)據(jù)集組成53-54
• 5.2 歌詞預(yù)處理有效性評估54-56
• 5.3 音樂多模態(tài)隱式空間表示評估56-59
• 5.4 基于多模態(tài)Hough森林的音樂情感分類方法評估59-60
• 5.5 基于多模態(tài)K近鄰與圖學(xué)習的情感分類方法評估60-63
• 5.6 相關(guān)方法比較63-64
• 5.7 本章小結(jié)64-65
• 第六章 總結(jié)與展望65-67
• 6.1 論文工作總結(jié)65
• 6.2 未來展望65-67
• 參考文獻67-73
• 簡歷與科研成果73-74
• 致謝74-75

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 彭建武;于曉燕;齊偉;;圖書館中的多模態(tài)應(yīng)用[J];圖書館界;2011年01期

2 保羅·范登侯汶;楊穎;;多模態(tài)論辯話語重構(gòu):以美國廣播公司一則新聞為例[J];國際新聞界;2013年04期

3 王學(xué)東;胡宋敏;謝輝;丁帥;曹高輝;;多模態(tài)網(wǎng)絡(luò)主題資源聚合與實證研究[J];情報科學(xué);2014年07期

4 胡壯麟;;談多模態(tài)小品中的主體模態(tài)[J];符號與傳媒;2011年01期

5 張薇;徐筱秋;;基于云教育平臺的多模態(tài)輸入優(yōu)化模型建構(gòu)[J];校園英語(教研版);2012年05期

6 郭志斌;;網(wǎng)絡(luò)環(huán)境下的新聞聽力多模態(tài)教學(xué)模式[J];新聞愛好者;2010年14期

7 ;《媽祖文化的多模態(tài)語篇研究》簡介[J];莆田學(xué)院學(xué)報;2011年01期

8 王瑜;穆志純;徐正光;;多模態(tài)生物特征識別技術(shù)進展綜述[J];計算機應(yīng)用與軟件;2009年02期

9 胡阿旭;陳貴萍;于洪志;;多模態(tài)語音實驗室在語言研究中的應(yīng)用[J];西北民族大學(xué)學(xué)報(自然科學(xué)版);2012年01期

10 黃戎;肖超;;多模態(tài)策略在復(fù)雜控制過程中的應(yīng)用(英文)[J];機床與液壓;2012年24期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 王愛東;谷珍;楊燕平;白鶴;;多媒體多模態(tài)教學(xué)在民辦高校大學(xué)英語教學(xué)中的適用性及效果研究[A];語言與文化研究（第十四輯）[C];2014年

2 張霄軍;;多模態(tài)語料庫:搶救瀕危語言的有效途徑[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會論文集[C];2007年

3 夏凡;王宏;;多模態(tài)情感數(shù)據(jù)標注方法與實現(xiàn)[A];第一屆建立和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2005）論文集[C];2005年

4 趙賢;;多模態(tài)基底系統(tǒng)性質(zhì)研究[A];2010年全國應(yīng)用邏輯研討會會議論文集[C];2010年

5 張友安;胡云安;周紹磊;;Hammerstein系統(tǒng)的多模態(tài)模型及其兩步辨識法[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

6 鐘若飛;郭華東;王為民;朱博勤;;SZ-4多模態(tài)傳感器輻射模態(tài)數(shù)據(jù)處理與應(yīng)用評價研究[A];第十四屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2003年

7 康志峰;;口譯中多模態(tài)的AA研究[A];第十四屆全國科技翻譯研討會論文匯編[C];2011年

8 黃俊輝;李文政;李學(xué)軍;;基于多模態(tài)醫(yī)學(xué)影像數(shù)據(jù)的計算機輔助醫(yī)療設(shè)計與腫瘤精確治療[A];中國腫瘤內(nèi)科進展 中國腫瘤醫(yī)師教育（2014）[C];2014年

9 孟祥亮;史元春;楊欣;;基于分層原語的多模態(tài)輸入統(tǒng)一訪問接口[A];第四屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議論文集[C];2008年

10 郭華東;王為民;朱博勤;;多模態(tài)傳感器輻射模態(tài)數(shù)據(jù)在SZ-4飛船模擬驗證研究[A];全國國土資源與環(huán)境遙感技術(shù)應(yīng)用交流會論文文集[C];2004年

中國重要報紙全文數(shù)據(jù)庫 前2條

1 記者 劉垠;在分子水平上認識疾病[N];大眾科技報;2009年

2 羅綿衛(wèi) 王建成;中國航天科工高分專項實現(xiàn)零突破[N];中國航天報;2011年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 高靜;信息物理融合系統(tǒng)中基于多模態(tài)數(shù)據(jù)的事件監(jiān)測問題研究[D];哈爾濱工業(yè)大學(xué);2015年

2 侯濤;多信息融合濾波的多模態(tài)智能控制在高速列車速度控制中的研究[D];蘭州交通大學(xué);2015年

3 聶為之;多模態(tài)媒體數(shù)據(jù)分析關(guān)鍵技術(shù)研究[D];天津大學(xué);2014年

4 劉鵬;慢性傷口光學(xué)仿體的多尺度多模態(tài)醫(yī)學(xué)影像技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2016年

5 張征;英語課堂多模態(tài)讀寫能力實證研究[D];山東大學(xué);2011年

6 李寶磊;多元優(yōu)化過程記憶算法及動靜條件下多模態(tài)尋優(yōu)研究[D];云南大學(xué);2015年

7 潘鳴威;多模態(tài)視角下的口語交際能力：重構(gòu)與探究[D];上海外國語大學(xué);2011年

8 逯波;多模態(tài)媒體信息檢索技術(shù)研究[D];東北大學(xué);2013年

9 譚帥;多模態(tài)過程統(tǒng)計建模及在線監(jiān)測方法研究[D];東北大學(xué);2012年

10 王洋;多模態(tài)圖像檢索技術(shù)[D];中國科學(xué)技術(shù)大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 蔣迪;計劃生育宣傳畫的多模態(tài)語篇分析[D];天津商業(yè)大學(xué);2015年

2 宋康利;概念整合理論視角下平面廣告中的多模態(tài)隱喻研究[D];湖南工業(yè)大學(xué);2015年

3 仲麗娜;譯林版初中英語教材的多模態(tài)語篇分析[D];揚州大學(xué);2015年

4 歐陽素珍;多模態(tài)輸入對英語專業(yè)學(xué)生聽力理解影響的實證研究[D];湖南師范大學(xué);2015年

5 鄧林霞;多模態(tài)話語分析理論下的初中英語語法教學(xué)實證研究[D];湖南師范大學(xué);2015年

6 劉丹彤;基于多模態(tài)隱喻理論的家用空氣凈化器設(shè)計研究[D];華東理工大學(xué);2015年

7 鐘帆;平面環(huán)保公益廣告的多模態(tài)隱喻研究[D];北京林業(yè)大學(xué);2016年

8 郭浩東;普適計算環(huán)境下多模態(tài)信息融合的活動識別研究[D];浙江大學(xué);2016年

9 張瀚之;基于多模態(tài)特征的人體運動識別系統(tǒng)[D];浙江大學(xué);2016年

10 馬林涓;《今日中國》封面構(gòu)圖意義的多模態(tài)語篇分析[D];西南民族大學(xué);2015年

，

本文編號：1068150