歌曲是人們用來抒發(fā)情感、表達(dá)態(tài)度的一種重要手段。傳統(tǒng)意義上講,音樂是一門聽覺藝術(shù)。旋律的變化、音調(diào)的起伏讓人們在欣賞音樂的同時可以感受到歌曲的情緒變化。隨著計(jì)算機(jī)技術(shù)的發(fā)展和生活水平的提高,人們已經(jīng)不單單滿足于“聆聽”音樂,更想“看見”音樂。因此,音樂可視化工作漸漸走入人們的視野。傳統(tǒng)的音樂可視化工作大多基于歌曲的音頻特征,利用視覺頻譜顯示頻率和音調(diào)的變化可視化音樂的進(jìn)程。然而這種通過視覺頻譜的方式顯得過于乏味,若能通過變換的圖像表達(dá)會更加有趣和直觀,對于人們深刻理解音樂也會有很大幫助。具體說來,我們發(fā)現(xiàn)歌曲的重要組成形式——歌詞之中存在著可以用圖像表征的元素,并且歌詞蘊(yùn)含的情感同圖像情感也存在著對應(yīng)的一致性。因此,我們通過歌詞作為歌曲的媒介,建立歌曲和圖像之間的關(guān)聯(lián)完成了可視化工作。同時,對于數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)技術(shù)而言,一個高質(zhì)量的數(shù)據(jù)集是十分必要的。鑒于目前還沒有公開的歌詞配圖相關(guān)的數(shù)據(jù)集,我們制作了一個帶有情感標(biāo)簽的歌詞-圖像數(shù)據(jù)集,并在上面進(jìn)行了大量實(shí)驗(yàn),證明我們通過歌詞配圖以可視化音樂的方法是有效的。因此,我們工作的貢獻(xiàn)主要包含以下幾個方面:首先,我們通過歌詞作為媒介建立了歌... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：65 頁

【學(xué)位級別】：碩士

【部分圖文】：

傳統(tǒng)音樂可視化樣例傳統(tǒng)意義上，音樂是一種聽覺藝術(shù)，曲調(diào)、節(jié)奏、情緒都在音頻信息中得

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-4-含了情感判別信息。無論是圖像數(shù)據(jù)還是文本數(shù)據(jù)，我們分析圖像和歌詞表達(dá)的情感，重要的是對情感信息有一個較為合理、準(zhǔn)確、有效的分類，并且能夠提取具有判別性的特征。然而，雖然有大量關(guān)于情感機(jī)制的研究工作，但由于情感的主觀特性，目前并沒有形成統(tǒng)一的理論，也沒有形成定量的評價標(biāo)準(zhǔn)。當(dāng)前的研究大多利用心理學(xué)領(lǐng)域的情感模型進(jìn)行圖像的情感分析，比如Plutchik情感輪模型[19]將情感分為生氣、厭惡、恐懼、悲傷、期待、快樂、驚訝和信任等,Ekman[20]情感理論則將情感分為六種基本情感，分別是憤怒、厭惡、害怕、高興、悲傷和良好。通過對這六種基本情感進(jìn)行組合可以得到其他情感。根據(jù)這些情感空間模型，研究人員建立了許多圖像情感分類的數(shù)據(jù)集，比如Peng等人[21]根據(jù)Ekman情感理論建立了EmotionROI數(shù)據(jù)集，Borth等人[22]根據(jù)Plutchik情感輪模型建立了Sentibank數(shù)據(jù)集等。通過對已有情感模型的觀察，以及相關(guān)圖像情感分類問題的研究[23-25],我們可以將圖像情感大體分為積極和消極兩大類別。圖1-2Thayer情感模型此外，對于音樂的情感分類，現(xiàn)有的音樂情感研究大多從文本關(guān)鍵詞模型和音頻參數(shù)模型兩個方面進(jìn)行。從音頻角度來看，shi[26]等人通過對頻譜的分析建立了一個分析系統(tǒng)，目的是提取相關(guān)的節(jié)奏信息，并根據(jù)節(jié)奏的變換實(shí)現(xiàn)對音樂情感的分類任務(wù)。而Wang[27]和Cyril等人則是分別利用頻譜以及音樂波形等特征，利用支持向量機(jī)（SVM）的方法對音樂情感進(jìn)行分類。從文本關(guān)鍵詞角度看，David等人[28]利用歌曲的歌詞信息來識別歌曲的情感類型。目前

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-7-最后，根據(jù)之前的歌詞配圖算法的研究，我們利用由歌詞檢索的圖像生成音樂視頻。具體來說，對于預(yù)先分好的歌詞片段，我們利用每一個片段的最佳檢索結(jié)果作為候選圖像，同時利用歌詞中的時間信息以及音頻文件作為背景音樂，形成音樂視頻從而達(dá)到音樂可視化目的。1.4本文的組織結(jié)構(gòu)本文通過四章內(nèi)容講述課題的研究內(nèi)容，圖1-3對論文的章節(jié)安排和邏輯關(guān)系進(jìn)行了展示。圖1-3文章總體框架第一章，首先介紹論文工作的研究背景及意義，針對歌詞配圖涉及到的相關(guān)領(lǐng)域的研究現(xiàn)狀進(jìn)行綜述。緒論的最后介紹了論文的主要研究內(nèi)容以及結(jié)構(gòu)安排。第二章，介紹基于深度學(xué)習(xí)的歌詞配圖應(yīng)用涉及的相關(guān)理論基礎(chǔ)，并著重介紹視覺特征和歌詞特征提取的理論知識，最后是第二章的總結(jié)。第三章，介紹本文所建立的用于歌詞配圖的歌詞-圖像數(shù)據(jù)集。首先對比了相關(guān)工作和已有數(shù)據(jù)集，說明建立歌詞片段-圖像數(shù)據(jù)集的原因；其次，介紹了建立數(shù)據(jù)集的方法和清洗規(guī)則，并且對數(shù)據(jù)集進(jìn)行介紹；最后基于數(shù)據(jù)集提出一種融合圖像和歌詞特征的歌詞配圖算法，并利用情感作為監(jiān)督信息，通

【參考文獻(xiàn)】：
期刊論文
[1]基于多層特征描述及關(guān)系學(xué)習(xí)的智能圖像情感識別[J]. 楊文武,普園媛,趙征鵬,徐丹,錢文華,阿曼.  陜西師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(05)
[2]基于視覺的情感分析研究綜述[J]. 李祖賀,樊養(yǎng)余.  計(jì)算機(jī)應(yīng)用研究. 2015(12)

博士論文
[1]基于深度學(xué)習(xí)的圖像情感分析研究[D]. 宋凱凱.中國科學(xué)技術(shù)大學(xué) 2018



本文編號：3015008