本文關(guān)鍵詞：圖像與MIDI樂曲的信息互映射與一種新穎的可視化方法，由筆耕文化傳播整理發(fā)布。

網(wǎng)友zbggqyk171近日為您收集整理了關(guān)于圖像與MIDI樂曲的信息互映射與一種新穎的可視化方法的文檔，希望對您的工作和學(xué)習(xí)有所幫助。以下是文檔介紹：圖像與 MIDI 樂曲的信息互映射與一種新穎的可視化方法摘要:本文通過分析圖像與 MIDI 樂曲的信息構(gòu)成方式,提出了從圖像三維信息空間到MIDI四維信息空間之間的互映射轉(zhuǎn)換模型,利用 MIDI樂曲的時序關(guān)系,提出了一種新穎有趣的 MIDI 信息的彩色圓圈動畫顯示方法。實驗結(jié)果顯示,圖像信息到 MIDI 信息的映射轉(zhuǎn)換能輔助創(chuàng)作音樂的動機(jī),MIDI 樂曲的彩色圓圈動畫能形象地展示樂音的屬性與時序關(guān)系。關(guān)鍵詞:RGB 圖像;MIDI 樂曲;互映射;彩色圓圈;動畫0 前言動機(jī)是音樂的靈魂,動機(jī)通過發(fā)展形成樂曲,靈感是產(chǎn)生動機(jī)的重要因素,在數(shù)字時代,人們在探索利用人工智能方法產(chǎn)生動機(jī),進(jìn)而發(fā)展成樂曲,計算機(jī)作曲或者算法作曲技術(shù)的發(fā)展為音樂的創(chuàng)作提供了一條可行的路線。1957 年由 Lejaren Hiller 第一次利用計算機(jī)進(jìn)行音樂創(chuàng)作,設(shè)計了作曲系統(tǒng) Illiac Suite;1960 年代初期,Robert Baker 和 Lejaren Hiller設(shè)計了第一個自動作曲系統(tǒng) P[1],而最著名的計算機(jī)作曲系統(tǒng)則是 Iannis Xenakis 系統(tǒng)[2],它利用統(tǒng)計與概率方法進(jìn)行輔助設(shè)計等等。在計算機(jī)作曲系統(tǒng)中,大量使用了人工智能的方法,如馬爾可夫鏈[3]、遺傳算法[4]、高層領(lǐng)域知識[5]和神經(jīng)網(wǎng)絡(luò)[6]等。音樂可視化是對音樂表達(dá)的一種非主觀的解釋和判斷,是為理解、分析、比較音樂的表現(xiàn)力和內(nèi)部結(jié)構(gòu)提供的一種呈現(xiàn)技術(shù)[7]。它綜合利用了音樂、數(shù)字音頻、圖形學(xué)、圖像處理、虛擬現(xiàn)實等領(lǐng)域的跨學(xué)科知識,研究內(nèi)容廣泛,如可視化系統(tǒng)構(gòu)建、音樂感知模型、情感檢測、沉浸式顯示等,在娛樂、教育、藝術(shù)、商業(yè)和數(shù)字遺產(chǎn)保護(hù)[8]中具有廣闊的應(yīng)用前景。音樂可視化實現(xiàn)方法很多,如水彩畫風(fēng)格的音樂動畫技術(shù)[9],基于實時 MIDI 響應(yīng)的 Music on the Spiral Array 系統(tǒng)[10],三維蠕蟲效果[11],以及基于虛擬技術(shù)的 ANIMUS 框架[12]等。1 圖像與 MIDI 樂曲的映射轉(zhuǎn)換模型1.1 圖像像素與 MIDI 音符分析一幅數(shù)字圖像由若干個離散的像素點(diǎn)組成,不同的像素點(diǎn)具有不同的屬性,彩***像的像素點(diǎn)由三個基本的顏色 RGB 構(gòu)成,每個顏色占用 1 個字節(jié)空間,可以有 256 種不同的顏色值,灰度圖像的每個像素點(diǎn)的值是灰度級,范圍是 0~255,二值圖像的每個像素的像素值不是 0 就是 1。音樂音符有四個基本的屬性,分別是音色、音高、時值和力度,在 MIDI樂曲中,不同的音軌軌道包含有不同的音色,一個軌道的 MIDI 音符由三個字節(jié)構(gòu)成,第 1 個字節(jié)為軌道信息和音符開或關(guān)的信息,第 2 個字節(jié)為音符的音高信息,范圍為 0~127,第 3 個字節(jié)是音符的力度信息,范圍為0~127,音符的時值由音符的開信號和關(guān)信號之間的時間差來決定,時長不定。因此,圖像的像素由三維的 RGB 分量構(gòu)成,而 MIDI 樂曲則由四維的音軌、音高、時值和力度構(gòu)成,圖像信息與 MIDI 信號之間的映射轉(zhuǎn)換就是研究三維空間與四維空間之間的映射關(guān)系。1.2 映射轉(zhuǎn)換模型圖像信息與音樂 MIDI 信號之間的互映射轉(zhuǎn)換是一個視覺信息與抽象信息的互轉(zhuǎn)換過程,從 MIDI 音樂到圖像的轉(zhuǎn)換是音樂信息可視化的研究內(nèi)容之一,從圖像到 MIDI 音樂的轉(zhuǎn)換是圖像抽象化的一種有趣探索。這里,分析圖像和 MIDI 樂曲之間的對應(yīng)映射轉(zhuǎn)換關(guān)系:常見的彩***像有 RGB、HIS 格式等,圖像信息的主要內(nèi)容是像素的色彩信息,在 RGB 格式中,每個像素包含有 RGB 三個分量的圖像信息,MIDI樂曲的主要信息是音符信息,音樂樂曲的 MIDI 音序中包含有 k(≥1)個軌道信息,每個軌道中的樂音信息由音高(Pitch)、時值(Duration)、力度(Value)三要素構(gòu)成,因此,可以在圖像的 RGB 分量與 MIDI 的 PDV要素之間建立對應(yīng)映射關(guān)系,使得圖像的單個像素的 RGB 分量與 MIDI 的單個樂音 PDV 要素之間構(gòu)成互映射轉(zhuǎn)換,見圖 1。同時,音樂樂曲常有多聲部構(gòu)成,每個聲部中的樂音之間有先后的時序關(guān)系,并且樂曲的音調(diào)和調(diào)性制約著樂曲中樂音的呈現(xiàn)方式;而圖像中的像素之間并無時序關(guān)系,因此需要設(shè)計圖像中的各個像素與樂曲中的樂音之間的對應(yīng)關(guān)系,常見的方法是按圖像的從上到下、從左到右的像素掃描序列對應(yīng)樂曲中樂音的先后時序。圖像像素的 RGB 向量是三維結(jié)構(gòu),RGB 向量的每一分量取值范圍為 0~255;樂曲的樂音 MIDI 信號的 PDV 向量也是三維結(jié)構(gòu),其中 P 分量的取值范圍為 0~127,V 分量的取值范圍為 1~127,D 分量的取值范圍為不定。V 分量的取值范圍雖然為 1~127,但是由于樂曲中表示力度的符號一般包括:ppp,pp,p,mp,mf,f,ff,fff 等幾種定性符號,定性力度符號與定量 MIDI 信號之間可根據(jù)不同樂曲進(jìn)行個性化對應(yīng)轉(zhuǎn)換。P 分量表示樂音音高,比如鋼琴的音域范圍的 MIDI 信號為 21~108,中央 C 的 MIDI 信號為 60;由于樂曲不僅有音調(diào)、調(diào)式,而且還有一些限制,如人聲的音域范圍不可能為 0~127,調(diào)式有大小調(diào)式、五聲調(diào)式(見于中國古代音樂)、七聲調(diào)式(西方音樂的主要調(diào)式)等之分,音調(diào)有 C調(diào)、D 調(diào)、F 調(diào)等 12 個,這些都限制了實際樂曲中樂音的 MIDI 信號音高取值范圍, 如 C 大調(diào)五聲調(diào)式的樂音使用的 MIDI 信號值為:60/62/64/67/69+12*j,-5≤j≤5,共 49 個值。樂音的時值通常有 1 拍、2 拍、1/2 拍、3 拍、1/3 拍、4 拍、1/4 拍等等定性的記譜符號,在 MIDI 信號中,則表示為門時間,由同一個樂音的 MIDI 信號分兩次不同出現(xiàn)之間的間隔來決定。圖像像素信息與樂曲 MIDI 信號的樂音之間映射關(guān)系可以有不同的組合,如在圖像的 R/G/B分量與樂音的 P 分量之間建立映射,可分為無調(diào)性映射、調(diào)性映射、調(diào)式映射、窄音域映射等。無調(diào)性映射是 P 分量的 MIDI 信號值只取決于圖像像素的某個分量的取值,調(diào)性映射是指 P 分量的 MIDI 信號值屬于某調(diào)性的MIDI信號值集合,調(diào)式映射是指P分量的MIDI信號值屬于某調(diào)式的MIDI信號值集合,窄音域映射是指 P 分量的 MIDI 信號值屬于特定的較小音域的 MIDI 信號值集合。從 MIDI 信號到圖像像素之間的映射關(guān)系主要考慮 MIDI 信號的取值范圍能等概率地映射到像素各分量的取值范圍。如從 MIDI 的力度信號映射到圖像的 R/G/B 分量,由于常見的力度符號只有 8 個,而彩***像的 R/G/B分量取值范圍為 0~255,共 256 個不同的值,這樣可以在映射過程中加入隨機(jī)變量,使得從 8 個力度符號能等概率地產(chǎn)生 256 個不同的 R/G/B 分量值。1.3 彩色圓圈為可視化 MIDI 樂音信號的抽象信息,把 MIDI 樂音信號的 PDV 分量用二維彩色圓圈按樂音的時序先后呈現(xiàn),其中 P/V 分量分別為 X-Y 軸,圓圈

12>

  本文關(guān)鍵詞：圖像與MIDI樂曲的信息互映射與一種新穎的可視化方法，由筆耕文化傳播整理發(fā)布。