基于深度學(xué)習(xí)的詩(shī)畫相生APP設(shè)計(jì)研究
發(fā)布時(shí)間:2021-07-20 15:09
“詩(shī)畫相生”是中國(guó)傳統(tǒng)文學(xué)藝術(shù)重要理論,在中國(guó)藝術(shù)史上有著非常重要的地位!霸(shī)畫相生”的“詩(shī)”和“畫”,主要指中國(guó)的古體山水詩(shī)和水墨山水畫,“詩(shī)中有畫,畫中有詩(shī)”,即古體山水詩(shī)和水墨山水畫之間“詩(shī)”“畫”互動(dòng)的特殊藝術(shù)現(xiàn)象。利用深度學(xué)習(xí)相關(guān)技術(shù),將“詩(shī)畫相生”這種中國(guó)傳統(tǒng)藝術(shù)創(chuàng)作過(guò)程轉(zhuǎn)換為數(shù)字媒介方式,對(duì)于傳承中國(guó)傳統(tǒng)文化藝術(shù),提高當(dāng)代人對(duì)中國(guó)傳統(tǒng)“詩(shī)畫相生”互動(dòng)機(jī)制的認(rèn)識(shí)以及創(chuàng)作興趣,是一個(gè)非常值得探索的設(shè)計(jì)方向!癆I詩(shī)畫”APP,核心技術(shù)是深度學(xué)習(xí)算法設(shè)計(jì)。采用大量的古代山水詩(shī)、水墨山水畫作為訓(xùn)練素材,運(yùn)用Seq2Seq、Cycle GAN等算法進(jìn)行深度學(xué)習(xí)訓(xùn)練,生成基于圖像識(shí)別的“古體山水詩(shī)創(chuàng)作AI”模型和“水墨山水畫創(chuàng)作AI”模型,最終將其整合為“AI詩(shī)畫”APP!癆I詩(shī)畫”的程序流程是,首先,輸入山水風(fēng)景圖片,通過(guò)百度識(shí)圖識(shí)別風(fēng)景圖片中的主體圖像并輸出為詞匯,再通過(guò)程序?qū)⒃~匯進(jìn)行二次處理,獲取關(guān)鍵詞輸入Seq2Seq程序,由程序調(diào)用“山水詩(shī)創(chuàng)作AI”模型生成山水詩(shī);運(yùn)用Cycle GAN程序調(diào)用“水墨山水畫AI”模型對(duì)該圖片進(jìn)行處理,生成水墨山水畫。使用焦點(diǎn)訪談的調(diào)研方式...
【文章來(lái)源】:哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:62 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
GAN結(jié)構(gòu)圖
經(jīng)網(wǎng)絡(luò)的起源主要是將之前的信息與一個(gè)序列的當(dāng)前的輸出的內(nèi)容進(jìn)行聯(lián)系。所謂循環(huán)神經(jīng)網(wǎng)絡(luò)就是將之前的信息進(jìn)行部分的利用,對(duì)于之后的節(jié)點(diǎn)的輸出而產(chǎn)生的影響。這就是RNN的基本原理(圖2-2)。然而,單純的對(duì)于RNN循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō),對(duì)于反向傳播的過(guò)程中,在每一個(gè)時(shí)刻之后,都會(huì)存在對(duì)于內(nèi)容的縮小或者變大,當(dāng)程度過(guò)大或者過(guò)小的時(shí)候,就會(huì)出現(xiàn)爆炸或者消失的問(wèn)題?赡芫蜁(huì)導(dǎo)致生成內(nèi)容就會(huì)出現(xiàn)相當(dāng)大的偏差,就沒辦法對(duì)于模型進(jìn)行訓(xùn)練。所以,有學(xué)者就提出了使用LSTM[46,47]來(lái)對(duì)于這個(gè)偏差問(wèn)題進(jìn)行一定的解決。圖2-2RNN模型圖我們可以看到,對(duì)于LSTM最主要的改進(jìn)內(nèi)容主要是采用了更加繁復(fù)的信息處理方式的神經(jīng)網(wǎng)絡(luò)層。RNN網(wǎng)絡(luò)主要是通過(guò)上一個(gè)網(wǎng)絡(luò)的輸入,加上本身網(wǎng)絡(luò)的輸入,將兩個(gè)輸入進(jìn)行一定的信息壓縮就進(jìn)行輸出。而LSTM就當(dāng)復(fù)雜,具有單元狀態(tài)流,遺忘門,輸入門和輸出門。輸入門主要用來(lái)決定在目前這一個(gè)時(shí)間節(jié)點(diǎn)上有多少神經(jīng)元狀態(tài)能夠被留存下來(lái)。遺忘門主要是用來(lái)上一個(gè)時(shí)間節(jié)點(diǎn)的神經(jīng)元狀態(tài)有多少會(huì)被留存到當(dāng)前的這個(gè)時(shí)間。輸出門主要用來(lái)控制
哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-18-神經(jīng)元輸出的狀態(tài)的值是多少以及輸出到下一個(gè)神經(jīng)元的狀態(tài)值是多少。圖2-3RNN與LSTMLSTM就是通過(guò)這樣的狀態(tài)來(lái)對(duì)于過(guò)去原本的狀態(tài)進(jìn)行一定的內(nèi)容的過(guò)濾,從而對(duì)于狀態(tài)進(jìn)行選擇,而不是簡(jiǎn)單的對(duì)于狀態(tài)選擇最近的。(3)Seq2Seq模型Seq2Seq是一種encoder-decoder的結(jié)構(gòu),這種程序的基本思想就是使用兩個(gè)RNN,一個(gè)RNN作為編碼器,一個(gè)RNN作為編碼器。作為編碼器的RNN的主要作用就是將輸入的內(nèi)容進(jìn)行處理,通過(guò)處理,將其壓縮為一個(gè)固定的長(zhǎng)度的向量。這樣,輸入的內(nèi)容的語(yǔ)義就被這個(gè)向量所代表。這就是這個(gè)算法的編碼過(guò)程。而解碼器的作用主要是根據(jù)編碼器所產(chǎn)生的代表語(yǔ)義的向量,來(lái)進(jìn)行生成一個(gè)序列,這也就是程序的解碼過(guò)程。
【參考文獻(xiàn)】:
期刊論文
[1]計(jì)算機(jī)視覺技術(shù)在自動(dòng)化中的應(yīng)用探析[J]. 江浩. 科技創(chuàng)新與應(yīng)用. 2020(14)
[2]反饋機(jī)制在交互設(shè)計(jì)中的應(yīng)用[J]. 鄂錦慧,蔣曉. 大眾文藝. 2020(09)
[3]探尋古詩(shī)的美 提高學(xué)生素養(yǎng)[J]. 董茂宏. 小學(xué)教學(xué)參考. 2020(13)
[4]淺談中國(guó)水墨畫效果在產(chǎn)品包裝設(shè)計(jì)中的應(yīng)用[J]. 付強(qiáng). 福建茶葉. 2020(04)
[5]消費(fèi)者品牌內(nèi)容分享行為——基于社會(huì)化媒體的研究[J]. 侯天一,鄧富民,王曉妍,張輝輝. 軟科學(xué). 2020(05)
[6]基于格式塔心理學(xué)的手機(jī)游戲界面設(shè)計(jì)研究[J]. 郭鵬飛,鐘廈,肖丹. 工業(yè)設(shè)計(jì). 2020(03)
[7]潛意識(shí)行為在交互設(shè)計(jì)中的應(yīng)用分析[J]. 李直. 藝術(shù)教育. 2019(12)
[8]“詩(shī)中有畫,畫中有詩(shī)”——探析蘇軾繪畫美學(xué)思想[J]. 盛鳳姝. 美與時(shí)代(中). 2019(11)
[9]工作記憶容量與走神頻率關(guān)系的元分析[J]. 吳國(guó)來(lái),張婧婧,任方圓,楊晶晶,酒艷紅. 心理與行為研究. 2019(04)
[10]基于CNN與RNN的智能看圖寫詩(shī)實(shí)現(xiàn)方法[J]. 徐愛惜. 科學(xué)技術(shù)創(chuàng)新. 2018(29)
碩士論文
[1]《良友》畫報(bào)中“詩(shī)畫結(jié)合”的應(yīng)用研究[D]. 王爽.青島科技大學(xué) 2019
[2]深度神經(jīng)網(wǎng)絡(luò)在基于圖片生成中國(guó)古詩(shī)問(wèn)題中的研究與應(yīng)用[D]. 蔣亮.中國(guó)科學(xué)技術(shù)大學(xué) 2018
[3]基于神經(jīng)網(wǎng)絡(luò)的古詩(shī)詞自動(dòng)生成研究[D]. 李爭(zhēng).北京郵電大學(xué) 2018
[4]基于遺傳算法的宋詞自動(dòng)生成研究[D]. 游維.廈門大學(xué) 2007
本文編號(hào):3293060
【文章來(lái)源】:哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:62 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
GAN結(jié)構(gòu)圖
經(jīng)網(wǎng)絡(luò)的起源主要是將之前的信息與一個(gè)序列的當(dāng)前的輸出的內(nèi)容進(jìn)行聯(lián)系。所謂循環(huán)神經(jīng)網(wǎng)絡(luò)就是將之前的信息進(jìn)行部分的利用,對(duì)于之后的節(jié)點(diǎn)的輸出而產(chǎn)生的影響。這就是RNN的基本原理(圖2-2)。然而,單純的對(duì)于RNN循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō),對(duì)于反向傳播的過(guò)程中,在每一個(gè)時(shí)刻之后,都會(huì)存在對(duì)于內(nèi)容的縮小或者變大,當(dāng)程度過(guò)大或者過(guò)小的時(shí)候,就會(huì)出現(xiàn)爆炸或者消失的問(wèn)題?赡芫蜁(huì)導(dǎo)致生成內(nèi)容就會(huì)出現(xiàn)相當(dāng)大的偏差,就沒辦法對(duì)于模型進(jìn)行訓(xùn)練。所以,有學(xué)者就提出了使用LSTM[46,47]來(lái)對(duì)于這個(gè)偏差問(wèn)題進(jìn)行一定的解決。圖2-2RNN模型圖我們可以看到,對(duì)于LSTM最主要的改進(jìn)內(nèi)容主要是采用了更加繁復(fù)的信息處理方式的神經(jīng)網(wǎng)絡(luò)層。RNN網(wǎng)絡(luò)主要是通過(guò)上一個(gè)網(wǎng)絡(luò)的輸入,加上本身網(wǎng)絡(luò)的輸入,將兩個(gè)輸入進(jìn)行一定的信息壓縮就進(jìn)行輸出。而LSTM就當(dāng)復(fù)雜,具有單元狀態(tài)流,遺忘門,輸入門和輸出門。輸入門主要用來(lái)決定在目前這一個(gè)時(shí)間節(jié)點(diǎn)上有多少神經(jīng)元狀態(tài)能夠被留存下來(lái)。遺忘門主要是用來(lái)上一個(gè)時(shí)間節(jié)點(diǎn)的神經(jīng)元狀態(tài)有多少會(huì)被留存到當(dāng)前的這個(gè)時(shí)間。輸出門主要用來(lái)控制
哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-18-神經(jīng)元輸出的狀態(tài)的值是多少以及輸出到下一個(gè)神經(jīng)元的狀態(tài)值是多少。圖2-3RNN與LSTMLSTM就是通過(guò)這樣的狀態(tài)來(lái)對(duì)于過(guò)去原本的狀態(tài)進(jìn)行一定的內(nèi)容的過(guò)濾,從而對(duì)于狀態(tài)進(jìn)行選擇,而不是簡(jiǎn)單的對(duì)于狀態(tài)選擇最近的。(3)Seq2Seq模型Seq2Seq是一種encoder-decoder的結(jié)構(gòu),這種程序的基本思想就是使用兩個(gè)RNN,一個(gè)RNN作為編碼器,一個(gè)RNN作為編碼器。作為編碼器的RNN的主要作用就是將輸入的內(nèi)容進(jìn)行處理,通過(guò)處理,將其壓縮為一個(gè)固定的長(zhǎng)度的向量。這樣,輸入的內(nèi)容的語(yǔ)義就被這個(gè)向量所代表。這就是這個(gè)算法的編碼過(guò)程。而解碼器的作用主要是根據(jù)編碼器所產(chǎn)生的代表語(yǔ)義的向量,來(lái)進(jìn)行生成一個(gè)序列,這也就是程序的解碼過(guò)程。
【參考文獻(xiàn)】:
期刊論文
[1]計(jì)算機(jī)視覺技術(shù)在自動(dòng)化中的應(yīng)用探析[J]. 江浩. 科技創(chuàng)新與應(yīng)用. 2020(14)
[2]反饋機(jī)制在交互設(shè)計(jì)中的應(yīng)用[J]. 鄂錦慧,蔣曉. 大眾文藝. 2020(09)
[3]探尋古詩(shī)的美 提高學(xué)生素養(yǎng)[J]. 董茂宏. 小學(xué)教學(xué)參考. 2020(13)
[4]淺談中國(guó)水墨畫效果在產(chǎn)品包裝設(shè)計(jì)中的應(yīng)用[J]. 付強(qiáng). 福建茶葉. 2020(04)
[5]消費(fèi)者品牌內(nèi)容分享行為——基于社會(huì)化媒體的研究[J]. 侯天一,鄧富民,王曉妍,張輝輝. 軟科學(xué). 2020(05)
[6]基于格式塔心理學(xué)的手機(jī)游戲界面設(shè)計(jì)研究[J]. 郭鵬飛,鐘廈,肖丹. 工業(yè)設(shè)計(jì). 2020(03)
[7]潛意識(shí)行為在交互設(shè)計(jì)中的應(yīng)用分析[J]. 李直. 藝術(shù)教育. 2019(12)
[8]“詩(shī)中有畫,畫中有詩(shī)”——探析蘇軾繪畫美學(xué)思想[J]. 盛鳳姝. 美與時(shí)代(中). 2019(11)
[9]工作記憶容量與走神頻率關(guān)系的元分析[J]. 吳國(guó)來(lái),張婧婧,任方圓,楊晶晶,酒艷紅. 心理與行為研究. 2019(04)
[10]基于CNN與RNN的智能看圖寫詩(shī)實(shí)現(xiàn)方法[J]. 徐愛惜. 科學(xué)技術(shù)創(chuàng)新. 2018(29)
碩士論文
[1]《良友》畫報(bào)中“詩(shī)畫結(jié)合”的應(yīng)用研究[D]. 王爽.青島科技大學(xué) 2019
[2]深度神經(jīng)網(wǎng)絡(luò)在基于圖片生成中國(guó)古詩(shī)問(wèn)題中的研究與應(yīng)用[D]. 蔣亮.中國(guó)科學(xué)技術(shù)大學(xué) 2018
[3]基于神經(jīng)網(wǎng)絡(luò)的古詩(shī)詞自動(dòng)生成研究[D]. 李爭(zhēng).北京郵電大學(xué) 2018
[4]基于遺傳算法的宋詞自動(dòng)生成研究[D]. 游維.廈門大學(xué) 2007
本文編號(hào):3293060
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3293060.html
最近更新
教材專著