隨著移動(dòng)互聯(lián)網(wǎng)的普及和高速發(fā)展,媒體服務(wù)模式的不斷創(chuàng)新,廣大用戶在方便快捷的獲取各式各樣優(yōu)質(zhì)內(nèi)容的同時(shí),也帶來了嚴(yán)重的盜版問題。為切實(shí)解決移動(dòng)互聯(lián)網(wǎng)時(shí)代的盜版問題,鼓勵(lì)優(yōu)質(zhì)內(nèi)容創(chuàng)作者,有效打擊盜版產(chǎn)業(yè)各個(gè)環(huán)節(jié),保護(hù)產(chǎn)業(yè)鏈各方的權(quán)益,政府、學(xué)術(shù)界、產(chǎn)業(yè)圈等都做了大量的努力。國家版權(quán)局聯(lián)合國家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部于2017年實(shí)施“劍網(wǎng)行動(dòng)”,多家行業(yè)機(jī)構(gòu)建立了網(wǎng)絡(luò)版權(quán)監(jiān)測平臺(tái)。學(xué)術(shù)界還提出了數(shù)字水印、區(qū)塊鏈存證、DCI、DRM等技術(shù),在深度學(xué)習(xí)的基礎(chǔ)上實(shí)現(xiàn)了互聯(lián)網(wǎng)盜版的搜索和追蹤,有效凈化了網(wǎng)絡(luò)空間,有效保護(hù)了知識(shí)產(chǎn)權(quán)。數(shù)字版權(quán)保護(hù)的理想目標(biāo)是徹底杜絕盜版,但由于技術(shù)的限制,音頻內(nèi)容的版權(quán)侵權(quán)并未得到有效保護(hù)。主要原因是取證困難、人工成本高。為了解決以上問題,本文提出了基于NLP的數(shù)字語音數(shù)據(jù)版權(quán)追溯原型系統(tǒng)。該系統(tǒng)包括數(shù)據(jù)采集模塊、語音識(shí)別模塊、數(shù)據(jù)預(yù)處理模塊、語義相似度計(jì)算模塊、結(jié)果區(qū)塊鏈存證模塊。在語義相似度計(jì)算模塊中,本文還提出了一種基于CNN和Bi-LSTM的短文本語義相似度計(jì)算模型。該模型分為編碼器層和交互層。編碼器通過LSTM+CNN生成句子向量。交互層將... 

【文章來源】：北京印刷學(xué)院北京市

【文章頁數(shù)】：52 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1雙層Bi-LSTM語言模型

北京印刷學(xué)院碩士學(xué)位論文相關(guān)技術(shù)和理論基礎(chǔ)7è圖2-2Text-CNN語言模型2.3Bi-LSTM+Attention雙向長短期記憶(Bi-LSTM)：向回歸神經(jīng)網(wǎng)絡(luò)(RNN)實(shí)際上是把兩個(gè)獨(dú)立的RNN放在一起。這種結(jié)構(gòu)允許網(wǎng)絡(luò)在每個(gè)時(shí)間步驟中同時(shí)擁有關(guān)于序列的前向和后向信息。使用雙向網(wǎng)絡(luò)將以兩種方式輸入，一種是從過去到未來，一種是從未來到過去，這種方式與單向運(yùn)行的不同之處在于，在向后運(yùn)行的LSTM中，您可以保存來自未來的信息，并將兩種隱藏狀態(tài)結(jié)合起來，您可以在任何時(shí)間點(diǎn)保存來自過去和未來的信息。因此，在語義理解等自然語言處理任務(wù)中雙向長短期記憶網(wǎng)絡(luò)有更好的表現(xiàn)。注意力機(jī)制(Attentionmechanism)源于人類對(duì)視覺圖像信息的研究，主要為了合理運(yùn)用有限資源來表征整個(gè)事物本身。其基本思路是：每次模型預(yù)測一個(gè)輸出單詞時(shí)，它只使用輸入中最相關(guān)的信息集中的部分，而不是整個(gè)句子。換句話說，它只注意一些輸入的單詞。Attention機(jī)制在自然語言處理中的應(yīng)用可以被認(rèn)為是一種自動(dòng)加權(quán)的方式，它可以根據(jù)每一時(shí)刻輸出信息的不同重要程度，通過加權(quán)的形式對(duì)不同輸出進(jìn)行聯(lián)系，有效提升網(wǎng)絡(luò)對(duì)序列特征信息的學(xué)習(xí)效率[31]。Attention應(yīng)用到Bi-LSTM[32]如圖2-3圖2-3Bi-LSTM+Attention模型圖3中，w1,w2…wL為文本數(shù)據(jù)單個(gè)字的向量，然后依次輸入到Bi-LSTM，hi為輸出，同時(shí)引入Attention機(jī)制，計(jì)算每一時(shí)刻輸出與特征向量的匹配得分占總體的百分率(注意力概率分布)

北京印刷學(xué)院碩士學(xué)位論文相關(guān)技術(shù)和理論基礎(chǔ)7è圖2-2Text-CNN語言模型2.3Bi-LSTM+Attention雙向長短期記憶(Bi-LSTM)：向回歸神經(jīng)網(wǎng)絡(luò)(RNN)實(shí)際上是把兩個(gè)獨(dú)立的RNN放在一起。這種結(jié)構(gòu)允許網(wǎng)絡(luò)在每個(gè)時(shí)間步驟中同時(shí)擁有關(guān)于序列的前向和后向信息。使用雙向網(wǎng)絡(luò)將以兩種方式輸入，一種是從過去到未來，一種是從未來到過去，這種方式與單向運(yùn)行的不同之處在于，在向后運(yùn)行的LSTM中，您可以保存來自未來的信息，并將兩種隱藏狀態(tài)結(jié)合起來，您可以在任何時(shí)間點(diǎn)保存來自過去和未來的信息。因此，在語義理解等自然語言處理任務(wù)中雙向長短期記憶網(wǎng)絡(luò)有更好的表現(xiàn)。注意力機(jī)制(Attentionmechanism)源于人類對(duì)視覺圖像信息的研究，主要為了合理運(yùn)用有限資源來表征整個(gè)事物本身。其基本思路是：每次模型預(yù)測一個(gè)輸出單詞時(shí)，它只使用輸入中最相關(guān)的信息集中的部分，而不是整個(gè)句子。換句話說，它只注意一些輸入的單詞。Attention機(jī)制在自然語言處理中的應(yīng)用可以被認(rèn)為是一種自動(dòng)加權(quán)的方式，它可以根據(jù)每一時(shí)刻輸出信息的不同重要程度，通過加權(quán)的形式對(duì)不同輸出進(jìn)行聯(lián)系，有效提升網(wǎng)絡(luò)對(duì)序列特征信息的學(xué)習(xí)效率[31]。Attention應(yīng)用到Bi-LSTM[32]如圖2-3圖2-3Bi-LSTM+Attention模型圖3中，w1,w2…wL為文本數(shù)據(jù)單個(gè)字的向量，然后依次輸入到Bi-LSTM，hi為輸出，同時(shí)引入Attention機(jī)制，計(jì)算每一時(shí)刻輸出與特征向量的匹配得分占總體的百分率(注意力概率分布)


本文編號(hào)：3513418