基于深度學習的陸空通話差錯分類方法研究
【學位授予單位】:中國民航大學
【學位級別】:碩士
【學位授予年份】:2019
【分類號】:V35;V328
【圖文】:
中國民航大學碩士學位論文者開始將 CNN 應用到自然語言處理領域。2014 年,Kim 通過改進傳統(tǒng) CNN 得到單層CNN,并且經(jīng)過大量的實驗證明單層 CNN 更加適合于文本語義建模。本小節(jié)介紹傳統(tǒng)CNN 和單層 CNN 的基本原理。2.3.1 傳統(tǒng)卷積神經(jīng)網(wǎng)絡基本原理傳統(tǒng) CNN 包含:輸入層、卷積層、池化層和輸出層,其框架示意圖如圖 2-1 所示。傳統(tǒng) CNN 作為一種層次化的結構,其在計算過程中最重要的兩點是組合性和局部不變性。組合性通過多個卷積層的堆疊實現(xiàn),前層的卷積層提取一些邊緣特征和簡單的形狀特征,后層的卷積層提取圖片的深層特征。局部不變性指的是 CNN 可以克服圖像簡單的平移、旋轉和尺度縮放帶來的問題,這種局部不變性通過池化層實現(xiàn)。
最大池化方式不僅保留了顯著的特征,而且去除了冗余特征和減少了參數(shù)。圖 2-2 最大池化方式示意圖2.3.2 單層卷積神經(jīng)網(wǎng)絡基本原理處理文本與處理圖像的不同在于:當 CNN 處理文本時,它的輸入是文本經(jīng)過轉化后的文本矩陣。文本矩陣中的每個元素無物理意義,但其每一行所有的元素聯(lián)系在一起存在一定的物理意義,并表示對應詞語的語義向量。單層卷積神經(jīng)網(wǎng)絡與傳統(tǒng)卷積神經(jīng)網(wǎng)絡的整體思路一致,單層卷積神經(jīng)網(wǎng)絡同樣利用卷積-池化操作獲得文本的語義特征,但它是一個淺層的神經(jīng)網(wǎng)絡,僅包括一層卷積和一層池化,如圖 2-3 所示。單層卷積神經(jīng)網(wǎng)絡的輸入是文本矩陣n mS ,其中 n 表示文本分詞之后詞語的個數(shù),m 表示詞向量的維度。為了保持所有文本構成的輸入矩陣維度一致,本文對詞語個數(shù)小于 n 的文本進行補零操作。單層卷積神經(jīng)網(wǎng)絡利用尺寸為“h×m”的卷積核對輸入的文本矩陣進行卷積。此類卷積核將一個詞向量視為一個“像素點”,并通過對卷積區(qū)域中的 h 個詞語進行表示得到一個語義特征ic,該過程可由式(2.5)表示:: 1( ) 1,2,..., 1i i i hc i n h W S b (2.5)在公式(2.5)中
FlattenConvolution3×5 kernel4×5 kernelMax pooling4×1 kernel5×1 kernel圖 2-3 單層卷積神經(jīng)網(wǎng)絡基本框架圖.6)表示: 1 2 1, ,...,n h c c 中,( n h 1) 1C 代表卷積之后得到的特征圖。一般通過加豐富的特征。此外,我們還可以將卷積核的尺度設置取文本矩陣中不同組合的語義特征,進而得到不同短語積層輸出的特征圖輸入到池化層進行特征抽取和降維。得到一個定長的向量,稱之為語義向量。最后,將語義成文本分類工作。建模中,單層卷積神經(jīng)網(wǎng)絡常用的池化方式為:全局最大池化。全局最大池化方式保留特征圖中最大的特征值
【相似文獻】
相關期刊論文 前10條
1 張佩云;黃波;孫亞民;;面向服務組合的服務語義匹配機制[J];電子科技大學學報;2008年06期
2 郝玫;馬建峰;;基于特征觀點對語義匹配的產(chǎn)品評論可信度研究[J];現(xiàn)代情報;2019年06期
3 賈君枝;毛海飛;;基于法律框架網(wǎng)絡本體的語義匹配技術研究[J];情報理論與實踐;2008年01期
4 糜德吉;周良;丁秋林;;一種基于命名空間過濾的服務語義匹配算法[J];中國制造業(yè)信息化;2009年23期
5 邢華橋;武昊;侯妙樂;侯東陽;;顧及語義匹配類別的遙感處理服務組合方法[J];地理與地理信息科學;2015年05期
6 羅安;王艷東;龔健雅;;顧及上下文的空間信息服務組合語義匹配方法[J];武漢大學學報(信息科學版);2011年03期
7 吳少洪;彭敦陸;苑威威;陳章;劉叢;;MGSC:一種多粒度語義交叉的短文本語義匹配模型[J];小型微型計算機系統(tǒng);2019年06期
8 姚俊良;樂小虬;;科技查新查新點語義匹配方法研究[J];數(shù)據(jù)分析與知識發(fā)現(xiàn);2019年06期
9 梁汝鵬;鄧克波;毛澤湘;徐沛;;基于軍事知識圖譜的作戰(zhàn)預案語義匹配方法研究[J];指揮與控制學報;2019年02期
10 張燕;王鋒;張睿;;基于本體的網(wǎng)格服務語義匹配方法[J];計算機工程;2007年07期
相關會議論文 前6條
1 李耀春;徐羽瓊;李石堅;潘綱;;面向任務遷移的組件語義匹配機制[A];第六屆和諧人機環(huán)境聯(lián)合學術會議(HHME2010)、第19屆全國多媒體學術會議(NCMT2010)、第6屆全國人機交互學術會議(CHCI2010)、第5屆全國普適計算學術會議(PCC2010)論文集[C];2010年
2 李貴;張兆鑫;李征宇;韓子洋;;WEB環(huán)境下基于領域本體的語義匹配技術研究[A];科學發(fā)展與社會責任(A卷)——第五屆沈陽科學學術年會文集[C];2008年
3 臧立麗;王卓;馮曉寧;;一種基于語義的軟構件檢索方法[A];黑龍江省計算機學會2007年學術交流年會論文集[C];2007年
4 吳桂芳;劉俊;張倩倩;谷雨;;基于本體的語義匹配技術研究[A];2014第二屆中國指揮控制大會論文集(上)[C];2014年
5 林小青;李畢琴;;刺激屬性的不一致對工作記憶內容捕獲注意的影響[A];第二十一屆全國心理學學術會議摘要集[C];2018年
6 白東偉;彭泳;陳俊亮;;一種語義支持的綜合業(yè)務發(fā)現(xiàn)框架[A];2006年全國通信軟件學術會議論文集[C];2006年
相關博士學位論文 前8條
1 黃濤;知識服務的語義匹配機制研究[D];華中師范大學;2007年
2 許楠;基于本體的上下文感知計算關鍵技術研究[D];大連海事大學;2015年
3 錢劍鋒;分布式語義發(fā)布/訂閱系統(tǒng)的若干關鍵技術研究[D];浙江大學;2011年
4 藺旭東;基于語義的XML查詢及規(guī)范化研究[D];北京交通大學;2010年
5 高建波;本體模型及其在信息安全評估領域的應用研究[D];上海交通大學;2015年
6 楊柳;模糊本體建模方法及語義信息處理策略研究[D];中南大學;2011年
7 陳科;語義支持的空間信息服務組合關鍵技術研究[D];解放軍信息工程大學;2012年
8 江志雄;基于動態(tài)語義的Web服務描述[D];復旦大學;2008年
相關碩士學位論文 前10條
1 李東方;結合多種策略的文本語義匹配方法[D];哈爾濱工業(yè)大學;2018年
2 程方圓;基于深度學習的陸空通話差錯分類方法研究[D];中國民航大學;2019年
3 劉興昱;基于勘探開發(fā)知識圖譜的深度問答系統(tǒng)關鍵技術研究[D];中國石油大學(北京);2018年
4 王坤;面向中文醫(yī)療問題檢索的語義匹配技術研究[D];華東師范大學;2019年
5 金麗嬌;基于深度學習的答案選擇方法研究[D];華東師范大學;2019年
6 吳承澤;面向社區(qū)論壇多輪對話線索的連貫性評估方法研究[D];哈爾濱工業(yè)大學;2018年
7 胡宇;面向數(shù)據(jù)融合的文本語義匹配的研究與實現(xiàn)[D];東北大學;2015年
8 張杰;基于地理語義匹配的信息一體化檢索[D];中南大學;2013年
9 邢昆明;基于語義匹配的Web服務發(fā)現(xiàn)和選擇問題的研究[D];中國石油大學(華東);2013年
10 李玲;工作記憶內容的語義匹配對注意捕獲效應的影響[D];江西師范大學;2017年
本文編號:2754771
本文鏈接:http://sikaile.net/kejilunwen/anquangongcheng/2754771.html