基于門控卷積神經(jīng)網(wǎng)絡的代碼自動摘要算法
發(fā)布時間：2021-09-07 19:02
隨著互聯(lián)網(wǎng)技術的發(fā)展和開源社區(qū)的興起,開源代碼的數(shù)量急劇增加,從開源社區(qū)中發(fā)掘出有用信息需要耗費大量的時間和精力。自動摘要技術廣泛地應用于文本主要內(nèi)容的獲取,但針對代碼的相關技術研究較少。本文使用深度學習思想解決這一問題,利用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks,CNN）模型提取代碼特征,從而緩解信息爆炸帶給人們的時間精力問題。本文對代碼自動摘要問題進行了分析,將問題拆分為代碼特征提取和摘要自動生成兩個子問題,結合深度學習中端到端的模型設計思想,在設計模型時綜合考慮這兩個問題,提出了一種基于深度學習的代碼自動摘要模型。本文首先對代碼特征提取問題進行了研究,本文使用門控卷積神經(jīng)網(wǎng)絡提取代碼的文本特征,在門控卷積神經(jīng)網(wǎng)絡中,對輸入元素添加位置信息以獲取序列中詞的位置,引入門控線性單元使模型可以選擇對預測有益的詞或者特征,利用殘差連接解決梯度彌散問題。本文使用抽象語法樹卷積神經(jīng)網(wǎng)絡提取代碼的結構特征,在抽象語法樹卷積神經(jīng)網(wǎng)絡中,使用Tree-Based CNN和Pre-Order CNN相結合的方式,獲取語法樹中節(jié)點的完整信息。本文其次對摘要自動生成問題進...
【文章來源】：云南大學云南省 211工程院校
【文章頁數(shù)】：58 頁
【學位級別】：碩士
【部分圖文】：
圖２－２：門控卷積神經(jīng)網(wǎng)絡模型結構圖??資料來源：ＦＡＩＲ：《Ｌａｎｇｕａｇｅ?Ｍｏｄｅｌｉｎｇ?ｗｉｔｈ?Ｇａｔｅｄ?Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｔｗｏｒｋｓ》，２０１６?年
?（２．２）??其中，Ｐ為每個詞對應的概率，ｇ為Ｓｏｆｔｍａｘ函數(shù)。??Ｇｏｏｇｌｅ團隊［３Ｑ１提出了?Ｓｅｑ２Ｓｅｑ模型的改進模型，其模型結構如圖２－４所示。??Ｗ?Ｘ?Ｙ?Ｚ?＜ＥＯＳ＞??；ｋ?ｈ?“?＞?＾?Ａ???＾?＾?＾??＞??？??？??Ａ?“?ｉ?ｖ?“?“?“?ｉ?［??ＡＢＣ?＜ＥＯＳ＞?Ｗ?Ｘ?Ｙ?Ｚ??圖２＿４：?Ｓｅｑ２Ｓｅｑ改進模型結構圖??資料來源：Ｇｏｏｇｌｅ?Ｂｒａｉｎ：《Ｓｅｑｕｅｎｃｅ?ｔｏ?Ｓｅｑｕｅｎｃｅ?Ｌｅａｒｎｉｎｇ?ｗｉｔｈ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋｓ》，２０１４?年。??圖２－４為在時間維度上進行展開的模型圖，在未展開的情況下，Ｅｎｃｏｄｅｒ端??使用一個神經(jīng)網(wǎng)絡接收輸入序列“ＡＢ?ＣＥＯＳ（ＥＯＳ＝ＥｎｄｏｆＳｅｎｔｅｎｃｅ，句末標記）”，??在接收過程中，每隔一個時間點接收一個字或者詞，在讀取到ＥＯＳ時停止輸入，??最后輸出一個向量作為輸入序列的語義表征向量。Ｄｅｃｏｄｅｒ端使用第二個神經(jīng)網(wǎng)??絡接收到Ｅｎｃｏｄｅｒ端產(chǎn)生的輸出向量后，再輸出對應的語義向量，此時每個時間??點輸出詞的概率都與前一個時間點的輸出相關，最后將輸入序列依次映射為“Ｗ??Ｘ?Ｙ?Ｚ?ＥＯＳ”，從而實現(xiàn)語句的翻譯任務。??２．２．２?注意力機制（Ａｔｔｅｎｔｉｏｎ?Ｍｅｃｈａｎｉｓｍ）??注意力機制（ＡｔｔｅｎｔｉｏｎＭｅｃｈａｎｉｓｍ）最早被提出是在視覺圖像領域。之后由??于Ｇｏｏｇｌｅ?Ｂｒａｉｎ團隊１５７］在ＲＮＮ模型的基礎上引入了注意力機制來完成圖像分類??任務
?０．１??圖２－７：?Ｂｅａｍ?Ｓｅａｒｃｈ算法示例圖??以圖２－７為例，Ｋ的值為２，?Ｋ為集束寬度（Ｂｅａｍ?Ｗｉｄｔｈ）。??首先，在［０．１，０．１，０．３，０．４，０．１］概率分布中挑選出概率最大的兩個數(shù)值：０．３和??０．４，代表的序列分別為Ｊｅ和ｍｏｉ。??然后，將Ｊｅ和ｍｏｉ分別作為解碼器端的輸入，獲得兩個概率分布，再從得??到的兩個概率分布中選擇概率和最大的組成序列：０．３＋０．８和０．４＋０．６，代表的序??列分別為Ｊｅ?ｓｕｉｓ和ｍｏｉ?ｓｕｉｓ。??以此類推，得到最終的兩個序列，分別為Ｊｅ?ｓｕｉｓ?ｄｔｕｄｉａｎｔ和ｍｏｉ?ｓｕｉｓ?ｄｔｕｄｉａｎｔ，??兩者相比，前者的概率和最大，即為最終結果。??２．２．４?雙語互譯質(zhì)量輔助工具算法（ＢＬＥＵ）??在機器翻譯領域當中，需要一個用來衡量機器翻譯結果與人工翻譯結果匹配??度的指標。為了能夠獲取更好的效果
【參考文獻】：
期刊論文
[1]基于結構感知雙編碼器的代碼注釋自動生成[J]. 徐少峰,潘文韜,熊赟,朱揚勇. 計算機工程. 2020(02)
[2]基于改進Sequence-to-Sequence模型的文本摘要生成方法[J]. 周健,田萱,崔曉暉. 計算機工程與應用. 2019(01)
[3]一種改進的基于抽象語法樹的軟件源代碼比對算法[J]. 劉楠,韓麗芳,夏坤峰,曲通. 信息網(wǎng)絡安全. 2014(01)
[4]一個重建GCC抽象語法樹的方法[J]. 劉文偉,劉堅. 計算機工程與應用. 2004(18)
碩士論文
[1]基于抽象語法樹的程序代碼抄襲檢測技術研究[D]. 趙彥博.內(nèi)蒙古師范大學 2010
本文編號：3390085
【文章來源】：云南大學云南省 211工程院校
【文章頁數(shù)】：58 頁
【學位級別】：碩士
【部分圖文】：
圖２－２：門控卷積神經(jīng)網(wǎng)絡模型結構圖??資料來源：ＦＡＩＲ：《Ｌａｎｇｕａｇｅ?Ｍｏｄｅｌｉｎｇ?ｗｉｔｈ?Ｇａｔｅｄ?Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｔｗｏｒｋｓ》，２０１６?年
?（２．２）??其中，Ｐ為每個詞對應的概率，ｇ為Ｓｏｆｔｍａｘ函數(shù)。??Ｇｏｏｇｌｅ團隊［３Ｑ１提出了?Ｓｅｑ２Ｓｅｑ模型的改進模型，其模型結構如圖２－４所示。??Ｗ?Ｘ?Ｙ?Ｚ?＜ＥＯＳ＞??；ｋ?ｈ?“?＞?＾?Ａ???＾?＾?＾??＞??？??？??Ａ?“?ｉ?ｖ?“?“?“?ｉ?［??ＡＢＣ?＜ＥＯＳ＞?Ｗ?Ｘ?Ｙ?Ｚ??圖２＿４：?Ｓｅｑ２Ｓｅｑ改進模型結構圖??資料來源：Ｇｏｏｇｌｅ?Ｂｒａｉｎ：《Ｓｅｑｕｅｎｃｅ?ｔｏ?Ｓｅｑｕｅｎｃｅ?Ｌｅａｒｎｉｎｇ?ｗｉｔｈ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋｓ》，２０１４?年。??圖２－４為在時間維度上進行展開的模型圖，在未展開的情況下，Ｅｎｃｏｄｅｒ端??使用一個神經(jīng)網(wǎng)絡接收輸入序列“ＡＢ?ＣＥＯＳ（ＥＯＳ＝ＥｎｄｏｆＳｅｎｔｅｎｃｅ，句末標記）”，??在接收過程中，每隔一個時間點接收一個字或者詞，在讀取到ＥＯＳ時停止輸入，??最后輸出一個向量作為輸入序列的語義表征向量。Ｄｅｃｏｄｅｒ端使用第二個神經(jīng)網(wǎng)??絡接收到Ｅｎｃｏｄｅｒ端產(chǎn)生的輸出向量后，再輸出對應的語義向量，此時每個時間??點輸出詞的概率都與前一個時間點的輸出相關，最后將輸入序列依次映射為“Ｗ??Ｘ?Ｙ?Ｚ?ＥＯＳ”，從而實現(xiàn)語句的翻譯任務。??２．２．２?注意力機制（Ａｔｔｅｎｔｉｏｎ?Ｍｅｃｈａｎｉｓｍ）??注意力機制（ＡｔｔｅｎｔｉｏｎＭｅｃｈａｎｉｓｍ）最早被提出是在視覺圖像領域。之后由??于Ｇｏｏｇｌｅ?Ｂｒａｉｎ團隊１５７］在ＲＮＮ模型的基礎上引入了注意力機制來完成圖像分類??任務
?０．１??圖２－７：?Ｂｅａｍ?Ｓｅａｒｃｈ算法示例圖??以圖２－７為例，Ｋ的值為２，?Ｋ為集束寬度（Ｂｅａｍ?Ｗｉｄｔｈ）。??首先，在［０．１，０．１，０．３，０．４，０．１］概率分布中挑選出概率最大的兩個數(shù)值：０．３和??０．４，代表的序列分別為Ｊｅ和ｍｏｉ。??然后，將Ｊｅ和ｍｏｉ分別作為解碼器端的輸入，獲得兩個概率分布，再從得??到的兩個概率分布中選擇概率和最大的組成序列：０．３＋０．８和０．４＋０．６，代表的序??列分別為Ｊｅ?ｓｕｉｓ和ｍｏｉ?ｓｕｉｓ。??以此類推，得到最終的兩個序列，分別為Ｊｅ?ｓｕｉｓ?ｄｔｕｄｉａｎｔ和ｍｏｉ?ｓｕｉｓ?ｄｔｕｄｉａｎｔ，??兩者相比，前者的概率和最大，即為最終結果。??２．２．４?雙語互譯質(zhì)量輔助工具算法（ＢＬＥＵ）??在機器翻譯領域當中，需要一個用來衡量機器翻譯結果與人工翻譯結果匹配??度的指標。為了能夠獲取更好的效果
【參考文獻】：
期刊論文
[1]基于結構感知雙編碼器的代碼注釋自動生成[J]. 徐少峰,潘文韜,熊赟,朱揚勇. 計算機工程. 2020(02)
[2]基于改進Sequence-to-Sequence模型的文本摘要生成方法[J]. 周健,田萱,崔曉暉. 計算機工程與應用. 2019(01)
[3]一種改進的基于抽象語法樹的軟件源代碼比對算法[J]. 劉楠,韓麗芳,夏坤峰,曲通. 信息網(wǎng)絡安全. 2014(01)
[4]一個重建GCC抽象語法樹的方法[J]. 劉文偉,劉堅. 計算機工程與應用. 2004(18)
碩士論文
[1]基于抽象語法樹的程序代碼抄襲檢測技術研究[D]. 趙彥博.內(nèi)蒙古師范大學 2010
本文編號：3390085
本文鏈接：http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3390085.html
最近更新
教材專著
