深度學(xué)習(xí)在軟件開發(fā)環(huán)境提升中的研究
發(fā)布時(shí)間：2021-01-17 00:36
現(xiàn)有的軟件開發(fā)環(huán)境主要是集成開發(fā)環(huán)境（IDE）,如Eclipse,Intellj和Visual Studio。軟件開發(fā)環(huán)境的優(yōu)劣很大程度上取決于它對(duì)程序員給出的提示的準(zhǔn)確率,現(xiàn)有的方法主要是使用概率模型或者上下文無(wú)關(guān)文法來(lái)實(shí)現(xiàn)的,本文主要集中在使用上下文無(wú)關(guān)文法與深度學(xué)習(xí)相結(jié)合的方法來(lái)提高軟件開發(fā)環(huán)境在代碼提示和語(yǔ)法錯(cuò)誤提示兩個(gè)任務(wù)上的準(zhǔn)確率。本文的主要貢獻(xiàn)有兩方面:1.代碼提示是軟件開發(fā)環(huán)境的重要功能,它會(huì)對(duì)程序的下一個(gè)token給出提示。為了實(shí)現(xiàn)代碼提示的功能,主要使用語(yǔ)言模型來(lái)預(yù)測(cè)下一個(gè)token的概率。這些語(yǔ)言模型原本是為了在自然語(yǔ)言處理任務(wù)中基于前文預(yù)測(cè)后一個(gè)token而設(shè)計(jì)的,然而卻并不完全適用于程序設(shè)計(jì)語(yǔ)言。在程序設(shè)計(jì)語(yǔ)言中所有自定義的標(biāo)識(shí)符的含義都是由它的上下文定義的,標(biāo)識(shí)符的名字只是用來(lái)區(qū)分不同的標(biāo)識(shí)符,這與自然語(yǔ)言中token的含義主要是由token的名字決定的情況有比較大的不同,所以這些語(yǔ)言模型只使用token的名字來(lái)輸入就有些不適用了;另一方面程序設(shè)計(jì)語(yǔ)言的語(yǔ)法有著明確而清晰的定義,這與自然語(yǔ)言中語(yǔ)法無(wú)法完整定義的情況也是不同的,所以現(xiàn)有的語(yǔ)言模型可能會(huì)預(yù)測(cè)出不...
【文章來(lái)源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】：69 頁(yè)
【學(xué)位級(jí)別】：碩士
【部分圖文】：
一卜人類的神經(jīng)元結(jié)構(gòu)
?Ｉ??神經(jīng)網(wǎng)絡(luò)是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模擬，其中最基本的結(jié)構(gòu)被稱作神經(jīng)??元，圖２－１是生物的神經(jīng)元的結(jié)構(gòu)圖，每一個(gè)生物的神經(jīng)元都會(huì)從它的樹突??（ｄｅｎｄｒｉｔｅｓ）中接受之前的神經(jīng)元的信號(hào)，然后從它的軸突（ａｘｏｎ）產(chǎn)生輸出??信號(hào)并將它傳遞給之后的神經(jīng)元。??Ｘ〇?Ｗ〇???？０ｓｙｎａｐｓｅ??ａｘｏｎ?ｆｒｏｍ?ａ?ｎｅｕｒｏｎ?、＼ｗ〇ｘ〇??ｄｅｎｒｌｒ?ｉ?ｔ??Ｙ?Ｃｅｌｌ?Ｂｏｄｙ?＼??ｗｌＸ，?［?＾?＾／ｇｗｊＸｊ＋ｂ）＾???１?＞?ｗ．Ｘｉ＋ｂ?尸廠?ｏｕｔｐｕｔ?ａｘｏｎ??＼?／??＼?／ａｃｔｉｖ＾ｉｔｉｖｅ??ｙ?ｆｕｉｉｃｌ?ｉｏｎ??ｗ２ｘ２??圖２－２：計(jì)算神經(jīng)元的結(jié)構(gòu)??圖２－２是計(jì)算神經(jīng)元的結(jié)構(gòu)圖，可以看到它和圖２－１中的生物神經(jīng)元十分??的相似，同樣是從之前的神經(jīng)元接受信號(hào)，然后傳遞給之后的神經(jīng)元，主要的??區(qū)別是計(jì)算神經(jīng)元處理輸入的方式，它對(duì)于傳遞進(jìn)來(lái)的數(shù)據(jù)ｘ，總是先進(jìn)行一??個(gè)線性變換：??ｚ?＝?ｗＴ?ｘ?＋?ｂ?（２－１）??其中ＶＶ力都是模型的參數(shù)，然后再通過(guò)一個(gè)激發(fā)函數(shù)／：??ｙ?＝?ｆ｛ｘ）?（２－２）??從而得到最后的輸出ｙ。這個(gè)函數(shù)一定要是一個(gè)非線性函數(shù)，如果不是非線性??函數(shù)
?ｏｔｈｅｒ??＞．??如圖２－５所示。相對(duì)于前兩個(gè)激發(fā)函數(shù)，ＲｅＬＵ有兩個(gè)優(yōu)點(diǎn)，一是更快的收??斂速度［３Ｇ］，這主要是由于ＲｅＬＵ函數(shù)只要處于激發(fā)的狀態(tài)，相對(duì)于ｘ的導(dǎo)??數(shù)總是１，從而梯度在經(jīng)過(guò)ＲｅＬＵ函數(shù)之后，能夠保持不變，從而避免了梯??度消失的問(wèn)題；二是計(jì)算的復(fù)雜度更低，計(jì)算速度更快。當(dāng)然這種激發(fā)函??數(shù)同樣有著Ｓｉｇｍｏｉｄ的第二點(diǎn)問(wèn)題，它也只能輸出非負(fù)的結(jié)果，ＲｅＬＵ是現(xiàn)??在使用最廣泛的激發(fā)函數(shù)，在本文的后面，在非輸出層都將使用ＲｅＬＵ作為??激發(fā)函數(shù)。??
本文編號(hào)：2981844
【文章來(lái)源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】：69 頁(yè)
【學(xué)位級(jí)別】：碩士
【部分圖文】：
一卜人類的神經(jīng)元結(jié)構(gòu)
?Ｉ??神經(jīng)網(wǎng)絡(luò)是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模擬，其中最基本的結(jié)構(gòu)被稱作神經(jīng)??元，圖２－１是生物的神經(jīng)元的結(jié)構(gòu)圖，每一個(gè)生物的神經(jīng)元都會(huì)從它的樹突??（ｄｅｎｄｒｉｔｅｓ）中接受之前的神經(jīng)元的信號(hào)，然后從它的軸突（ａｘｏｎ）產(chǎn)生輸出??信號(hào)并將它傳遞給之后的神經(jīng)元。??Ｘ〇?Ｗ〇???？０ｓｙｎａｐｓｅ??ａｘｏｎ?ｆｒｏｍ?ａ?ｎｅｕｒｏｎ?、＼ｗ〇ｘ〇??ｄｅｎｒｌｒ?ｉ?ｔ??Ｙ?Ｃｅｌｌ?Ｂｏｄｙ?＼??ｗｌＸ，?［?＾?＾／ｇｗｊＸｊ＋ｂ）＾???１?＞?ｗ．Ｘｉ＋ｂ?尸廠?ｏｕｔｐｕｔ?ａｘｏｎ??＼?／??＼?／ａｃｔｉｖ＾ｉｔｉｖｅ??ｙ?ｆｕｉｉｃｌ?ｉｏｎ??ｗ２ｘ２??圖２－２：計(jì)算神經(jīng)元的結(jié)構(gòu)??圖２－２是計(jì)算神經(jīng)元的結(jié)構(gòu)圖，可以看到它和圖２－１中的生物神經(jīng)元十分??的相似，同樣是從之前的神經(jīng)元接受信號(hào)，然后傳遞給之后的神經(jīng)元，主要的??區(qū)別是計(jì)算神經(jīng)元處理輸入的方式，它對(duì)于傳遞進(jìn)來(lái)的數(shù)據(jù)ｘ，總是先進(jìn)行一??個(gè)線性變換：??ｚ?＝?ｗＴ?ｘ?＋?ｂ?（２－１）??其中ＶＶ力都是模型的參數(shù)，然后再通過(guò)一個(gè)激發(fā)函數(shù)／：??ｙ?＝?ｆ｛ｘ）?（２－２）??從而得到最后的輸出ｙ。這個(gè)函數(shù)一定要是一個(gè)非線性函數(shù)，如果不是非線性??函數(shù)
?ｏｔｈｅｒ??＞．??如圖２－５所示。相對(duì)于前兩個(gè)激發(fā)函數(shù)，ＲｅＬＵ有兩個(gè)優(yōu)點(diǎn)，一是更快的收??斂速度［３Ｇ］，這主要是由于ＲｅＬＵ函數(shù)只要處于激發(fā)的狀態(tài)，相對(duì)于ｘ的導(dǎo)??數(shù)總是１，從而梯度在經(jīng)過(guò)ＲｅＬＵ函數(shù)之后，能夠保持不變，從而避免了梯??度消失的問(wèn)題；二是計(jì)算的復(fù)雜度更低，計(jì)算速度更快。當(dāng)然這種激發(fā)函??數(shù)同樣有著Ｓｉｇｍｏｉｄ的第二點(diǎn)問(wèn)題，它也只能輸出非負(fù)的結(jié)果，ＲｅＬＵ是現(xiàn)??在使用最廣泛的激發(fā)函數(shù)，在本文的后面，在非輸出層都將使用ＲｅＬＵ作為??激發(fā)函數(shù)。??
本文編號(hào)：2981844
本文鏈接：http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/2981844.html
最近更新
教材專著
