卷積神經(jīng)網(wǎng)絡(luò)在現(xiàn)代主流的計(jì)算機(jī)視覺任務(wù)中占據(jù)核心的地位,近年來各種形式人工設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)性能不斷突破先前記錄,在許多視覺任務(wù)中已經(jīng)超過了人類水平。隨著人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)越來越成熟,即便是經(jīng)驗(yàn)豐富的領(lǐng)域?qū)＜乙埠茈y再取得突破性進(jìn)展,因此許多學(xué)者將目光轉(zhuǎn)向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索（Neural Architecture Search,NAS）。由于卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用廣泛,因此本文主要針對(duì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)搜索進(jìn)行研究。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索分為三個(gè)部分,搜索空間,搜索算法和模型評(píng)估,其中每一個(gè)部分都有許多可研究的地方,搜索空間直接決定了搜索出的模型性能的上下限,搜索算法直接影響搜索到的最優(yōu)模型性能和搜索時(shí)間,而模型評(píng)估是否高效決定了評(píng)估模型的時(shí)間和硬件代價(jià),其對(duì)整個(gè)NAS搜索時(shí)間的影響也不容小覷�；谀壳吧窠�(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索對(duì)搜索空間研究較少的現(xiàn)狀,本文分別針對(duì)搜索空間中原操作集的選取和主干網(wǎng)的選取進(jìn)行實(shí)驗(yàn)和分析。首先,本文比較人工卷積神經(jīng)網(wǎng)絡(luò)和NAS中常用的原操作,依據(jù)一定規(guī)則選取合適的原操作集,并添加兩種在現(xiàn)代人工卷積神經(jīng)網(wǎng)絡(luò)中流行的原操作以生成新的搜索空間。通過實(shí)驗(yàn)顯示在基于競(jìng)爭(zhēng)機(jī)制的DARTS搜索... 

【文章來源】：中央民族大學(xué)北京市 211工程院校 985工程院校

【文章頁(yè)數(shù)】：76 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１－１?ＮＡＳ流程圖??

數(shù)據(jù)和非數(shù)值型數(shù)據(jù)。??數(shù)據(jù)準(zhǔn)備?特征工程?模型生成?模型評(píng)估??Ｌ，幻?｜?１?換型選擇?超＃數(shù)優(yōu)化?丨秘?｜??Ａ?ｍｍ?卜』一－丨?ｉｉＳｉ??????１?ＧＳ?１?????—？特征選擇一？特征集?？灰１?ＲＬ?｜?ｋ?＊?＾??１?ＢＯ?Ｉ????Ｉ?ＧＰ?Ｉ?｜權(quán)儼共享??數(shù)據(jù)＾洗?Ｌ如征構(gòu)速??（?丨｜?Ｌ—＿…［Ｊ??????Ｌ??Ｕｊ?神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索??????１１?＇：」１?１１?Ｉ?１?￣??圖２－１?ＡｕｔｏＭＬ流程圖，其中包括：數(shù)據(jù)準(zhǔn)備，特征工程，模型生成和模型評(píng)估??２．１．１．２特征工程??特征工程的目的在于從原始數(shù)據(jù)中盡可能地提取有用的特征，以供算法和模??型使用。特征工程一般包含３個(gè)部分：特征選擇，特征提取和特征構(gòu)建。特征提??取和構(gòu)建是特征轉(zhuǎn)換的變體，通過該變體可以創(chuàng)建一組新的特征［３８］。特征提取通??常旨在通過某些功能映射來減小特征的維度，特征構(gòu)建則用于擴(kuò)展原始特征空間。??另外，特征選擇的目的是通過選擇重要特征來減小特征冗余。在某種程度上，特??征工程的本質(zhì)就是將這三個(gè)過程的動(dòng)態(tài)結(jié)合。??９??

每個(gè)路徑上的操作有０種可能，則所有網(wǎng)絡(luò)結(jié)構(gòu)數(shù)量，即搜索空間的大小為??０Ｌ?ｘ?２＾。假設(shè)Ｌ?＝?１２，０?＝?６，則搜索空間大小約為１＿６?ｘ?１０２９。從這可以看出，??即使節(jié)點(diǎn)數(shù)量（網(wǎng)絡(luò)層數(shù)）才十幾個(gè)（層），整個(gè)搜索空間也非常龐大，這就需??要非常多的時(shí)間和計(jì)算資源來尋找優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)。除此之外，生成的網(wǎng)絡(luò)結(jié)構(gòu)??遷移性也比較差，在小數(shù)據(jù)集上搜索到的網(wǎng)絡(luò)結(jié)構(gòu)很難適應(yīng)到大數(shù)據(jù)集，從而需??要重新在大數(shù)據(jù)集上搜索網(wǎng)絡(luò)結(jié)構(gòu)。??（才一公□?ｉ?＿?１ＳＪ?￥??（ａ）?０）??圖２－２?—個(gè)擁有４個(gè)節(jié)點(diǎn)的完全鏈?zhǔn)骄W(wǎng)絡(luò)結(jié)構(gòu)示意圖。其中ｃｏｎｃａｔｅ代表沿著通道維度進(jìn)??行聚合??２．２．１．２基于Ｃｅｌｌ堆疊結(jié)構(gòu)??為了解決完全鏈?zhǔn)浇Y(jié)構(gòu)的搜索空間過于龐大和遷移性差的問題，學(xué)者參考現(xiàn)??有人工卷積網(wǎng)絡(luò)結(jié)構(gòu)的塊式（Ｂｌｏｃｋ）結(jié)構(gòu)［５，６’５（）－５２］，提出了基于Ｃｅｌ丨結(jié)構(gòu)堆疊的??搜索空間。如圖２－３，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)由堆疊一定數(shù)量的搜索到的Ｃｅｌｌ結(jié)構(gòu)構(gòu)成。??其中Ｃｏｎｖ?Ｃｅｌｌ表示輸入到Ｃｏｎｖ?Ｃｅｌｌ后的特征圖尺寸不變（通道（ｃｈａｎｎｅｌ）?—??般不變），Ｒｅｄｕｃｔｉｏｎ?Ｃｅｌｌ表示輸入到Ｒｅｄｕｃｔｉｏｎ?Ｃｅｌｌ后的特征圖尺寸減半（通道??一般加倍）�，F(xiàn)在假設(shè)有６個(gè)預(yù)定義的原操作，第ｉ個(gè)Ｃｅｌｌ編號(hào)為ＣｅＡ，其有Ｓ個(gè)??節(jié)點(diǎn)（其中前兩個(gè)節(jié)點(diǎn)為輸入節(jié)點(diǎn)，分別對(duì)應(yīng)Ｃｅ４＿＃ＣｅＡ＿２的輸出，因此我們??后面討論的節(jié)點(diǎn)連接情況一般把這兩個(gè)節(jié)點(diǎn)排除，故剩余Ｂ?－?２個(gè)節(jié)點(diǎn)，稱這Ｂ?－??２個(gè)節(jié)點(diǎn)為中間節(jié)點(diǎn)（ＩｎｔｅｒｍｅｄｉａｔｅＮｏｄｅ）），第ｉ個(gè)節(jié)點(diǎn)ｎｏｄｅ；對(duì)應(yīng)的候選輸入為前??面ｉ?一?１個(gè)節(jié)點(diǎn)


本文編號(hào)：3384150