近年來(lái),深度學(xué)習(xí)技術(shù)在大量的計(jì)算視覺(jué)任務(wù)上取得了巨大的成功,深度神經(jīng)結(jié)構(gòu)是一個(gè)決定性能的關(guān)鍵要素,全自動(dòng)的神經(jīng)結(jié)構(gòu)搜索方法的研究近年來(lái)受到了越來(lái)越多的關(guān)注。全自動(dòng)的神經(jīng)結(jié)構(gòu)搜索方法是指針對(duì)特定的任務(wù),通過(guò)算法自動(dòng)地學(xué)習(xí)出適用的深度神經(jīng)結(jié)構(gòu)。各類神經(jīng)結(jié)構(gòu)搜索方法在探索高性能、高效率的神經(jīng)結(jié)構(gòu)方面已經(jīng)展示出了巨大的潛力。從性能評(píng)估方法、搜索空間、結(jié)構(gòu)搜索策略3個(gè)維度對(duì)神經(jīng)結(jié)構(gòu)搜索方法進(jìn)行了分類概述:重點(diǎn)介紹了4種降低計(jì)算開(kāi)銷的性能評(píng)估方法,2類典型的神經(jīng)結(jié)構(gòu)搜索空間以及基于離散空間和基于連續(xù)空間的2種搜索策略�；谶B續(xù)空間的NAS算法正逐漸成為NAS算法的重要發(fā)展方向。 

【文章來(lái)源】：電信科學(xué). 2019,35(05)

【文章頁(yè)數(shù)】：8 頁(yè)

【部分圖文】：

神經(jīng)結(jié)構(gòu)搜索方法的流程[11]

-16]。除此之外，也可以將提高神經(jīng)結(jié)構(gòu)的計(jì)算速度作為搜索目標(biāo)之一[17]。在神經(jīng)結(jié)構(gòu)的搜索過(guò)程中，NAS算法需要不斷地評(píng)估當(dāng)前神經(jīng)結(jié)構(gòu)的性能是否達(dá)到了預(yù)定的搜索目標(biāo)。最直接的性能評(píng)估方法是對(duì)當(dāng)前的神經(jīng)結(jié)構(gòu)做一次完整訓(xùn)練并在測(cè)試集上測(cè)試其性能，但是過(guò)多的訓(xùn)練會(huì)帶來(lái)巨大的計(jì)算開(kāi)銷并使搜索過(guò)程變得非常緩慢。因此，降低性能評(píng)估過(guò)程中的計(jì)算開(kāi)銷是性能評(píng)估方法的主要研究方向。目前NAS算法中的性能評(píng)估方法主要可以分成以下4種。（1）在小規(guī)模代理任務(wù)上估計(jì)神經(jīng)結(jié)構(gòu)的性能。如圖2所示，這種做法是在一個(gè)小規(guī)模的代理（proxy）任務(wù)上進(jìn)行神經(jīng)結(jié)構(gòu)搜索，在搜索過(guò)程中用神經(jīng)結(jié)構(gòu)在代理任務(wù)上的性能來(lái)估計(jì)它在實(shí)際任務(wù)上的性能，當(dāng)搜索完成后再將神經(jīng)結(jié)構(gòu)遷移到實(shí)際任務(wù)上。圖2基于代理任務(wù)的NAS算法流程構(gòu)建代理任務(wù)的常用方式是使用和實(shí)際任務(wù)同類型但規(guī)模更小的數(shù)據(jù)集[12-13,15-16,18-19]或分辨率更低的數(shù)據(jù)集[20]。采用小規(guī)模代理任務(wù)的NAS算法降低了計(jì)算開(kāi)銷，但神經(jīng)結(jié)構(gòu)遷移成功的前提是搜索空間中的神經(jīng)結(jié)構(gòu)在代理任務(wù)上的性能排序和在實(shí)際任務(wù)上性能排序基本相似。當(dāng)代理任務(wù)和實(shí)際任務(wù)差異較大時(shí)，代理任務(wù)有限的參考價(jià)值將降低性能評(píng)估的準(zhǔn)確性。（2）利用神經(jīng)結(jié)構(gòu)在訓(xùn)練過(guò)程早期的性能估計(jì)最終的性能。這種做法是將神經(jīng)結(jié)構(gòu)只訓(xùn)練少量的迭代次數(shù)并在訓(xùn)練過(guò)程中記錄神經(jīng)結(jié)構(gòu)的性能曲線，通過(guò)已有的性能曲線來(lái)插值未來(lái)的性能并提前停止訓(xùn)練預(yù)期性能不好的神經(jīng)結(jié)構(gòu)。例如，2019097-2

·47·電信科學(xué)2019年第5期縮小了搜索空間，加速了神經(jīng)結(jié)構(gòu)的搜索過(guò)程。和搜索整個(gè)神經(jīng)結(jié)構(gòu)相比，只搜索2種cell結(jié)構(gòu)可以減小NAS算法的搜索時(shí)間。神經(jīng)結(jié)構(gòu)的深度可以靈活地?cái)U(kuò)展。當(dāng)搜索出了最優(yōu)的cell結(jié)構(gòu)后，通過(guò)調(diào)整cell的堆疊數(shù)量，可以靈活地控制神經(jīng)結(jié)構(gòu)的深度和復(fù)雜度以適應(yīng)不同的應(yīng)用場(chǎng)景。例如，NASNet[16]和BlockQNN[15]通過(guò)增大堆疊次數(shù)N成功地利用在CIFAR-10上搜索出的cell結(jié)構(gòu)構(gòu)建出了在ImageNet數(shù)據(jù)集上性能優(yōu)越的神經(jīng)結(jié)構(gòu)。雖然基于cell的搜索空間被廣泛應(yīng)用于NAS算法，但通過(guò)cell堆疊整體神經(jīng)結(jié)構(gòu)的方式依然需要人工的設(shè)計(jì)和優(yōu)化。這種堆疊方式可以認(rèn)為是一種元結(jié)構(gòu)（meta-architecture）[11]。在未來(lái)，元結(jié)構(gòu)的設(shè)計(jì)也應(yīng)作為NAS算法的一部分。3.2基于chain結(jié)構(gòu)的搜索空間在基于chain結(jié)構(gòu)的搜索空間中，神經(jīng)結(jié)構(gòu)由一連串的層組成。其中，第i1層的輸出作為第i層的輸入，第i層的輸出再作為第i+1層的輸入。和基于cell結(jié)構(gòu)的搜索空間相比，基于chain結(jié)構(gòu)的搜索空間簡(jiǎn)化了神經(jīng)結(jié)構(gòu)的局部結(jié)構(gòu)，搜索空間中的神經(jīng)結(jié)構(gòu)沒(méi)有復(fù)雜的cell結(jié)構(gòu)，但神經(jīng)結(jié)構(gòu)的所有部分都由NAS算法在搜索中確定。典型的基于chain結(jié)構(gòu)的搜索空間是MNASNet[17]中的分解分層搜索空間（factorizedhierarchicalsearchspace）。如圖4所示，神經(jīng)結(jié)構(gòu)中的層被分為了若干block，一個(gè)block內(nèi)包含若干類型相同的層。每個(gè)塊內(nèi)層的類型、層的超參數(shù)以及層的數(shù)量都由算法在搜索過(guò)程中確定�；赾hain結(jié)構(gòu)的搜索空間平衡了局部結(jié)構(gòu)的搜索復(fù)雜度和整體結(jié)構(gòu)的搜索復(fù)雜度


本文編號(hào)：3328230