（本論文是我在做本科畢設(shè)時(shí)翻譯的，已經(jīng)有兩年了，但現(xiàn)在看來這篇論文依然非常經(jīng)典，所以直接放上來了，水平有限，歡迎指正）

Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton

我們訓(xùn)練了一個(gè)大型的深度卷積神經(jīng)網(wǎng)絡(luò)，來將在ImageNet LSVRC-2010大賽中的120萬張高清圖像分為1000個(gè)不同的類別。對(duì)測試數(shù)據(jù)，我們得到了top-1誤差率37.5%，以及top-5誤差率17.0%，這個(gè)效果比之前最頂尖的都要好得多。該神經(jīng)網(wǎng)絡(luò)有6000萬個(gè)參數(shù)和650,000個(gè)神經(jīng)元，由五個(gè)卷積層，以及某些卷積層后跟著的max-pooling層，和三個(gè)全連接層，還有排在最后的1000-way的softmax層組成。為了使訓(xùn)練速度更快，我們使用了非飽和的神經(jīng)元和一個(gè)非常高效的GPU關(guān)于卷積運(yùn)算的工具。為了減少全連接層的過擬合，我們采用了最新開發(fā)的正則化方法，稱為“dropout”，它已被證明是非常有效的。在ILSVRC-2012大賽中，我們又輸入了該模型的一個(gè)變體，并依靠top-5測試誤差率15.3%取得了勝利，相比較下，次優(yōu)項(xiàng)的錯(cuò)誤率是26.2%。

當(dāng)前物體識(shí)別的方法基本上都使用了機(jī)器學(xué)習(xí)方法。為了改善這些方法的性能，我們可以收集更大的數(shù)據(jù)集，學(xué)習(xí)更強(qiáng)有力的模型，并使用更好的技術(shù)，以防止過擬合。直到最近，標(biāo)記圖像的數(shù)據(jù)集都相當(dāng)小——大約數(shù)萬張圖像（例如，NORB [16]，Caltech-101/256 [8, 9]，以及CIFAR-10/100 [12]）。簡單的識(shí)別任務(wù)可以用這種規(guī)模的數(shù)據(jù)集解決得相當(dāng)好，特別是當(dāng)它們用標(biāo)簽-保留轉(zhuǎn)換增強(qiáng)了的時(shí)候。例如，在MNIST數(shù)字識(shí)別任務(wù)中當(dāng)前最好的誤差率（<0.3%）接近于人類的表現(xiàn)[4]。但是現(xiàn)實(shí)環(huán)境中的物體表現(xiàn)出相當(dāng)大的變化，因此要學(xué)習(xí)它們以對(duì)它們進(jìn)行識(shí)別就必須使用更大的訓(xùn)練集。事實(shí)上，小規(guī)模圖像數(shù)據(jù)集的缺陷已被廣泛認(rèn)同（例如，Pinto等人[21]），但是直到最近，收集有著上百萬張圖像的帶標(biāo)簽數(shù)據(jù)集才成為可能。更大型的新數(shù)據(jù)集包括LabelMe [23]，它由幾十萬張完全分割圖組成，還有ImageNet [6]，它由多于22,000個(gè)種類中超過1500萬張帶標(biāo)簽的高分辨率圖像組成。

為了從幾百萬張圖像中學(xué)習(xí)數(shù)以千計(jì)的物體，我們需要一個(gè)學(xué)習(xí)能力更強(qiáng)的模型。然而，物體識(shí)別任務(wù)的極大復(fù)雜性意味著這個(gè)問題不能被指定，即使是通過與ImageNet一樣大的數(shù)據(jù)集，所以我們的模型中也應(yīng)該有大量的先驗(yàn)知識(shí)，以補(bǔ)償我們所沒有的全部數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)成了一個(gè)這種類型的模型[16, 11, 13, 18, 15, 22, 26]。它們的能力可以通過改變其深度與廣度得到控制，它們也可作出有關(guān)圖像性質(zhì)的強(qiáng)壯且多半正確的假設(shè)（即，統(tǒng)計(jì)數(shù)據(jù)的穩(wěn)定性和像素依賴關(guān)系的局部性）。因此，與層次規(guī)模相同的標(biāo)準(zhǔn)前饋神經(jīng)網(wǎng)絡(luò)相比，CNN的連接關(guān)系和參數(shù)更少，所以更易于訓(xùn)練，而其理論上的最佳性能可能只略差一點(diǎn)。

不論CNN的性質(zhì)多有吸引力，也不論它們局部結(jié)構(gòu)的相對(duì)效率有多高，將它們大規(guī)模地應(yīng)用到高分辨率圖像中仍然是極其昂貴的。幸運(yùn)的是，目前的GPU搭配了一個(gè)高度優(yōu)化的2D卷積工具，強(qiáng)大到足以促進(jìn)大規(guī)模CNN的訓(xùn)練，而且最近的數(shù)據(jù)集像ImageNet包含足夠的帶標(biāo)簽的樣例來訓(xùn)練這樣的模型，還不會(huì)有嚴(yán)重的過擬合。

本文的具體貢獻(xiàn)如下：我們在ILSVRC-2010和ILSVRC-2012大賽中使用過的ImageNet的子集上[2]，訓(xùn)練了迄今為止最大型的卷積神經(jīng)網(wǎng)絡(luò)之一，并取得了迄今為止在這些數(shù)據(jù)集上報(bào)告過的最好結(jié)果。我們寫了一個(gè)高度優(yōu)化的GPU二維卷積工具以及訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)過程中的所有其他操作，這些我們都提供了公開地址。我們的網(wǎng)絡(luò)中包含一些既新鮮而又不同尋常的特征，它們提高了網(wǎng)絡(luò)的性能，并減少了網(wǎng)絡(luò)的訓(xùn)練時(shí)間，這些詳見第3節(jié)。我們的網(wǎng)絡(luò)中甚至有120萬個(gè)帶標(biāo)簽的訓(xùn)練樣本，這么大的規(guī)模使得過擬合成為一個(gè)顯著的問題，所以我們使用了幾種有效的方法來防止過擬合，這些在第4節(jié)中給以描述。我們最終的網(wǎng)絡(luò)包含五個(gè)卷積層和三個(gè)全連接層，且這種層次深度似乎是重要的：我們發(fā)現(xiàn)，移去任何卷積層（其中每一個(gè)包含的模型參數(shù)都不超過1%）都會(huì)導(dǎo)致性能變差。

最后，網(wǎng)絡(luò)的規(guī)模主要受限于當(dāng)前GPU的可用內(nèi)存和我們愿意容忍的訓(xùn)練時(shí)間。我們的網(wǎng)絡(luò)在兩塊GTX 580 3GB GPU上訓(xùn)練需要五到六天。我們所有的實(shí)驗(yàn)表明，等更快的GPU和更大的數(shù)據(jù)集可用以后，我們的結(jié)果就可以輕而易舉地得到改進(jìn)。

ImageNet是一個(gè)擁有超過1500萬張帶標(biāo)簽的高分辨率圖像的數(shù)據(jù)集，這些圖像分屬于大概22,000個(gè)類別。這些圖像是從網(wǎng)上收集，并使用Amazon Mechanical Turk群眾外包工具來人工貼標(biāo)簽的。作為PASCAL視覺目標(biāo)挑戰(zhàn)賽的一部分，一年一度的ImageNet大型視覺識(shí)別挑戰(zhàn)賽（ILSVRC）從2010年開始就已經(jīng)在舉辦了。ILSVRC使用ImageNet的一個(gè)子集，分為1000種類別，每種類別中都有大約1000張圖像�？傊蠹s有120萬張訓(xùn)練圖像，50,000張驗(yàn)證圖像和150,000張測試圖像。

ILSVRC-2010是ILSVRC中能獲得測試集標(biāo)簽的唯一版本，因此這也就是我們完成大部分實(shí)驗(yàn)的版本。由于我們也在ILSVRC-2012上輸入了模型，在第6節(jié)中我們也會(huì)報(bào)告這個(gè)數(shù)據(jù)集版本上的結(jié)果，該版本上的測試集標(biāo)簽難以獲取。在ImageNet上，習(xí)慣性地報(bào)告兩個(gè)誤差率：top-1和top-5，其中top-5誤差率是指測試圖像上正確標(biāo)簽不屬于被模型認(rèn)為是最有可能的五個(gè)標(biāo)簽的百分比。

ImageNet由各種分辨率的圖像組成，而我們的系統(tǒng)需要一個(gè)恒定的輸入維數(shù)。因此，我們下采樣這些圖像到固定的分辨率256×256。給定一張矩形圖像，我們首先重新縮放圖像，使得短邊長度為256，然后從得到的圖像中裁剪出中央256×256的一片。除了遍歷訓(xùn)練集從每個(gè)像素中減去平均活躍度外，我們沒有以任何其他方式預(yù)處理圖像。所以我們用這些像素（中央那一片的）原始RGB值訓(xùn)練網(wǎng)絡(luò)。