對(duì)抗樣本是通過(guò)稍微修改實(shí)際樣本而構(gòu)造出的合成樣本，以便于一個(gè)分類器以高置信度認(rèn)為它們屬于錯(cuò)誤的分類。垃圾類的樣本（如fooling images）是病態(tài)樣本，即使它們不屬于任意一個(gè)類，分類模型也會(huì)把它們以高置信度劃分到某一個(gè)類別中去。

一個(gè)對(duì)抗樣本，修改一張熊貓的圖片，讓機(jī)器學(xué)習(xí)模型將它識(shí)別成一只長(zhǎng)臂猿。

使用32位浮點(diǎn)值作為網(wǎng)絡(luò)的輸入來(lái)執(zhí)行修改，這個(gè)改變是如此的小以至于不會(huì)改變出版圖像的8位表示。更多細(xì)節(jié)請(qǐng)參考這篇論文。

這些錯(cuò)誤抓住了公眾的想象力。在興奮之余，關(guān)于對(duì)抗樣本的一些誤解已經(jīng)廣泛傳播。在這篇博客中，我列出了其中的一些誤解。

1. 神話：對(duì)抗樣本并不重要，因?yàn)樗鼈儾粫?huì)出現(xiàn)在實(shí)踐中。

事實(shí)：的確，對(duì)抗樣本不太可能自然發(fā)生。然而，對(duì)抗樣本至關(guān)重要，因?yàn)橛?xùn)練一個(gè)模型來(lái)抵制它們，可以提高其非對(duì)抗樣本的準(zhǔn)確性。對(duì)抗樣本也可能在實(shí)踐中發(fā)生，如果它們的確是對(duì)抗性的。例如垃圾郵件發(fā)送者試圖騙過(guò)垃圾郵件檢測(cè)系統(tǒng)。

訓(xùn)練一個(gè)網(wǎng)絡(luò)來(lái)正確分類對(duì)抗樣本，降低它在訓(xùn)練數(shù)據(jù)集上的錯(cuò)誤率，即使測(cè)試數(shù)據(jù)集的樣本沒(méi)有被擾動(dòng)。這種技術(shù)提升了在MNIST數(shù)據(jù)集上的最高水平。

2. 神話：深度學(xué)習(xí)比其他類型的機(jī)器學(xué)習(xí)更容易受到對(duì)抗樣本的干擾。

事實(shí)：到目前為止，我們已經(jīng)能夠?yàn)槲覀儨y(cè)試過(guò)的每一個(gè)模型生成對(duì)抗樣本，包括像最鄰近這樣的最傳統(tǒng)的機(jī)器學(xué)習(xí)模型。深度學(xué)習(xí)是目前為止對(duì)對(duì)抗訓(xùn)練最有抵抗性的技術(shù)。

3. 神話：對(duì)抗樣本是由極度非線性深度模型導(dǎo)致。

事實(shí)：我們最近的實(shí)驗(yàn)表明，深度模型的表現(xiàn)是非常線性的。線性模型在外推遠(yuǎn)離訓(xùn)練數(shù)據(jù)的區(qū)域有著極度的優(yōu)勢(shì)。這也解釋了對(duì)抗性和垃圾分類樣本中發(fā)生的很多錯(cuò)誤。

我們可以描繪出一個(gè)輸入空間中的線性路徑，通過(guò)對(duì)一張清晰的汽車圖像添加不同的對(duì)抗性微擾。這里，我們將比例因子范圍從-10到+10來(lái)繪制出這條線性路徑。我們看到，網(wǎng)絡(luò)的logits輸出在遠(yuǎn)離數(shù)據(jù)的地方表現(xiàn)為線性。這將導(dǎo)致網(wǎng)絡(luò)的預(yù)測(cè)變得極端，垃圾類輸入數(shù)據(jù)以高置信度歸為有意義分類。

4. 神話：對(duì)抗樣本在小數(shù)據(jù)中很難找到或發(fā)生。

事實(shí)：空間中的大多數(shù)任意點(diǎn)都被誤判。例如，我們測(cè)試的一個(gè)網(wǎng)絡(luò)，把大約70%的噪聲樣本以高置信度歸類為馬。

5. 神話：我們能做到最好的是識(shí)別和拒絕處理對(duì)抗樣本。

事實(shí)：拒絕處理對(duì)抗樣本比將它錯(cuò)誤分類要好，不過(guò)這不是一個(gè)令人滿意的解決方案。如果真是一個(gè)對(duì)抗樣本，如垃圾郵件發(fā)送者，對(duì)抗樣本仍然可以通過(guò)產(chǎn)生系統(tǒng)拒絕分類的樣本而占優(yōu)勢(shì)。我們知道這可能是正確分類的對(duì)抗樣本，因?yàn)槿藗儾粫?huì)被它們迷惑，這也是我們?cè)O(shè)計(jì)模型的目標(biāo)。

6. 神話：攻擊者必須訪問(wèn)到模型才能產(chǎn)生對(duì)抗樣本。

事實(shí)：對(duì)抗樣本在整個(gè)網(wǎng)絡(luò)中擴(kuò)散，用來(lái)訓(xùn)練執(zhí)行相同的任務(wù)，即使這些模型有不同的架構(gòu)，由不同訓(xùn)練數(shù)據(jù)集訓(xùn)練。這意味著攻擊者可以訓(xùn)練自己的模型，產(chǎn)生對(duì)抗模型來(lái)對(duì)抗目標(biāo)模型，然后將這些對(duì)抗樣本部署到他們不能訪問(wèn)的模型中。

7. 神話：對(duì)抗樣本可以很容易地用標(biāo)準(zhǔn)正則化技術(shù)解決。

事實(shí)：我們已經(jīng)測(cè)試了幾種傳統(tǒng)的正則化策略，包括均化多重模型，均化圖像多采樣觀測(cè)（multiple glimpses），用時(shí)延權(quán)重或噪聲訓(xùn)練模型，通過(guò)生成模型的推斷進(jìn)行分類，結(jié)果均以失敗告終。

8. 神話：沒(méi)人知道人腦是否也會(huì)犯相似的錯(cuò)誤。

事實(shí)：神經(jīng)學(xué)家和心理學(xué)家通常研究幻覺(jué)和認(rèn)知偏差。雖然我們無(wú)法進(jìn)入我們的大腦，但是我們可以確認(rèn)我們沒(méi)有像現(xiàn)代機(jī)器學(xué)習(xí)那樣被同一種對(duì)抗樣本所影響。如果我們的大腦和機(jī)器學(xué)習(xí)模型一樣犯了同樣的錯(cuò)誤，那么由于交叉模型的泛化屬性，機(jī)器學(xué)習(xí)模型的對(duì)抗樣本將會(huì)使我們產(chǎn)生視覺(jué)錯(cuò)亂。

總之，對(duì)抗樣本是一個(gè)頑固的問(wèn)題，研究如何克服它們可以幫助我們避免潛在的安全問(wèn)題，并且會(huì)讓機(jī)器學(xué)習(xí)算法對(duì)所要解決的問(wèn)題有一個(gè)更準(zhǔn)確的了解。

推薦閱讀

• 60款頂級(jí)大數(shù)據(jù)開(kāi)源工具
• Excel最常用的79個(gè)快捷鍵
• 大數(shù)據(jù)的十大局限
• 不同領(lǐng)域開(kāi)發(fā)工具 Top 50