王琦  碁震KEEN公司創(chuàng)始人兼CEO  國際安全極客大賽Geek+Pwn活動(dòng)創(chuàng)辦人

　　今天，我跟大家分享的題目是人“攻”智能，“攻”是攻擊的攻，其中包括了我這么些年工作的感悟，我想先從傳統(tǒng)科班的人工智能說起。我們先做一個(gè)小測試吧，大屏幕的左邊有一張圖，如果我問大家看到了什么，相信每個(gè)人都有自己的回答。圖片右邊有兩句話，一句是正常人類的問題，另一句是帶有人工智能的機(jī)器人的回答。　　

　　這個(gè)小測試就是，你們認(rèn)為右邊回答的兩個(gè)人，小花和小明，誰是正常的人類？在公布答案之前我想和大家說一下，其實(shí)大家做了一個(gè)非常典型但不那么嚴(yán)謹(jǐn)?shù)膱D靈測試。上世紀(jì)50年代，當(dāng)時(shí)的人工智能之父圖靈提出一個(gè)測試機(jī)器是否具備人類智慧的方法。他提到，如果我們同時(shí)和一個(gè)看不見的人及機(jī)器（通過敲鍵盤）進(jìn)行提問式的交流，如果30%的成年人無法在5分鐘內(nèi)判斷對面是人還是機(jī)器，我們認(rèn)為那臺(tái)機(jī)器已具備了人工智能。如果等會(huì)兒答案揭曉時(shí)，如果你發(fā)現(xiàn)自己錯(cuò)了，那說明我們的人工智能已經(jīng)像人類了。大家看一下，小明才是機(jī)器人，我們都認(rèn)為他像一個(gè)正常的人類對不對？

人工智能

　　人工智能發(fā)展到現(xiàn)在已有了一些有意思的成果。對計(jì)算機(jī)來講，如果要像人一樣思考，具備人一樣的智慧，就有一個(gè)最重要的領(lǐng)域需要去搞定?！　?

　　我們要知道，人對信息的處理70%來自于我們的眼睛，但對計(jì)算機(jī)來講它只有0和1，計(jì)算機(jī)從一張圖片看到的只是像素上的數(shù)值，它無法看到沙發(fā)上的一條線，更無法很快理解，那可能是一個(gè)大人帶著兩個(gè)小孩兒、一只狗在看電視。如果我更近一步提問，坐在前面的那個(gè)小屁孩上衣是什么顏色？對計(jì)算機(jī)來說，什么是小屁孩？什么是前面？什么是上衣？什么是顏色？它完全無法理解。所以，在人工智能被提出多年之后，它在視覺領(lǐng)域還存在困難。　　

　　要知道，我們?nèi)顺錾笠醚劬词澜?。如果把眼睛比作?jì)算機(jī)的話，每200毫秒我們就拍一張照片。大家想一下，從我們睜開眼睛看世界開始，到今天拍了多少這樣的照片，才能夠看懂看明白？所以呢，我們希望訓(xùn)練計(jì)算機(jī)它也具備這種能力。在2010年時(shí)，最好的人工智能計(jì)算機(jī)識(shí)別圖形的錯(cuò)誤率在20%到30%，比人類差。但在2012年至2014年，斯坦福有個(gè)博士通過自己的研究，使這個(gè)錯(cuò)誤率降低到接近人類的水平。這是一項(xiàng)非常了不起的成就，他在其中使用到我們稱之為“深度學(xué)習(xí)”的技術(shù)?！　?

　　通常我們要告訴機(jī)器一萬遍，這是貓這是貓這是貓，它才知道這長得像一只貓；但到2012年，谷歌不用再告訴機(jī)器什么是貓，而是可以直接問什么是貓，讓它自己把貓找出來，這是一項(xiàng)讓人工智能領(lǐng)域科學(xué)家都非常佩服的成果?？吹竭@樣的科技成果，說實(shí)話我也很興奮。但是今天我演講的主題是什么呢？人“攻”智能。在感受到人工智能興奮的同時(shí)，我也看到或是瞎想出來一些風(fēng)險(xiǎn)。

攻擊樣本

　　我一直從事的專業(yè)是IT技術(shù)，嚴(yán)格意義來說，是信息安全或大家俗稱的“黑客”，2017年是我進(jìn)入這個(gè)行業(yè)的第19年。　　

　　在2011年我們組建了一個(gè)叫KEEN的團(tuán)隊(duì)，隨后幾年，我們的團(tuán)隊(duì)在世界黑客大賽上拿過幾次冠軍。我們又成立了一個(gè)黑客賽事平臺(tái)，叫GeekPwn。在這個(gè)平臺(tái)上，大家能夠看到，所有你們身邊的攝像頭、手機(jī)、PC、路由器、智能門鎖、無人機(jī)、機(jī)器人、POS機(jī)全被我們黑完了。你們可能會(huì)問我們要干什么？其實(shí)我們這樣的叫做白帽黑客，我們希望幫助廠商發(fā)現(xiàn)問題，然后加以修復(fù)，讓產(chǎn)品變得更加安全。這些被黑掉的產(chǎn)品里就有汽車，我一直在想，還有沒有別的更酷的方法，去幫助提升它的安全性呢？　　

　　大家回到剛才看的這個(gè)車。通過深度學(xué)習(xí)，它的智能系統(tǒng)可以識(shí)別出道路前穿白襯衫的那個(gè)人。我當(dāng)時(shí)產(chǎn)生了一個(gè)想法：如果我堅(jiān)持讓汽車認(rèn)為那是一個(gè)消防栓或是一棵樹，在緊急情況下，它就會(huì)撞上去，這就相當(dāng)于黑掉它的系統(tǒng)。這可要比黑掉PC大屏幕更酷。那有沒有可能辦到呢？說實(shí)話，我們過去從事的是傳統(tǒng)的安全領(lǐng)域研究，對人工智能這一塊并不了解，但興趣使然我們想去學(xué)習(xí)一下，看能不能做到這一點(diǎn)。這就像我們挖漏洞、利用漏洞的過程，同樣是教給計(jì)算機(jī)一堆攻擊樣本，這會(huì)產(chǎn)生什么結(jié)果呢？大家先看我們輸入一個(gè)正常的樣本要得到什么？要得到一個(gè)正確的決策。可是在攻擊里面，我們輸入一個(gè)攻擊的樣本，就希望它能得到一個(gè)錯(cuò)誤的行為，這種辦法能不能在人工智能領(lǐng)域行得通？

人“攻”智能　　

　　在去年GeekPwn美國戰(zhàn)的時(shí)候，剛好有一位世界級(jí)的人工智能大師發(fā)現(xiàn)了這個(gè)成果。你們看，圖片左邊是一條小狗，對于現(xiàn)在的人工智能來講，識(shí)別它非常容易。但這張小狗又不是小狗，它是經(jīng)過特制的，當(dāng)下最成功的人工智能識(shí)別系統(tǒng)堅(jiān)持認(rèn)為這是一只鴕鳥?！　?

　　左邊這張圖大家依然看不到任何信息，全都是噪點(diǎn)對不對？但當(dāng)我們交給人工智能時(shí)，它堅(jiān)持認(rèn)為這是一張熊貓。我們又一次誤導(dǎo)它出現(xiàn)錯(cuò)誤的決策，這給了我們信心，就是我們假想中的錯(cuò)誤真的可能導(dǎo)致錯(cuò)誤決策，就是攻擊樣本。去年微軟推出一個(gè)智能聊天機(jī)器人，它能和我們正常交流，可是沒過多久就下線了。為什么？因?yàn)樗诘谝惶煜挛缇烷_始跟人罵臟話了，說種族主義的東西。為什么能這樣呢？因?yàn)樯衔缇陀腥擞眠@種話來跟他交流，他以為這是人與人之間正常的交流方式?！　?

　　所以我產(chǎn)生了一個(gè)想法，在人工智能時(shí)代，真的可能一不小心人人都是黑客。黑客不需要寫任何代碼，也不需要像我們有十幾年的安全經(jīng)驗(yàn)，它就可以成功地把人工智能給欺騙了，這說的是語言領(lǐng)域。其他領(lǐng)域呢，大家來看一下，這是一只機(jī)器狗，這是一個(gè)機(jī)器人，他們來自于美國的波士頓動(dòng)力公司，他們能夠像人類或是動(dòng)物一樣去行走，在行進(jìn)過程中，自己摸索出調(diào)整平衡的方法，這是一項(xiàng)非常了不起的產(chǎn)品。我在想，如果有一天這些機(jī)器狗、機(jī)器人認(rèn)為，我捅你一下、踹你一下，是跟和你握手一樣的友好行為怎么辦？機(jī)器人會(huì)不會(huì)威脅到我們呢？我可能是杞人憂天，但是站在黑客的角度，我們習(xí)慣性從壞人角度看問題。人工智能從上世紀(jì)50年代發(fā)展到現(xiàn)在，非常像《速8》里的那個(gè)小孩，我們希望他能夠成長成像他父親一樣那么強(qiáng)壯、智慧的男人。

保護(hù)人類

　　可是這一天會(huì)不會(huì)受到干擾呢？我們現(xiàn)在做的工作，就是希望能夠幫助人工智能安全健康地成長。我們一直嘗試用壞人的視角看問題，幫助我們做出更安全的產(chǎn)品?！　?

　　我們擔(dān)心什么？不知大家有沒有看過一部叫《超能查派》的電影，看這電影時(shí)我感觸非常深。它講一個(gè)機(jī)器人剛出生就被劫匪從實(shí)驗(yàn)室劫走了，過了幾個(gè)月，大家看到它帶著金項(xiàng)鏈、舉著手槍、罵著臟話、搶別人錢。為什么呢？因?yàn)樗粠У截毭窨?，它認(rèn)為這才是正當(dāng)工作。我們期望人工智能改變我們的生活，但我們更認(rèn)為自己有必要幫助它健康成長。我特別希望有更多的人投入到這份工作，或者說黑客事業(yè)上來。　　

　　人工智能領(lǐng)域分為兩派，一派是樂觀主義，另一派是悲觀主義。悲觀主義認(rèn)為，人類正在自取滅亡，他們正在做一個(gè)可能超越人類，某一天將危及人類安全的設(shè)備。持悲觀觀點(diǎn)的人不僅有我，還有霍金、埃隆·馬斯克、比爾·蓋茨……

　　如果真有那么一天，黑客說不定還能夠保護(hù)全人類，攻擊它（人工智能），所以今天跟大家分享的全都是我的一些淺薄想法，如有不雷同，歡迎拍磚，謝謝大家。