構(gòu)建起無人駕駛的認知地圖，包括車輛、交通標識、障礙物行人等構(gòu)成的可行駛區(qū)域的基本屬性。同時也包括遞歸網(wǎng)絡所學習得到的關于預注意機制、駕駛意圖等高級認知屬性。我們把車輛當前狀態(tài)與交通知識也作為認知地圖的一部分。也就是說，在這樣一個場景中，根據(jù)場景動態(tài)的變化來形成時間上的認知地圖的一種序列。

　　上面討論了在認知地圖基礎上構(gòu)成的基于認知構(gòu)建的自主駕駛基本框架。這個基本框架有深度卷積神經(jīng)網(wǎng)絡、LSTM單元等，利用這樣一個框架把場景感知與情境計算融合在一起 。

　　如何檢測可行駛區(qū)域：“共點映射”模型

　　這里展現(xiàn)的方法是我們提出的智能計算前移技術(shù)的實現(xiàn)，即，使不同傳感器在數(shù)據(jù)端進行融合處理。

　　這里我們提出一個模型叫“共點映射”，就是把激光雷達數(shù)據(jù)和圖象數(shù)據(jù)進行融合，因為這里面有一個假設，也就是說，深度的不連續(xù)往往發(fā)生在圖像分割的邊緣上，所謂深度不連續(xù)區(qū)域，就是我們看到物體的正面和側(cè)面顯然不是在一個深度上。

　　依據(jù)“共點映射”， 把激光雷達的數(shù)據(jù)經(jīng)處理投影到二維圖像的數(shù)據(jù)中，這樣可以把物體，即前面我們談到的場景中每一個實體準確的分割出來。我們就可以可靠地找到車的前方哪些是可行駛的區(qū)域，哪些是周圍的路沿、建筑物、樹木等等。

共點映射的計算有三個層次：

第一，數(shù)據(jù)層面上進行融合；
第二，特征提??；
第三，特征融合。

　　基礎性研究：交通情境記憶與認知中的選擇性注意

　　這里再簡單介紹一下我們在自主駕駛領域開展的一些基礎理論研究。這是我們用眼動儀檢測人類駕駛員的注意力是怎么轉(zhuǎn)移的，他怎么關注周圍場景的，也就是說，要尋找注意力與視覺線索的關系。

　　這是眼動儀給出的駕駛員在駕駛過程中不斷關注的點。做了這樣一個實驗，我們可以看到有一個基本的規(guī)律，也就是說在多數(shù)情況下特征基本上與目標大小無關，而且注意過程中，它有一個預備性搜索的作用與序列搜索之間的關系，而這種關系是需要一個連續(xù)綁定的步驟。

　　這里談的綁定是什么意思？實際上我們從認知角度來看，人在判斷前方目標時，它判斷這個區(qū)域大小和目標的形狀，和看見這個目標的顏色分類，實際上在腦部不同區(qū)域?qū)崿F(xiàn)的。

　　從這個意義上來講，我們在構(gòu)建這樣一個認知過程時，就需要多個模型對場景特征并行進行描述。

下面再來看一看自主駕駛混合學習網(wǎng)絡。

　　先是用人在這個環(huán)境中開一遍，訓練自主駕駛系統(tǒng)，然后再讓這個自主駕駛系統(tǒng)再在這個環(huán)境中行駛一遍。這些點是場景中的顯著性注視點，左邊給出的是它行駛的路徑。

　　我們用人開車的情況來訓練這個網(wǎng)絡，讓這個網(wǎng)絡能夠逐步形成一個擬人駕駛的狀態(tài)。除了人來訓練自主駕駛汽車，我們再來看看用游戲來訓練無人駕駛學習網(wǎng)絡的情況。

　　這是學習兩個小時后，這個車基本上就沒有正常行駛過，不斷地出交通事故，學習四個小時以后比剛才要好一些了。這是學習六個小時以后。這是學習十個小時以后，這個網(wǎng)絡慢慢能夠?qū)W會駕駛。

上圖看到的視頻片段是無人機與無人車的協(xié)同作業(yè)。

中國智能車未來挑戰(zhàn)賽歷史回顧

　　中國智能車未來挑戰(zhàn)賽是2009年開始的。在2008年國家自然科學基金委設立了一個重大研發(fā)研究計劃，計劃的名稱是“視聽覺信息的認知計算”，在這個計劃中我們把無人駕駛平臺作為這個重大計劃的驗證平臺。

　　它的目的是把視聽覺認知計算的一些模型、一些理論和一些新的方法能夠在這個平臺上進行驗證。也就是說，讓實驗室一些研究成果走向真實的物理世界。

　　2009年是在西安，當時在一個酒店的小區(qū)。2010年依然是在西安，在長安大學的試車場。

　　第一屆和第二屆比賽的內(nèi)容和水平是非常簡單的。因為那個時候的傳感器沒有像今天這樣豐富，當時的計算機的計算能力還非常低下。第三屆我們移師到鄂爾多斯，在鄂爾多斯的挑戰(zhàn)賽有城區(qū)道路，也有鄉(xiāng)村道路。第四屆就到了赤峰。在鄂爾多斯和赤峰都是在真實道路上來進行比賽。

　　第五屆開始就到了常熟，常熟已經(jīng)連續(xù)舉辦了四屆，這個周末在常熟舉辦今年的比賽，賽事安排有高架道路和城鄉(xiāng)道路上。這一屆挑戰(zhàn)賽增加了無人車在高架道路上要匯入眾多的有人駕駛車輛的交通流中、躲避障礙、通過收費站等，在城鄉(xiāng)道路又通過含有障礙的隧道、路遇行人讓行、自主泊車等15項考核。

　　實現(xiàn)完全自主的無人駕駛是一個令人興奮卻又望而生畏的艱難挑戰(zhàn)。

　　當然，目前自主駕駛的一些技術(shù)已經(jīng)可以為有人駕駛的車提供先進的輔助安全駕駛系統(tǒng)，無人駕駛汽車也可以在一些特定的區(qū)域、小區(qū)、城市指定的專用道路或者高速公路正常交通車流的情況下實現(xiàn)自主的駕駛。

　　但是我們要讓無人車能夠進入尋常百姓家，能夠非常自如的進入地下車庫，也能夠停到小街小巷，能夠進入非常復雜的十字路口，我們還面臨著很艱難的挑戰(zhàn)。

　　當前，一些公司和車企都在進行無人駕駛的路試，一些商業(yè)行為表現(xiàn)出的前景很誘人，誘人的前景使人容易忽視發(fā)展自主駕駛所面臨的挑戰(zhàn)，也使得社會公眾認為具有高智能的無人駕駛很快就能進入尋常百姓家庭。

　　以目前的交通狀況和技術(shù)水平來看，無人駕駛技術(shù)要得到大規(guī)模的普及，一方面有待于低成本、高性能的傳感技術(shù)方面取得突破；另一方面還需要大幅提升無人駕駛的計算能力。因此，我們可能需要十幾年甚至更長的時間完善無人駕駛在復雜的城市道路交通環(huán)境中的安全性能。

　　在這些挑戰(zhàn)的背后，我們需要用什么樣的方法、什么樣的新模型，的確需要我們加強基礎研究。還有，無人車的發(fā)展離不開企業(yè)，特別是整車制造企業(yè)一定要成為自主駕駛技術(shù)成果轉(zhuǎn)化落地和創(chuàng)新發(fā)展的主體。

　　近年來，我們與廣汽研究院在無人駕駛技術(shù)領域開始了合作，他們在智能車的改裝和平臺控制方面走在國內(nèi)車企的前面。

　　高校、研究院所和企業(yè)一定要緊密的合作，畢竟無人車的研發(fā)不同于一般的科研協(xié)同，不是簡單的在實驗室或有限的、簡單的環(huán)境中實現(xiàn)就行了，它必須要到一個真實、復雜、開放、動態(tài)，在不可預測的環(huán)境中去實現(xiàn)它。

總結(jié)

在會后的討論中，鄭南寧教授進一步談到：

　　真實的交通環(huán)境復雜多變，很難預測車輛在行駛過程中會遇到什么樣的問題。因此無人車想要投入實際應用，必須在真實的環(huán)境下不斷測試。

　　我們面臨的另一個無法回避的問題是，目前有關交通的法律法規(guī)不允許沒有牌照的無人車上路測試，我們只能在特定的試驗場測試?，F(xiàn)行《中華人民共和國公路法》第五十一條規(guī)定，機動車制造廠和其他單位不得將公路作為檢驗機動車制動性能的試車場地。

　　所以，當前在國內(nèi)公共道路上進行無人駕駛車的測試還是違法的。實驗模擬路況和真實路況有很大差距，在對無人駕駛智能車的創(chuàng)新研發(fā)上，需要政府和主管部門給予更多政策法規(guī)上的支持和提供更加開放的研發(fā)環(huán)境。比如：能否開放一個指定的區(qū)域，給無人駕駛智能車提供臨時牌照允許其上路測試？

　　從創(chuàng)新驅(qū)動發(fā)展的意義上來說，在體制上為新技術(shù)的發(fā)展提供空間和政策支持，與提供充足的科研經(jīng)費同等重要?！就辍?/P>

　　自動駕駛汽車是人工智能和機器學習領域研究者們數(shù)十年科研的成果匯聚，鄭南寧教授的分享報告便是其中的縮影。尤其是以智能未來車挑戰(zhàn)賽為代表的這些參與者、親歷者們，他們這段漫長而豐富的研究過程，值得我們一起重新領略。

　　2018年1月16日，在中國的另一端，雷鋒網(wǎng)新智駕將在美國硅谷舉辦GAIR硅谷智能駕駛峰會，我們也邀請了重磅嘉賓、2005 年 DAPRA 挑戰(zhàn)賽冠軍斯坦福車隊成員，無人駕駛行業(yè)萌芽的親歷者 Adrian Kaehler 進行主題演講。