機器人感知從三維重建的角度進行了研究。本質(zhì)上，配備攝像頭或激光雷達等傳感器的機器人系統(tǒng)必須重建環(huán)境的 3D 模型才能自主導(dǎo)航。

在本例中，我們討論的是 SLAM（同時定位和建圖），這是一種允許對未知環(huán)境進行地圖繪制的方法。機器人利用地圖信息來執(zhí)行路線規(guī)劃、避障等任務(wù)。

SLAM 的研究始于 20 世紀(jì) 80 年代至 90 年代，多年來取得了巨大進步。這個問題已經(jīng)得到解決，SPARK 實驗室也研究和使用了有效的技術(shù)解決方案一段時間。它們是機器人、無人機的基礎(chǔ)，也是虛擬和增強現(xiàn)實觀眾的基礎(chǔ)。

因此，多年來人們進行了大量的研究來了解環(huán)境的幾何形狀，以確保機器人能夠四處移動并避開障礙物。

然而，近年來人們認(rèn)識到（機器人和其他人的）空間感知比幾何問題復(fù)雜得多。

機器人的空間感知——麻省理工學(xué)院模擬

這在實踐中意味著什么？

我們?nèi)祟惒粌H了解障礙的存在，而且當(dāng)我們環(huán)顧四周時，我們能夠賦予周圍一切以意義。在實踐中，我們發(fā)現(xiàn)自己面前的東西不僅被解釋為空曠的空間或被障礙物占據(jù)，而且我們很好地理解語義，即物體的含義，即使是以非常復(fù)雜的方式。例如，我們了解我們周圍人和物體的存在，我們在一個房間里，并且它是建筑物的一部分，因此我們形成了靜態(tài)和動態(tài)事物的非常復(fù)雜的表示?？臻g感知是一個過程，從感官數(shù)據(jù)開始，我們可以為我們腦海中清晰的周圍現(xiàn)實建立一個非常復(fù)雜的模型。過去十年中最有趣的元素也得益于人工智能的進步，其表現(xiàn)是語義部分變得更加容易理解。

在人工智能出現(xiàn)之前，解決識別和識別物體等任務(wù)非常復(fù)雜?，F(xiàn)在，深度學(xué)習(xí)模型使我們能夠識別圖像中的像素并將其與某些對象進行匹配。

我們與 Kimera-Multi 合作的目的是將語義部分提升到一個新的水平。為此，我們繼續(xù)構(gòu)建包含幾何和語義部分的3D 地圖。這使得機器人可以在未知環(huán)境中移動，無需 GPS 和任何絕對參考，僅使用從攝像機和慣性傳感器獲得的傳感數(shù)據(jù)，進行推理并能夠構(gòu)建包含幾何圖形的三維模型。和語義信息。因此，機器人也可以通過這個接口了解物體的類型。

那么，今天的機器人系統(tǒng)能否更好地了解它們所在的位置以及它們周圍的事物？

沒錯。新穎的元素使機器人具有更高層次的理解：因此，它們理解場景的語義方面、完成高級任務(wù)的關(guān)鍵要素，包括導(dǎo)航和對象搜索、與人類的交互等等。我們現(xiàn)在開發(fā)了一個系統(tǒng)，多個機器人可以在該系統(tǒng)中相互通信以創(chuàng)建統(tǒng)一的地圖，目標(biāo)它們擁有共享的環(huán)境表示，以便協(xié)調(diào)開展行動。

然而，這個問題非常復(fù)雜。機器人以分布式方式收集數(shù)據(jù)這一事實給建立單一模型帶來了困難。例如，如果我們考慮十個地理位置相距很遠的機器人，它們會以分布式方式收集大量數(shù)據(jù)，但很難交換數(shù)據(jù)。我們研究的主要目標(biāo)之一是設(shè)計分布式協(xié)議，讓機器人繼續(xù)交換最少量的信息，試圖就如何構(gòu)建地圖及其軌跡達成共識。簡而言之，兩個機器人不是互相發(fā)送各自相機收集的所有圖像，而是每次看到對方時交換彼此在參考系統(tǒng)中的位置估計，從而改進彼此的地圖。因此，在此過程中，可以收斂到所有系統(tǒng)都一致的共同估計。這是這項工作的主要貢獻之一。

還有其他值得注意的方面嗎？

是的，另一個重要貢獻涉及此類系統(tǒng)的穩(wěn)健性問題。在實驗室進行演示是一回事，開發(fā)一個如此可靠的水平儀以允許您在非常復(fù)雜的外部環(huán)境中管理多個機器人則是另一回事。此時機器人的空間感知與人類相差甚遠。特別是，我們希望在這些地圖系統(tǒng)中，機器人始終能夠識別它是否正在訪問它已經(jīng)知道的地方。如果該區(qū)域已經(jīng)被訪問過，機器人必須能夠識別該位置，并且該信息對于改進其地圖非常有用。此外，機器人還必須識別它們是否正在查看另一個機器人已經(jīng)訪問過的地圖部分。

困難在于地點識別算法非常不精確，并且這些算法產(chǎn)生的不正確結(jié)果會導(dǎo)致嚴(yán)重錯誤重建地圖。我們已經(jīng)證明，可以以分布式方式實現(xiàn)我的研究小組過去開發(fā)的特定魯棒估計算法。通過這種方式，盡管地點識別算法中可能存在錯誤，但仍可以交換估計和測量結(jié)果，以形成正確且共享的地圖。

機器人的空間感知應(yīng)用了哪些人工智能技術(shù)？

在這項工作中，人工智能主要進入語義部分。深度學(xué)習(xí)算法用于根據(jù)不同語義類別對圖像中的像素進行分類。然后，每個像素被分類為某個對象并具有相關(guān)的語義，并為創(chuàng)建三維地圖提供有價值的信息。不僅如此：借助該系統(tǒng)，可以確保在多個圖像中多次觀察地圖的同一部分。這使我們能夠減少人工智能系統(tǒng)中可能錯誤地對某些像素進行分類的錯誤。

在研究方面，該領(lǐng)域有哪些承諾？您現(xiàn)在和未來幾個月正在做什么？

有很多人致力于多機器人系統(tǒng)和感知。前者尤其在更大的機器人技術(shù)中構(gòu)成了一個社區(qū)，并在多個方面進行操作，意識到這種類型的系統(tǒng)在許多情況下更加高效。例如，我想到的是搜索和救援行動，即在災(zāi)難性事件后搜尋幸存者，如果可以的話，成功的可能性會更高依靠更多的機器人。但在其他領(lǐng)域，依靠多機器人系統(tǒng)可以獲得更好的結(jié)果。

談到接下來的發(fā)展，我們需要回到人類的空間感知：它不僅超越幾何，而且超越物體。作為人類，我們對現(xiàn)實不僅有一個非常復(fù)雜而且有層次的概念，以便非常有效地計劃我們的行動。讓我們想想當(dāng)我們計劃旅行時：我們在多個層面上建立了幾個步驟，通過機場、車輛和城市來計劃旅行。我們正在嘗試復(fù)制這種理解水平，讓機器人制定環(huán)境的分層抽象，并嘗試使用這種表示來加快決策速度。在這方面，我們提出了“3D場景圖”的想法，其中定義圖來插入不同級別的抽象環(huán)境并捕獲有關(guān)場景中不同對象或不同實體之間關(guān)系的信息。這些模型使您能夠推理不同對象之間或不同人之間的關(guān)系——這是執(zhí)行高級任務(wù)的一個重要方面。

我們正在研究更復(fù)雜的表示，并試圖了解如何在具有一個或多個機器人的系統(tǒng)中構(gòu)建這些表示。此外，我們正在嘗試將它們開發(fā)為其他人工智能模型的輸入，例如支撐決策的強化學(xué)習(xí)。我們希望了解如何使用人工智能算法提供這種感知表示，以便機器人能夠更有效地做出決策。此外，我們正在努力通過使用幾何來解決人工智能算法的一個基本問題，即需要擁有非常大的注釋數(shù)據(jù)集，這是人工智能圖像理解的基礎(chǔ)。

人工智能算法的有效性取決于大量數(shù)據(jù)集的可用性。我們知道，在許多機器人領(lǐng)域，沒有如此大的數(shù)據(jù)集。因此，我們打算重點關(guān)注自我監(jiān)督的可能性，即開發(fā)無需人工監(jiān)督即可運行的系統(tǒng)，無需注釋即可收集數(shù)據(jù)。大型語言模型，例如 ChatGPT，以這種方式工作，即以無監(jiān)督的方式工作，因此它們可以從互聯(lián)網(wǎng)上的文本中學(xué)習(xí)，而無需很多注釋。這是我們在機器人技術(shù)領(lǐng)域需要努力的前沿領(lǐng)域。未來我們必須擁有能夠觀察現(xiàn)實并通過推理來自行理解并做出決策的機器人，而無需人類操作員的頻繁干預(yù)。

您對機器人空間感知的研究和研究未來的應(yīng)用和好處是什么？

搜索和救援是一個非常重要的應(yīng)用：讓我們考慮一下在受地震或其他災(zāi)難性事件影響的地區(qū)派遣機器人進行救援行動、為團隊或獨立提供幫助的機會。在 DARPA（美國國防高級研究計劃局）最近發(fā)起的機器人系統(tǒng)競賽中，重點是地下研究。人們對開發(fā)地下環(huán)境中繪圖的能力非常感興趣，因為地下環(huán)境對人類來說非常困難且風(fēng)險很大。除此之外，這種環(huán)境在很多方面都與其他行星上的外星探索非常相似。

另一個令人感興趣的背景是工業(yè)和物流領(lǐng)域，同樣是關(guān)于機器人的空間感知：今天亞馬遜已經(jīng)在使用機器人在其倉庫中，地面上有虛擬向?qū)б苿?。未來，依靠能夠在不同環(huán)境中自主移動、與人類一起操作的機器人將會非常有趣。最后，空間感知的研究將使智能交通系統(tǒng)領(lǐng)域發(fā)生重大發(fā)展。例如，我正在考慮自動駕駛汽車，甚至卡車能夠相互通信，以便以更有效和更有效的方式移動。協(xié)作方式，大大提高安全水平。