Meta Platforms Inc.人工智能研究部門的研究人員今天宣布了圍繞自適應(yīng)技能協(xié)調(diào)和視覺皮層復(fù)制的幾項(xiàng)關(guān)鍵進(jìn)展，他們表示這些進(jìn)展將允許人工智能驅(qū)動(dòng)的機(jī)器人在沒有任何真實(shí)世界數(shù)據(jù)的情況下在現(xiàn)實(shí)世界中運(yùn)行。

（Meta Platforms Inc.是美國一家經(jīng)營社交網(wǎng)絡(luò)服務(wù)、虛擬現(xiàn)實(shí)、元宇宙等產(chǎn)品的互聯(lián)網(wǎng)科技公司，總部位于美國加州門洛帕克，旗下?lián)碛蠪acebook、Instagram、WhatsApp等社交軟件。）

據(jù)稱，這些進(jìn)展是在創(chuàng)建通用“具身人工智能代理”方面取得的重大進(jìn)展，該代理能夠在無需人工干預(yù)的情況下與現(xiàn)實(shí)世界進(jìn)行交互。第一個(gè)公告涉及創(chuàng)建一個(gè)名為 VC-1 的人工視覺皮層，該皮層在 Ego4D 數(shù)據(jù)集上進(jìn)行訓(xùn)練，該數(shù)據(jù)集由數(shù)千個(gè)執(zhí)行日常任務(wù)的人的視頻組成。

正如研究人員在博客文章中解釋的那樣，視覺皮層是大腦中使生物體能夠?qū)⒁曈X轉(zhuǎn)化為運(yùn)動(dòng)的區(qū)域。因此，人工視覺皮層是任何需要根據(jù)眼前所見執(zhí)行任務(wù)的機(jī)器人的關(guān)鍵要求。因?yàn)?VC-1 需要在廣泛的環(huán)境中很好地完成各種感覺運(yùn)動(dòng)任務(wù)，Ego4D 數(shù)據(jù)集被證明特別有用，因?yàn)樗澜绺鞯匮芯繀⑴c者執(zhí)行日?；顒?dòng)的數(shù)千小時(shí)可穿戴相機(jī)視頻，例如烹飪、清潔、運(yùn)動(dòng)和手工藝。

研究人員說：“生物有機(jī)體有一個(gè)通用的視覺皮層，這就是我們尋找具身代理的目的。因此，他們著手創(chuàng)建一個(gè)在多項(xiàng)任務(wù)上表現(xiàn)良好的數(shù)據(jù)集，從 Ego4D 作為核心數(shù)據(jù)集開始，并通過添加額外的數(shù)據(jù)集來改進(jìn) VC-1 進(jìn)行試驗(yàn)。由于 Ego4D 主要關(guān)注烹飪、園藝和手工藝等日?；顒?dòng)，我們還考慮了探索房屋和公寓的以自我為中心的視頻數(shù)據(jù)集，”研究人員寫道?！?/p>

然而，視覺皮層只是具身人工智能的一個(gè)元素。對(duì)于在現(xiàn)實(shí)世界中完全自主工作的機(jī)器人，它還必須能夠操縱現(xiàn)實(shí)世界的物體。機(jī)器人需要能夠?qū)Ш降揭粋€(gè)物體，將其撿起，將其帶到另一個(gè)位置并放置該物體——并根據(jù)其所見所聞來完成所有這些工作。

為了解決這個(gè)問題，Meta 的 AI 專家與美國佐治亞理工學(xué)院的研究人員合作開發(fā)了一種稱為“自適應(yīng)技能協(xié)調(diào)”的新技術(shù)，其中機(jī)器人完全在模擬中進(jìn)行訓(xùn)練，然后將這些技能轉(zhuǎn)移到現(xiàn)實(shí)世界的機(jī)器人上。

Meta 與波士頓動(dòng)力公司合作展示了其 ASC 技術(shù)的有效性。ASC 模型與波士頓動(dòng)力公司的 Spot 機(jī)器人集成在一起，后者具有強(qiáng)大的傳感、導(dǎo)航和操縱能力，盡管需要大量的人工干預(yù)。

“例如，挑選一個(gè)物體需要一個(gè)人點(diǎn)擊機(jī)器人平板電腦上的物體。我們的目標(biāo)是構(gòu)建能夠通過波士頓動(dòng)力 API 的機(jī)載傳感和電機(jī)命令來感知世界的 AI 模型?！?/p>

ASC 在使用 HM3D 和 ReplicaCAD 數(shù)據(jù)集構(gòu)建的環(huán)境中使用 Habitat 模擬器在 Spot 上進(jìn)行了測(cè)試，其中包含 1,000 多個(gè)家庭的室內(nèi) 3D 掃描。然后，模擬的 Spot 機(jī)器人被教導(dǎo)在一個(gè)以前看不見的家里四處走動(dòng)，撿起不在地方的物體，把它們帶到正確的位置，然后把它們放下。后來，這些知識(shí)被轉(zhuǎn)移到現(xiàn)實(shí)世界中的 Spot 機(jī)器人中，這些機(jī)器人會(huì)根據(jù)它們對(duì)房屋外觀的了解自動(dòng)執(zhí)行相同的任務(wù)。

“當(dāng)我們對(duì)我們的工作進(jìn)行測(cè)試時(shí)，我們使用了兩個(gè)截然不同的現(xiàn)實(shí)世界環(huán)境，在這些環(huán)境中，Spot 被要求重新布置各種物體——一個(gè)家具齊全的 185 平方米公寓和一個(gè) 65 平方米的大學(xué)實(shí)驗(yàn)室?？偟膩碚f，ASC 取得了近乎完美的表現(xiàn)，在 60 集中的 59 集中取得了成功，克服了硬件不穩(wěn)定、拾取失敗以及移動(dòng)障礙物或阻塞路徑等對(duì)抗性干擾。”

Meta 的研究人員表示，他們今天正在開源 VC-1 模型，并在隨附的論文中分享了他們?cè)谌绾慰s放模型大小、數(shù)據(jù)集大小等方面的詳細(xì)知識(shí)。與此同時(shí)，該團(tuán)隊(duì)的下一個(gè)重點(diǎn)將是嘗試將 VC-1 與 ASC 集成，以創(chuàng)建一個(gè)更接近真正體現(xiàn)人工智能的單一系統(tǒng)。