微軟人工智能首席科學(xué)家鄧力在此前接受CSDN的采訪(fǎng)時(shí)曾表示深度強(qiáng)化學(xué)習(xí)是A.I.Bots的關(guān)鍵技術(shù)，在這篇發(fā)表于venturebeat的文章中，他詳細(xì)解析了為什么需要A.I.Bots，A.I.Bots的實(shí)現(xiàn)，以及深度強(qiáng)化學(xué)習(xí)如何發(fā)揮作用。
　　在今年3月份，微軟CEOSatyaNadella談到了關(guān)于更普遍地使用人類(lèi)語(yǔ)言與計(jì)算機(jī)設(shè)備交互的未來(lái)產(chǎn)業(yè)趨勢(shì)，他稱(chēng)之為“對(duì)話(huà)即平臺(tái)（Conversationasa Platform）”。
　　同時(shí)，他還宣布了幾項(xiàng)Bot項(xiàng)目，其中包括微軟Bot架構(gòu)（botframework）；四月份，F(xiàn)acebook發(fā)布了基于Bots的聊天機(jī)器人平臺(tái)MessengerPlatform；五月份，Google宣布嘗試開(kāi)發(fā)AI驅(qū)動(dòng)的Bots，并命名為GoogleAssistant。至此，Bots已被廣泛地視為一種新的用戶(hù)界面（UI），將從根本上改變?nèi)藱C(jī)交互的體驗(yàn)。
　　Apps和Web模型存在的問(wèn)題？
　　Apps平臺(tái)是由Apple公司多年前為智能手機(jī)開(kāi)發(fā)的，隨后，Google推出了GooglePlayStore。應(yīng)用平臺(tái)是基于一個(gè)統(tǒng)一的資源模型（模型中規(guī)定了手機(jī)滿(mǎn)足需求時(shí)所需的內(nèi)存和處理速度），但缺點(diǎn)是大量的應(yīng)用程序充斥著用戶(hù)的手機(jī)屏幕，盡管他們常使用的APPS不超過(guò)20個(gè)左右。
　　事實(shí)上，常用到的智能手機(jī)應(yīng)用的總數(shù)目實(shí)際正在下降?？偟膩?lái)說(shuō)，盡管數(shù)以百萬(wàn)計(jì)的應(yīng)用已被開(kāi)發(fā)上架，但其中的大多數(shù)是從未被使用的。這無(wú)疑會(huì)導(dǎo)致設(shè)備資源和用戶(hù)時(shí)間（用于下載、安裝和管理Apps）大量的浪費(fèi)。
　　Web模型在移動(dòng)界面上表現(xiàn)更為糟糕。通過(guò)移動(dòng)設(shè)備訪(fǎng)問(wèn)web服務(wù)的使用量較低。這種較低的使用率源于一個(gè)事實(shí)：很多流行網(wǎng)站的設(shè)計(jì)和優(yōu)化是為了迎合非移動(dòng)的PCs端，而PCs端通常都是典型的寬帶接入方式。
　　智能手機(jī)有限的帶寬和計(jì)算資源是許多Web服務(wù)的嚴(yán)重障礙。然而，大多數(shù)網(wǎng)站遵循傳統(tǒng)地以頁(yè)面為中心的信息配置范式，導(dǎo)致（非移動(dòng)端）瀏覽器暗中模仿閱讀器，這對(duì)移動(dòng)設(shè)備而言是次優(yōu)的。
　　結(jié)果：我們需要從頭開(kāi)始重設(shè)設(shè)計(jì)手機(jī)用戶(hù)界面，以便于實(shí)現(xiàn)移動(dòng)時(shí)代的全部潛力。
　　對(duì)話(huà)成為新興的移動(dòng)用戶(hù)界面范式
　　幸運(yùn)的是，在重新設(shè)計(jì)和部署中，一種新興的范式十分適合移動(dòng)終端。這種新的對(duì)話(huà)（即平臺(tái)范式）使得移動(dòng)用戶(hù)能夠發(fā)現(xiàn)、訪(fǎng)問(wèn)、交互日常生活中息息相關(guān)的信息與服務(wù)，從而使得有用的信息和服務(wù)能夠自然地整合到對(duì)話(huà)流中（conversationstreams）。
　　這一對(duì)話(huà)UI范式將導(dǎo)致一個(gè)新的生態(tài)形成，新生的生態(tài)要比之前的Web和Apps的生態(tài)系統(tǒng)具有更大的規(guī)模優(yōu)勢(shì)。這之所以成為可能，是因?yàn)樾畔a(chǎn)業(yè)正在進(jìn)入物理世界數(shù)字化以及連接這些鏈接到物理服務(wù)的新時(shí)代。這一物理的、交互的、以服務(wù)為中心的世界遠(yuǎn)超之前靜態(tài)網(wǎng)絡(luò)信息配置時(shí)代。
　　消息（Messaging）是該新的對(duì)話(huà)范式的核心，包括一系列的短文本、音頻和視頻信息。由于兼具異步和近實(shí)時(shí)兩種特性，消息變成了一個(gè)加速器，驅(qū)動(dòng)著數(shù)字對(duì)話(huà)的成長(zhǎng)。用戶(hù)無(wú)需再額外花費(fèi)進(jìn)行交互預(yù)先計(jì)劃的時(shí)間成本，且仍保留近實(shí)時(shí)對(duì)話(huà)的能力。
　　Bots作為智能對(duì)話(huà)接口代理
　　在對(duì)話(huà)交互中，相比于以對(duì)話(huà)為中心的移動(dòng)UI范式，更為重要的是所提供的各類(lèi)型智能服務(wù)。我們既有像siri、GoogleNow、Cortana和Alexa這類(lèi)的智能個(gè)人助理，又有可通過(guò)自動(dòng)對(duì)話(huà)接口獲取獲取的個(gè)體Bot。
　　新興對(duì)話(huà)范式的最終模式：用戶(hù)無(wú)需再下載Apps，AIBots利用語(yǔ)音和自然語(yǔ)言處理能力監(jiān)控并相應(yīng)消息UI，自動(dòng)地將必要的服務(wù)資源（可能存在云端）提供給用戶(hù)。
　　由于最近機(jī)器學(xué)習(xí)和AI技術(shù)的巨大進(jìn)步，AIbots的實(shí)現(xiàn)成為可能。這些進(jìn)步使得我們能夠?qū)⒃絹?lái)越多所關(guān)心的事物自動(dòng)化。過(guò)去幾年內(nèi)深度學(xué)習(xí)的發(fā)展，尤其是過(guò)去一年半發(fā)展起來(lái)的深度強(qiáng)化學(xué)習(xí)（Deepreinforcementlearning，RL），高效地利用了不斷增長(zhǎng)的數(shù)據(jù)和計(jì)算資源，促進(jìn)了我們?yōu)槭澜绛h(huán)境和與我們生活相關(guān)的應(yīng)用領(lǐng)域構(gòu)建計(jì)算模型的能力。
　　在機(jī)器學(xué)習(xí)中，RL具有鮮明的特點(diǎn)。你需要從用戶(hù)處得到反饋，也必須給予用戶(hù)獎(jiǎng)勵(lì)。就像在玩一盤(pán)暫時(shí)不知道最終獎(jiǎng)品的國(guó)際象棋比賽。你知道與人工智能的交互會(huì)導(dǎo)致任務(wù)完成的結(jié)果。例如，你知道最終的目的是預(yù)定航班，但是Bot僅會(huì)說(shuō)那些對(duì)于完成目標(biāo)有幫助的事情，即使用戶(hù)可能無(wú)法理解bot正在努力追求的最終目標(biāo)和獎(jiǎng)勵(lì)。
　　這些進(jìn)步使得自動(dòng)語(yǔ)音和自然語(yǔ)言理解變得觸手可及，最終使得我們能夠解決對(duì)話(huà)理解和很多領(lǐng)域的對(duì)話(huà)問(wèn)題。基于深度強(qiáng)化學(xué)習(xí)的A.I.Bots能夠理解所有領(lǐng)域的語(yǔ)義，還能夠擴(kuò)展到今日尚無(wú)法涉足的領(lǐng)域。
　　A.I.Bots將采用迭代和反饋回路進(jìn)行自我發(fā)展，并逐步趨近于完美。內(nèi)置在A.I.Bots的RL組件中的環(huán)境模式能夠自動(dòng)且精致地檢測(cè)、獲取、創(chuàng)造并積累新知識(shí)，使得我們可以開(kāi)發(fā)更多的智能服務(wù)、積累更多的經(jīng)驗(yàn)，尤其是預(yù)定、付款等行為導(dǎo)向型服務(wù)。
　　A.I.Bots的三種類(lèi)型
　　一般來(lái)說(shuō)，存在三種類(lèi)型的A.I.Bots。第一類(lèi)是搜索信息，因此它的目標(biāo)是明確的；第二類(lèi)同樣是搜索信息，但目標(biāo)不是立即明確的。例如你可能問(wèn)的是一個(gè)電影院的開(kāi)放時(shí)間，這不是說(shuō)你的目的只局限于答案，而是獲得答案是達(dá)到看電影這個(gè)最終目標(biāo)的一個(gè)步驟。對(duì)于第一種類(lèi)型，獎(jiǎng)勵(lì)是明確定義的；對(duì)于第二種類(lèi)型，獎(jiǎng)勵(lì)同樣也是相當(dāng)明確的（或者將會(huì)明確定義）。
　　當(dāng)使用強(qiáng)大的深度強(qiáng)化學(xué)習(xí)技術(shù)進(jìn)行構(gòu)建時(shí)，以上兩種Bots都有自己的、定義較為直接的獎(jiǎng)勵(lì)函數(shù)（強(qiáng)化學(xué)習(xí)的關(guān)鍵組件）。這兩類(lèi)Bots均可用于完成搜索信息或者完成預(yù)定機(jī)票、酒店等特定任務(wù)。
　　第三類(lèi)A.I.Bot是社交Bot，它們需要的指導(dǎo)最多，通常也被稱(chēng)為聊天Bot或閑聊Bot。該類(lèi)Bot的獎(jiǎng)賞函數(shù)（用于深度強(qiáng)化學(xué)習(xí)算法）–簡(jiǎn)單地稱(chēng)為“情感智能”–不能被輕易地量化。例如，可以向其進(jìn)行要求咨詢(xún)，或者是詢(xún)問(wèn)一些今天做什么之類(lèi)的含糊問(wèn)題。
　　處理社交Bot十分復(fù)雜的獎(jiǎng)勵(lì)函數(shù)需要擴(kuò)展能力，為了給該擴(kuò)展能力提供數(shù)學(xué)基礎(chǔ)，學(xué)術(shù)界以及從業(yè)者都需要深入調(diào)查。這里的目標(biāo)是將常用的RL算法（例如用于AlphaGo的關(guān)鍵學(xué)習(xí)方法）擴(kuò)展成更好的算法，以便利用信息理論上的和內(nèi)在動(dòng)機(jī)的獎(jiǎng)勵(lì)。
　　在轉(zhuǎn)向其他類(lèi)試圖完成任務(wù)的Bot對(duì)話(huà)之前，這類(lèi)獎(jiǎng)勵(lì)會(huì)抓取用戶(hù)在與Bot對(duì)話(huà)中獲取的情感滿(mǎn)意度。對(duì)于計(jì)算機(jī)科學(xué)家和電氣工程師而言，這是一片十分有前景的人工智能研究領(lǐng)域。