物理生成式AI駕駛平臺Waabi在官網(wǎng)宣布獲得2億美元，本次由英偉達(dá)（NVIDIA）、沃爾沃、保時(shí)捷、Uber、Khosla等全球知名企業(yè)投資。

Waabi僅成立3年便獲得4級自主駕駛權(quán)限，主要是借助了ChatGPT等生成式AI風(fēng)口，將其融合在自動駕駛中突破了很多重大技術(shù)難點(diǎn)，將在2025年推出無人干預(yù)的全自動化運(yùn)輸卡車。

Waabi開發(fā)了一個端到端的大模型Copilot4D，可以模擬人類的智力、推理和駕駛習(xí)慣。相比傳統(tǒng)的自動化駕駛方案所需要的訓(xùn)練數(shù)據(jù)和算力資源更少，在安全、環(huán)境偵測方面卻有巨大提升，這也是全球?yàn)閿?shù)不多將生成式AI與自動化駕駛相結(jié)合的案例之一。

其實(shí)，Waabi起初是一家自動化駕駛平臺，但看到全球生成式AI風(fēng)口越刮越大并且已經(jīng)進(jìn)入商業(yè)化落地階段。所以，在今年3月18日官宣與英偉達(dá)進(jìn)行深度技術(shù)合作，將NVIDIA DRIVE Thor集成在自動化駕駛技術(shù)中，同時(shí)轉(zhuǎn)型成為物理生成式AI駕駛平臺。

NVIDIA DRIVE Thor是一個包含從底層硬件GPU、開發(fā)層SDK再到應(yīng)用層輔助駕駛、自動化駕駛的全套開發(fā)平臺。

其每秒可提供高達(dá)254萬億次運(yùn)算，有12個外部攝像頭、3個內(nèi)部攝像頭、9個雷達(dá)、12個超聲波和1個前置激光雷達(dá)等，是全球應(yīng)用最多的自動化駕駛基礎(chǔ)開發(fā)套件之一。

NVIDIA DRIVE Thor體驗(yàn)地址：
https://www.nvidia.com/en-us/self-driving-cars/in-vehicle-computing/

除了借助英偉達(dá)強(qiáng)大的開發(fā)生態(tài)之外，Waabi與多倫多大學(xué)的研究人員聯(lián)合開發(fā)了，通過離散擴(kuò)散學(xué)習(xí)自動駕駛的無監(jiān)督世界模型——Copilot4D。

Copilot4D是一個專為自動駕駛領(lǐng)域開發(fā)的大模型，其核心技術(shù)是將觀察標(biāo)記化，通過向量量化變分自編碼器（VQVAE）將連續(xù)的傳感器數(shù)據(jù)，如激光雷達(dá)點(diǎn)云，轉(zhuǎn)換為離散的標(biāo)記。

這種轉(zhuǎn)換不僅簡化了數(shù)據(jù)表示，VQVAE也能將輸入數(shù)據(jù)映射到有限的離散潛在空間中，有效地將高維、連續(xù)的數(shù)據(jù)壓縮為低維、離散的表示，從而降低了模型的復(fù)雜度并使得數(shù)據(jù)可以被高效地解碼和去噪。

在這些離散標(biāo)記的基礎(chǔ)上，Copilot4D采用了一種新穎的離散擴(kuò)散模型來預(yù)測未來的觀察結(jié)果，通過在數(shù)據(jù)中逐步引入噪聲，然后學(xué)習(xí)逆向過程以去除噪聲并重構(gòu)數(shù)據(jù)。

與傳統(tǒng)的擴(kuò)散模型相比，離散擴(kuò)散模型專門針對離散數(shù)據(jù)設(shè)計(jì)，能夠更加高效地處理經(jīng)過標(biāo)記化的數(shù)據(jù)。

為了捕捉環(huán)境的動態(tài)變化，Copilot4D引入了時(shí)空變換器，基于Transformer架構(gòu)在空間和時(shí)間維度上交替應(yīng)用注意力機(jī)制。這種設(shè)計(jì)使得模型不僅能夠理解車輛在道路上的運(yùn)動模式和行人的行走路徑，還能夠在不同時(shí)間步驟的標(biāo)記之間建立聯(lián)系，生成連貫的未來環(huán)境預(yù)測。

在生成過程中，Copilot4D使用了分類器自由擴(kuò)散引導(dǎo)（Classifier-Free Diffusion Guidance, 簡稱CFG）技術(shù)，通過調(diào)整模型的輸出分布來增強(qiáng)生成數(shù)據(jù)的質(zhì)量和多樣性。

CFG可利用過去的代理歷史，例如，過去的觀察和行動，來引導(dǎo)未來的預(yù)測，從而顯著提高了環(huán)境的預(yù)測準(zhǔn)確性和可靠性。

Copilot4D在多個自動駕駛數(shù)據(jù)集上NuScenes、KITTI Odometry和Argoverse2進(jìn)行了評測。在1秒內(nèi)的預(yù)測中，Copilot4D相比之前最佳方法將Chamfer距離（一種衡量點(diǎn)云間相似度的指標(biāo)）降低了65%—75%。

而在3秒預(yù)測時(shí)也降低了超過50%，整體性能非常強(qiáng)悍，這也是被Waabi應(yīng)用在自動化卡車駕駛中的主要原因之一。

物理生成式AI

在獲得巨額融資后，Waabi聯(lián)合創(chuàng)始人兼CEO Raquel Urtasun發(fā)表了一篇長文，介紹了物理世界中的生成式AI。

Raquel介紹技術(shù)

她表示，近兩年生成式AI取得了令人驚嘆的進(jìn)步，ChatGPT通過了法律專業(yè)律師考試、專業(yè)醫(yī)師考試，Midjourney生成的圖片可以和專業(yè)設(shè)計(jì)師相媲美，Suno生成的音樂來頂級音樂人都贊不絕口。

但這些成就都是在虛擬世界完成的，我們該如何將其引入到現(xiàn)實(shí)的物理世界中呢？但引入的過程并不容易，首先，物理世界對安全的要求極高，幾乎不能出現(xiàn)半點(diǎn)錯誤，例如，在自動化駕駛卡車中如果大模型對環(huán)境的判斷、預(yù)測不準(zhǔn)確，很容易出現(xiàn)嚴(yán)重的車禍?zhǔn)鹿省?/p>

其次，移動的卡車受限于環(huán)境，無法像超級算力矩陣那樣提供源源不斷的算力，只能在有限的空間內(nèi)來完成部署和使用，這就對模型的性能有著極高的要求。

為了解決這些難題，Waabi開發(fā)了適用于物理世界的大模型，這是一種前所未有的突破。它不僅能感知這個真實(shí)的物理世界，創(chuàng)建可解釋的安全規(guī)則，還能以人類的方式進(jìn)行推理，找出最佳的駕駛解決方案。

長距離的大型卡車駕駛是一個枯燥，容易讓人疲憊的職業(yè)，同時(shí)隨著全球勞動力的下降，有安全經(jīng)驗(yàn)的卡車司機(jī)正在逐年下降。

Waabi希望通過將生成式AI引入到自動化駕駛中，打造一批安全、可靠的“數(shù)字駕駛員”幫助企業(yè)解決運(yùn)輸鏈難題，同時(shí)降低勞動成本。

本文素材來源Waabi官網(wǎng)、Copilot4D論文，如有侵權(quán)請聯(lián)系刪除

END

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 腦洞大開！用大模型開卡車，還融了2億美元