目前大模型技術(shù)已從單純的大語(yǔ)言模型（LLM）發(fā)展到圖像-語(yǔ)言多模態(tài)模型（VLM）乃 至圖像-語(yǔ)言-動(dòng)作多模態(tài)模型（VLA），其中圖像-語(yǔ)言-動(dòng)作多模態(tài)模型（VLA）的推出，實(shí) 現了數據與處理任務(wù)的躍升。從文本到圖像再到現實(shí)世界，大模型的數據模態(tài)逐漸豐富，數 據規模的數量J迅速增長(cháng)，大模型的應用場(chǎng)景和價(jià)值量也成比例擴張。

在人形機器人L域，AI 大模型將會(huì )從感知（語(yǔ)音、視覺(jué)）、決策、控制等多方面與人形 機器人結合，形成感知、決策、控制閉環(huán)，提升機器人的智能水平。

未來(lái)人形機器人大模型的方向將會(huì )是感知-決策-控制一體化的端到端通用大模型，集合 大規模數據集管理、云邊端一體計算架構、多模態(tài)感知與環(huán)境建模等技術(shù)。

1 微軟 ChatGPT

在機器人L域的應用主要體現在兩個(gè)方面：自然語(yǔ)言交互和自動(dòng)化決 策。在自然語(yǔ)言方面，機器人可以通過(guò) ChatGPT 來(lái)理解人類(lèi)的自然語(yǔ) 言指令，并根據指令進(jìn)行相應的動(dòng)作；在自動(dòng)化決策方面，機器人可以 通過(guò) ChatGPT 來(lái)生成任務(wù)方案，根據任務(wù)要求做出相應的決策。

柏林工業(yè)大學(xué)和 Google Robotics 團隊 PaLM-E

是大的多模態(tài)視覺(jué)語(yǔ)言模型，在 PaLM 模型基礎上，引入了具身化和 多模態(tài)概念，實(shí)現了指導現實(shí)世界機器人完成相應任務(wù)的功能。

2 谷歌 RT-2

個(gè)控制機器人的視覺(jué)-語(yǔ)言-動(dòng)作（Vision-Language-Action， VLA）模型，通過(guò)將 VLM 預訓練與機器人數據相結合，能夠端到端直接 輸出機器人的控制。

斯坦福大學(xué)李飛飛團隊 VoxPoser

智能系統 VoxPose 可以從大模型 LLM 和視覺(jué)語(yǔ)言模型 VLM 中提取可行 性和約束，以構建 3D 仿真環(huán)境中的值地圖，供運動(dòng)規劃器使用，用于 零樣本地合成機器人操縱任務(wù)的軌跡，從而實(shí)現在真實(shí)世界中的零樣 本機器人操縱。

3 Meta 和 CMU 團隊 RoboAgent

采用了大規模機器人數據集進(jìn)行訓練，考慮到機器人在現實(shí)世界中的 訓練和部署效率問(wèn)題，Meta 將數據集限制到了 7500 個(gè)操作軌跡中，并 基于此讓 RoboAgent 實(shí)現了 12 種不同的復雜技能，包括烘焙、拾取物 品、上茶、清潔廚房等任務(wù)，并能在 100 種未知場(chǎng)景中泛化應用。

4 英偉達 Eureka

該系統以 OpenAI 的 GPT-4 為基礎，本質(zhì)是一種由大模型驅動(dòng)的算法生 成工具，能訓練實(shí)體機器人執行例如“轉筆”、“開(kāi)抽屜”、“拿剪 刀”、“雙手互傳球”等多種復雜動(dòng)作。

5 英偉達 GR00T

目標是成為人形機器人通用大模型，旨在讓人形機器人理解自然語(yǔ)言文本、語(yǔ)音、視頻，以模仿人類(lèi)運動(dòng)，并與現實(shí)世界互動(dòng)。

6 阿里云機器人大模型

方案集成了通義千問(wèn)、通義萬(wàn)相等基礎模型及阿里云物聯(lián)網(wǎng)平臺，可賦予機器人知識庫問(wèn)答、工藝流程代碼生成、機械臂軌跡規劃、3D 目標 檢測和動(dòng)態(tài)環(huán)境理解等全方位能力，不僅可以大幅降低機器人開(kāi)發(fā)的 門(mén)檻，還讓機器人輕松完成靈活性更G的非標任務(wù)，推動(dòng)機器人在更廣 泛的應用場(chǎng)景落地。

7 華為盤(pán)古大模型

“盤(pán)古”大模型具備強大的語(yǔ)義理解、動(dòng)態(tài)規劃、多模態(tài)信號理解等能 力，將為人形機器人大模型的開(kāi)發(fā)提供智能化決策基礎。依托盤(pán)古大模 型的數據處理能力，可建立豐富且G質(zhì)量的人形機器人數據集，并且充分發(fā)揮盤(pán)古大模型的多模態(tài)能力，實(shí)現復雜任務(wù)場(chǎng)景下綜合感知和任 務(wù)分解，提升各類(lèi)泛化場(chǎng)景下的具身智能操作水平。