從斯坦福大學(xué)的 VIMA 機(jī)器人智能體，到谷歌 DeepMind 推出控制機(jī)器人的視覺 - 語言 - 動(dòng)作（VLA）的模型 RT-2，大模型加持的機(jī)器人研究備受關(guān)注。

當(dāng)前，自監(jiān)督和語言監(jiān)督的圖像模型已經(jīng)包含豐富的世界知識(shí)，這對(duì)于泛化來說非常重要，但圖像特征是二維的。我們知道，機(jī)器人任務(wù)通常需要對(duì)現(xiàn)實(shí)世界中三維物體的幾何形狀有所了解。

基于此，來自 MIT CSAIL 和 IAIFI 的研究者利用蒸餾特征場(chǎng)（Distilled Feature Field，DFF），將準(zhǔn)確的 3D 幾何圖形與來自 2D 基礎(chǔ)模型的豐富語義結(jié)合起來，讓機(jī)器人能夠利用 2D 基礎(chǔ)模型中豐富的視覺和語言先驗(yàn)，完成語言指導(dǎo)的操作。

論文地址：https://arxiv.org/abs/2308.07931

具體來說，該研究提出了一種用于 6-DOF 抓取和放置的小樣本學(xué)習(xí)方法，并利用強(qiáng)大的空間和語義先驗(yàn)泛化到未見過物體上。使用從視覺 - 語言模型 CLIP 中提取的特征，該研究提出了一種通過開放性的自然語言指令對(duì)新物體進(jìn)行操作，并展示了這種方法泛化到未見過的表達(dá)和新型物體的能力。

研究團(tuán)隊(duì)用一個(gè)講解視頻詳細(xì)介紹了 F3RM 方法的技術(shù)原理：