热潮推动了大量语言模型的生产力前置。据《华尔街日报》E星体育，虽然谷歌早在两年前就做出了类似ChatGPT的
作为一种多模态具身视觉语言模型 (VLM)，PaLM-E能将视觉和语言集成到机器人控制中。谷歌和柏林工业大学称，PaLM-E是迄今为止人类开发的最大规模VLM，其可以在不需要再训练的情况下执行各种任务。此外，通过PaLM-540B语言模型与ViT-22B视觉Transformer模型相结合，PaLM-E最终的参数量高达5620亿(GPT-3 的参数量为1750亿)，这是全球已知的最大视觉语言模型。
“我们观察到诸如多模态思维链推理(允许模型分析包括语言和视觉信息的一系列输入)，只接受单图像提示训练的多图像推理(使用多个图像作为输入来做出推理或预测)等涌现能力。”论文的第一作者、谷歌AI研究员Danny Driess在推特上写道。
据谷歌介绍，当接到“把抽屉里的薯片拿过来”等较为高级的命令时，PaLM-E可以为一个有“手臂”的移动平台(由谷歌Robotics公司开发)生成行动计划E星新闻，E星体育并自行执行任务。能够顺利地从十多个开放式抽屉中找到米饼，拿给研究人员。
在另外一个案例中，研究人员还要求机器人“将所有色块按颜色堆放到不同角落”的指令，以及将“绿块推到乌龟旁边”的指令，即便机器人之前没有见过这只乌龟摆件，也能顺利地完成任务。
在图像识别的案例中，PaLM-E识别图像中的已故篮球明星科比·布莱恩特，并可以生成关于他的文本信息，例如他赢得了多少次NBA总冠军戒指。研究人员写道，PaLM-E也是一种“有效的视觉语言模型”。
具体来讲，PaLM-E通过分析来自机器人摄像头的数据来实现对高级命令的执行，而无需对场景进行预处理。这消除了人类对数据进行预处理或注释的需要，并允许更自主的机器人控制E星体育。
此外，PaLM-E也非常具有弹性，能根据所处的具体环境做出反应。例如，PaLM-E模型可以引导机器人从厨房取出一个薯片袋E星体育，并且将PaLM-E集成到控制循环中，它可以抵抗任务执行期间可能发生的中断。在谷歌发布的视频中，一名研究人员从机器人手中抓起薯片并进行移动，但最终机器人可以找到这些薯片并再次抓起。
据谷歌和柏林工业大学的合著论文介绍，PaLM-E是一个仅有解码器的大型语言模型(LLM)，在给定前缀(prefix)或提示(prompt)下，能够以自回归方式生成文本补全。其训练数据为包含视觉、连续状态估计和文本输入编码的多模式语句。
由于PaLM-E是基于语言模型，所以它会连续观察图像或传感器数据，并将其编码成与语言符号大小相同的向量序列。这使得模型能够以处理语言的相同方式“理解”感觉信息。
除了RT-1机器人外，PaLM-E还借鉴了谷歌之前在VIT-22B上的工作，后者是谷歌在上月公布的一款视觉语言模型。VIT-22B已经在各种视觉任务上进行了训练，例如图像分类、目标检测、语义分割和图像字幕等。
除了机器人技术外，谷歌的研究人员还观察到了几个有趣的现象。首先，PaLM-E在实验案例中表现出了“正向转移(positive transfer)”，这意味着它可以将所学到的知识和技能从一个任务转移到另一个任务，因此与执行单个任务的机器人模型相比，性能有显著的提高。
此外，谷歌研究人员还观察了PaLM-E大规模参数下的一个趋势：“语言模型规模越大，在进行视觉语言和机器人任务训练时，它就越能保持语言能力——从参数规模上来讲，5620亿参数的PaLM-E几乎拥有所有语言能力。”
谷歌研究人员计划未来将探索PaLM-E在现实世界中有更多应用，例如家庭自动化或工业机器人，E星体育也希望PaLM-E能够激发更多关于多模态AI的应用。
《每日经济新闻》记者还注意到，作为AI大战的老对手，微软也已经在“图像+语言模型”的路数上有所布局。在今年2月底发表的研究中，就展现了如何使用ChatGPT为大疆Tello无人机编写“找饮料”程序的案例。
最近发布的“用于机器人的ChatGPT(ChatGPT for Robotics)”论文，就尝试以类似于谷歌PaLM-E的方式将视觉数据和大型语言模型结合起来，对机器人进行控制。