【Figure首发OpenAI大模型加持的机器人demo】

【Figure首发OpenAI大模型加持的机器人demo】3月14日，明星机器人创业公司Figure发布了自己第一个OpenAI大模型加持的机器人demo。虽然只用到了一个神经网络，但却可以为听从人类的命令，递给人类#苹果、将黑色塑料袋收拾进框子里、将杯子和盘子归置放在沥水架上。Figure创始人BrettAdcock表示，视频中Figure01展示了端到端神经网络框架下与人类的对话，没有任何远程操作。并且，机器人的速度有了显著的提升，开始接近人类的速度。

Visual ChatGPT 是一个结合了视觉基础模型的系统，使用户能够超越语言格式与 ChatGPT 交互，解决复杂的视觉任务

是一个结合了视觉基础模型的系统，使用户能够超越语言格式与ChatGPT交互，解决复杂的视觉任务。ChatGPT正在吸引跨领域的兴趣，因为它提供了一种语言界面，具有跨多个领域的卓越对话能力和推理能力。然而，由于ChatGPT是用语言训练的，它目前无法处理或生成来自视觉世界的图像。同时，VisualFoundationModels，如VisualTransformers或StableDiffusion，虽然表现出强大的视觉理解和生成能力，但它们只是特定任务的专家，具有一轮固定的输入和输出。为此，我们构建了一个名为\textbf{VisualChatGPT}的系统，其中包含不同的视觉基础模型，使用户能够通过以下方式与ChatGPT进行交互：1）不仅发送和接收语言，还发送和接收图像2）提供复杂的视觉问题或视觉编辑指令，需要多个AI模型进行多步骤协作。3)提供反馈并要求更正结果。