Google DeepMind 公布 Genie 模型，可生成可交互的虚拟环境

GoogleDeepMind公布Genie模型，可生成可交互的虚拟环境GoogleDeepMind今天介绍了Genie，一种根据互联网视频训练的基础世界模型，可以从合成图像、照片甚至草图生成无数种可玩（动作可控）的世界。Genie可以用它以前从未见过的图像来作为输入，使人们能够与生成的虚拟世界进行交互。它由一个时空视频标记器、一个自回归动力学模型和一个简单且可扩展的潜在行动模型组成。该模型可根据没有任何标注数据的公开互联网视频的大型数据集进行训练。该模型当前专注于2D平台游戏和机器人的视频，但其方法是通用的，并且可以扩展到任何类型的领域和更大的数据集。团队还通过使用Google的RT-1机器人的摄像头视频数据训练模型，表明Genie能够学习与现实世界一致的动作空间。这可能产生一个现实世界模拟器，以便训练未来的通用智能体。——,

Genie：一种新的生成式交互环境模型，能通过无监督学习，用未标注的互联网视频数据训练而成。

：一种新的生成式交互环境模型，能通过无监督学习，用未标注的互联网视频数据训练而成。Genie具有11B参数，能将文本、合成图像、照片甚至手绘草图转换为可交互的虚拟世界。这一模型打破了传统世界模型需要特定领域数据和动作标签的局限，通过学习潜动作空间，实现了对生成环境的逐帧控制。研究表明，Genie不仅能够创造多样的互动体验，还能够训练未来的通用智能体，通过对未见过的视频进行模仿学习，预示着人工智能领域迈向开放式学习和创造无限数据的新时代。

谷歌DeepMind推出Genie模型：110亿参数、可基于图片生成2D游戏

谷歌DeepMind推出Genie模型：110亿参数、可基于图片生成2D游戏另有一个动态模型，用于在给定潜在动作和过去帧token的情况下，预测视频的下一帧。这三个组件共同协作，使得Genie能够生成具有高度交互性和可控性的虚拟世界。Genie通过了网络上超过20万小时的2D游戏视频训练，目前只是一个研究预览版，这些游戏更像是2D平台游戏，而不是完全的VR游戏。此外，它能生成图像和其他资产，将你的草图变成一个完全实现的开放世界，然后根据玩家提供的操作预测下一个像素帧，Genie还可以应用于设计相关的创作领域，进一步拓宽了创作者的想象空间。...PC版：https://www.cnbeta.com.tw/articles/soft/1421189.htm手机版：https://m.cnbeta.com.tw/view/1421189.htm