从一场正在发生的雨说起
设想你走进一条生成的街道，临时要求天色转暗、开始下雨，再让路边的人向你指路。接下来需要接上的，除了雨滴和湿润的路面，还有落雨声、人物的反应，以及你转进巷口以后场景怎样继续。
Google DeepMind 在 2026 年 10 月 27 日（北京时间 10 月 28 日）发布 Genie 4。官方把它定位为新一代实时交互世界模型：用户可以探索、修改正在生成的场景，环境声、音乐和交互对话也能随世界一起生成。目前它仍是面向少量可信测试者的研究预览。
这次发布还有一条容易被漂亮画面盖过去的线索：Gemini 持续参与模拟。发布文介绍，Gemini 家族的能力帮助构造世界的外观与行为，也帮助维持过程的连贯性；其中一些模型会观察生成中的画面、拆解目标并追踪完成情况。
世界模型已经能生成下一刻，为什么还需要另一个模型不断看着它？理解这项分工，能帮助我们看清实时生成怎样与多步任务接起来。
一次提示，怎样接上已经发生的事？
在官方介绍的交互中，键盘和相机控制决定用户怎样探索，文本可以修改天气、移动镜头、加入人物或物体。初始世界还可以从文本和图像提示出发。关键是这些修改发生在场景继续展开的过程中，新的要求必须与已有情境接起来。
仍用街道作例子：如果你只说“开始下雨”，合理的接续应当在同一条街上逐步出现雨势，而不是跳到一条完全不同的街道。如果你正在屋檐下，雨落在外面的路面和屋檐上，与你直接走进雨中，应当带来不同的观察。
发布文说，Gemini 会结合周围场景调整用户提示；即使用户没有继续输入，它也会监测并引导场景，使世界连贯推进。这说明系统处理的不只是最近一条文字命令，还包括这条命令应该怎样落进当前情境。
Genie 4 模型页目前给出的时长是几分钟连续交互。观察这段时间里多次操作能否接续起来，才看得出实时生成在场景维护上的表现。
对于读者，更有用的观察是：改变要求以后，哪些东西应该变化，哪些东西应该保留？天气可以改变，人物刚才站在哪里、道路通往哪里，却需要延续。交互越自由，模型就越需要处理这两类信息之间的关系。
同一场雨同时涉及画面、环境声和人物反应，紫色波纹帮助呈现这些声音关系。
声音增加的是一组需要共同成立的关系
Genie 4 是 DeepMind 首个原生生成音频的实时世界模型。官方介绍的声音包含环境声、音乐以及会随输入和世界事件调整的交互对话，发布页也说明示例中的伴随声音由 Genie 4 直接产生。
对观看者而言，这意味着生成过程同时承担了“看见什么”和“听见什么”的连贯性要求。脚步落在积水里，听到的声音应当与落点有关；人走远了，声源与画面位置的关系也应当继续合理。因此，声音与图像需要共同指向同一个事件。
例如，在这条假设街道里，一名人物正在说话。你让他讲完指路的话，再转身离开。镜头转开以后，对话可以继续，但说话人的位置、是否仍在发声，以及声音来自哪里，应当与正在发生的事件接得上。音画之间的关系一旦错位，听起来自然的对白也会破坏整个场景的可信度。
音频让世界更容易被感知，也把一致性问题扩展到了两种感知。官方模型页仍把实时音频准确性列为研究和改进的问题。检验它时，重要的是同一事件的听觉与视觉后果能否对齐。
Gemini 为什么要持续观察，而不只写一次提示？
官方说明中有几项不同的角色。Gemini Omni 为模拟的现实外观和行为提供基础；其他 Gemini 模型参与复杂推理，帮助维持连贯性。在多步事件的介绍里，发布文具体点名 Gemini 3.8 Flash 作为回路中的引导智能体。
Gemini 3.8 Flash 的工作过程也说得比较明确：持续观察场景，把目标拆成步骤，检查新到的画面以跟踪进展，并判断每一步是否成功。当世界变化或用户介入时，它会调整计划。于是，提示不再只是开始时的一份剧本，后续观察也会影响接下来怎样引导模拟。
这种做法有一个直观理由：一份初始计划描述的是“应该发生什么”，生成中的画面反映的是“目前出现了什么”。两者可能逐渐分开。如果仍按原计划盲目向前，上一件事尚未完成，下一件事就可能提前发生。持续观察提供了在过程中重新对齐目标与现状的机会。
不妨假设，要让角色先拿起杯子，再放到架子上。第二步应该依赖第一步已经完成；如果杯子还在桌上，仅仅输入“把它放到架子上”就省略了关键前提。观察者需要看清当前状态，再决定继续原步骤、等待，还是改写后续指令。
这个回路要跟踪的，还包括任务是否真正完成。不妨设想，杯子已经立在架子边缘，接下来的画面里却逐渐倾斜、最终滑落。若观察者在杯子刚碰到架子时便判断“已经放稳”，下一步计划就会建立在过早的完成判断上。持续观察的作用，是把眼前的状态与任务要求的完成条件对齐。
观察进展、组织步骤、继续引导，再从新画面核对结果：规划与场景生成通过反馈接在一起。
怎样读懂机器人下棋的演示？
官方还介绍了一项更早期的探索：把 Gemini 4 Argon、Genie 4 与 Gemini Robotics 的研究放在一起。发布文中的示例，是模拟 Apptronik 的 Apollo 人形机器人下跳棋（checkers）；Argon 把用户要求拆成步骤，这些步骤作为文本说明穿插进 Genie 4 正在进行的生成过程。
这项示例值得关注的地方，是语言中的任务步骤可以继续影响模拟的展开。我们可以顺着官方说明区分三件事：用户给出任务，Argon 组织步骤，Genie 4 接受穿插的文本说明并生成场景。画面中的“机器人在动”，呈现的是这一协作过程的模拟结果。
如果继续问它能不能用于训练机器人，问题就需要往前走一步。模型生成了与任务相符的画面，是否还提供可用于控制的状态、动作接口、奖励和可复现的重置方式？一个动作失败时，环境会不会保留失败后果？训练出的策略到了真实机器人上，又能保持多少效果？这些都需要相应实验来回答。
任务分解说明规划能力如何参与；连续画面说明模拟怎样接续；训练与迁移实验则要检验模拟经验是否真的帮助智能体。顺着这个过程读演示，才能看清它解决了哪一段，以及下一步需要补什么证据。
官方把机器人列为早期研究方向，把为机器人和智能体创造训练环境列为潜在用途。要把这条路线推进到真机，还需要把生成场景与控制任务接起来，再检验模拟中学到的策略能否在实际机器人上延续效果。
“混合世界模型”想把什么接在一起？
发布文把未来方向称为混合世界模型：结合代码与语言模型的逻辑、结构化推理，以及像素级模拟丰富的感官表示。Gemini 与 Genie 更紧密的结合，是朝这个方向迈出的早期一步。
这两种能力各有侧重。结构化步骤表达“先完成甲，再进行乙”，组织的是任务关系；生成场景把当下的外观、声音、动作和反应接续出来，提供的是可感知的过程。把两者接起来，需要让计划持续接触生成中的实际进展。
发布文已经披露了一个可供分析的交换方式：Gemini 观察生成画面，拆分目标，再将步骤以文本说明穿插给 Genie 4。仅就这条已公开描述的通道，世界的一部分状态先呈现为画面，观察者据此形成判断，再把下一步要求写成语言。每一次往返，都要经过这两种表达。
观察这一侧存在明确约束：两种状态如果在引导者可获得的画面中无法区分，仅靠这些画面也就无法可靠判别。例如，杯子被手掌完全遮住时，“仍被握着”和“已经松开但尚未露出来”可能呈现相同外观。观察者可以结合前后画面和任务经验缩小可能性；若关键差别始终没有进入观察，更多推理也只能在这些可能性之间作判断。
指令这一侧也要经过一次转换。“把杯子放在架子上”传达了目标，具体落点、轨迹与接触过程仍要在生成中实现。文字完全可以写出精确数值；要让这些数值成为可靠控制，还需要约定坐标、执行语义和反馈校核。指令写得具体，与世界准确执行了指令，是需要接起来的两件事。
由此可以判断：在这条已披露的通道上，Gemini 的直接干预处在任务语义层；动作细节由 Genie 的生成过程落实，执行结果再交给视觉判断。多步情节因此获得了持续引导，而精确的状态约束需要额外的约定和校验。要把同样的协作方式用于精确放置或接触判断，就必须进一步解决状态如何表达、约束如何落实、结果如何校验。
这也解释了它对创作预演的吸引力。创作者可以快速改变镜头、人物和情节，看到意图怎样展开；工程验证则需要把“画面看起来对了”进一步变成“指定状态与约束确实满足了”。两类用途对接口的要求在这里分开。
官方测试者反馈已经展示出前一类价值：影视预演、把历史照片变成可探索场景、交互体验概念设计，以及快速情境生成。它们让抽象想法较快地成为可感知、可修改的过程，也给更深入的状态控制研究提供了具体问题。
回到原处，那个杯子还在吗？
官方对当前限制的描述相当具体：模拟时间变长、多次复杂文本编辑或在场景中导航后，视觉细节与物体持续性可能漂移。模型页还列出多智能体交互、真实地点的准确还原、文字显示和音频准确性等问题。
“物体持续性”可以用一个朴素问题理解：桌上放着红杯子，你走到隔壁，再回到同一张桌前，杯子应当仍在那里。这个检查关心前后两次观察是否仍能指向同一个物体、同一处位置，以及中间有没有足以解释变化的事件。
观察时可以有意识地保留起点，分别检查离开再返回、连续编辑和多步任务后的状态。每次只改变少量条件，并记录经过的路径与输入，才比较容易分清究竟是用户要求造成了变化，还是模拟没有保持一致。
设想离开房间再返回：红杯子的去向，应当能从这段经历里找到解释。
碰撞、气流或人物动作看起来可信，说明某些画面关系具有说服力。要用这些结果判断力、轨迹或风险，就需要参照条件、可重复过程和误差检验，把感官上的真实感落实到可以核对的量上。
官方说明，展示材料是经过缩短、用于说明的实时交互录像。它们适合帮助读者理解操作方式；连续会话的稳定时长和任务成功率，则需要完整记录与系统评测来回答。
眼下的开放阶段，与值得继续追问的事
截至 2026 年 10 月 28 日，官方称 Genie 4 已向有限的可信测试者推出研究预览。Google AI Ultra 用户通过 Project Genie 使用，以及 Gemini API、Google AI Studio 早期合作伙伴的接入，仍标为即将推出。发布页已提供候补名单入口。
从现有展示看，创作预演的直接价值是边看边改：无需把每个镜头的全部细节预先写死，就能探索场景怎样展开。对于智能体研究，更值得继续追问的是，持续生成与引导能否进一步提供稳定状态、可控干预和可复核的任务结果。
Genie 4 把感官世界的生成与语言模型的过程引导接到了一起。它让世界更容易被实时改写，也让规划步骤能够在生成场景中展开。从可信的预演走向可靠的环境，关键仍是让目标、观察与持续状态在长任务中对齐。
本文的介绍与分析以目前公开的 Genie 4 官方文档为依据。
原文与来源
- Google DeepMind：Genie 4 发布文（2026-10-27） ↗
- Google：Genie 4 研究预览与接入阶段说明 ↗
- Google DeepMind：Genie 4 官方模型页与限制说明 ↗
图片：世界模型图谱 · AI 生成概念插图