本项目 · 论文修订
Thinker-WM 论文更新至 v2
论文在共享动态骨干中建模 RGB、米制深度和机器人动作，并区分联合生成、视觉预测、当前观测策略与动作到视觉等模式。
日期是论文v2修订日，v1于10月13日提交；不同模式的条件和输出不能合并为一个同时接受全部模态的接口。
UBTECH Thinker Team / 独立收录记录
Thinker-WM
Thinker-WM 将视觉、深度和动作经各自编码器映射到共享动态 Transformer，再由各自解码器恢复输出。
技术资料
能做什么，使用时要注意什么。
输入与结果
- 提供什么
- 按模式提供视觉观测、任务条件或给定动作；A2V 使用干净动作条件。A2V 指以给定动作预测视觉结果；干净条件指动作保持给定值，不参与去噪生成。
- 得到什么
- 按模式生成 RGB、米制深度或机器人动作，可联合生成。RGB 是彩色画面；米制深度以米表示物体与相机的距离。
- 动作的作用
- 预测以动作为条件。
资料尚未确认
开放方式开源情况适用限制需要区分的对象已收录材料不足以判断，未确认不代表没有相应能力。
分类与用途
本站根据所引材料归纳的检索标签。标签可以重叠，不表示能力验证；未知不表示不支持。
相关动态
按事件时间展示已收录进展，非完整新闻列表。
来源与原文
按原始材料集中查阅；相同原句合并展示，对应资料与阅读日期一并保留。
Thinker-WM · 项目原始材料
核对原文摘录 · 3 段，支持 5 项资料
原阅读方向 / 一句话认识 / 输出什么
jointly models and generates RGB, metric depth, and robot action through a shared intermediate Unified Dynamics Transformer with modality-specific encoders and decoders.输入什么
RGB, depth, and action are modeled within the
same UDT, while a modality can either be generated from noise, provided as a
clean condition, or omitted from the computation.动作是否影响预测
clean action injected, prompt dropped本站整理来源中的声明，不核查厂商声明真伪，不评价模型优劣。了解收录方式 →