loading

Loading

探索与发现

首页 AI 前沿

世界模型被吹了两年,真正难的不是生成视频

分类:AI 前沿
字数: (1474)
阅读: (7)
0
摘要:看世界模型的演示视频,很容易产生“就差一点”的错觉。可一旦你试图在里面做一个动作,问题就全暴露了。生成一段像世界的视频,和拥有一个能交互的世界,是两件难度完全不同的事。

过去两年,每隔一段时间就会有一个世界模型 demo 刷屏:镜头推进、物体遮挡、光影变化,看起来几乎以假乱真。评论区最常见的两句话是“AGI 快来了”和“游戏行业要完了”。

我一开始也觉得很震撼,直到我试着问了一个很扫兴的问题:如果我在这个画面里往前走一步,会发生什么?

视频模型在猜下一帧,世界模型要记住状态

视频生成模型做的事情,本质上是根据前面的帧,猜下一帧长什么样。它很擅长让画面看起来连贯,但它不需要真正理解画面里有什么。

世界模型的要求不一样。它得知道:桌子上的杯子还在,只是被挡住了;门推开之后,门后的空间应该是什么样;我把球扔出去,它会沿着什么轨迹落下。

这些要求听起来像常识,做起来却很难。因为视频模型可以每一帧重新生成,而世界模型必须维护一个持续变化的状态。前者骗过眼睛就行,后者要经得起交互。

一交互,问题就藏不住了

演示视频通常只展示一条精心挑选的轨迹。镜头往前推,画面很美;镜头绕着物体转一圈,也没有穿帮。

但用户不会这么乖。用户会突然转身,会把杯子拿起来,会打开一扇本来关着的门,会问“如果我把它推到桌子边缘会怎样”。

这时候,模型需要根据动作更新整个世界,而不是重新生成一段看起来合理的视频。很多 demo 在这里就露馅了:物体消失、物理规律不对、换个视角房间布局全变了。

这不是模型不够大,而是任务定义不同。视频生成的目标是“像”,世界模型的目标是“对”。

数据瓶颈不是“视频不够多”

互联网上的视频很多,但大部分是被动观察:人拿着相机拍,镜头怎么动、物体怎么被操作,模型并不知道。

要学习“动作导致什么结果”,需要的是动作和结果配对的数据。这类数据主要来自机器人、游戏引擎和仿真环境,采集成本高,覆盖的场景也窄。

合成数据可以补一部分,但仿真器本身就有偏差。你在仿真里训练出来的世界,到了真实世界可能完全不成立。更麻烦的是,合成数据的错误很难被发现,因为生成器和评测者可能共享同一个偏差。

所以缺的不是像素,是“我做了什么、世界怎么变”的配对经验。

评测没有共识

现在很多世界模型论文的评测,考的还是画面质量:清晰度、连贯性、像不像真实视频。

这些指标有用,但它们回答不了最关键的问题:这个世界能不能被操作?状态能不能保持?因果关系对不对?

要评这些,需要交互式 benchmark:给模型一个初始状态,让测试者执行一系列动作,然后检查世界是否按照合理的规律演化。这种评测成本高、难以复现,也不像 FVD 那样能画出一条漂亮的曲线。

结果就是,大家继续比 demo,继续挑最好看的三十秒。观众看到的和模型真实的能力之间,隔着一层剪辑。

先落地的场景,可能很无聊

我不觉得世界模型会先以“通用虚拟世界”的形态落地。更现实的路径是工具:

游戏和影视的前期预览,导演可以在一个粗略的世界里试镜头;自动驾驶和机器人用仿真环境做长尾场景;相机和传感器厂商用生成数据补极端工况;创作者用可控的 3D 场景做短视频。

这些场景的共同点是,有人类在中间做判断,模型不需要对整个世界负责。它只要在某个环节足够好用,就能卖出去。

先卖铲子,再谈世界。这个顺序大概率不会变。

我的判断

世界模型会继续进步,视频生成也会越来越真。但“世界”这个词正在被用得太宽。一个能生成逼真视频的模型,不一定理解物体、动作和因果;一个能在固定视角下保持连贯的模型,换个视角可能就散了。

下次再看到刷屏的 demo,我会先问三个问题:能交互吗?状态能保持多久?换个视角还成立吗?

如果这三个问题都答不上来,那它可能只是一个更好的视频生成器,还不是世界模型。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/ai-frontier/world-models-beyond-video.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

1 / 1
预览图