我入行AI训练师,说实话,刚开始的时候我对这个职位的理解非常模糊。
标注数据、写prompt、做RLHF反馈、评估模型输出质量……每天的工作看起来像是在做一些零散的事情,很难说清楚自己到底在训练一个什么样的东西,又在朝哪个方向走。
直到世界模型这个概念开始密集出现在我的视野里。那是我**次真切感受到,AI正在发生一些本质性的变化。不是更聪明了,不是更快了,而是开始理解世界了。
这篇文章,我想从一个AI训练师的视角,聊聊世界模型到底是什么,它和我们已经熟悉的大语言模型、多模态模型之间是什么关系,以及这场范式转移对于我们这些在AI训练一线工作的人意味着什么。
LLM让我们误解了“智能”
在聊世界模型之前,我想先说说大语言模型给我们带来的一个重要误解。
ChatGPT出现之后,很多人——包括我自己——有一段时间真的以为AGI快来了。GPT-4能通过律师资格考试,能写出媲美人类的文章,能解释量子力学,能帮你调试代码……这一系列能力叠加在一起,很难不让人产生一种错觉:这个东西已经很”懂”了。
但在实际工作中,你会慢慢发现一些奇怪的缝隙。
我做RLHF标注的时候,有一次给模型出了一道很简单的空间推理题:桌子上有一个苹果,苹果旁边有一本书,书的左边是一杯水。问:苹果和水的相对位置是什么?
模型给出的答案不稳定,有时候对,有时候错,而且你追问它为什么这么判断,它能给出一套听起来完全合理的解释——无论答案是对是错。
这让我意识到一件事:LLM掌握的是”关于世界的语言描述”,而不是”世界本身的运作规律”。
这个区别听起来很微妙,但其实非常根本。
打一个比方:想象一个人从来没有离开过图书馆,他读遍了所有关于游泳的书籍,能背诵蝶泳的技术要领,能分析菲尔普斯的动作细节,能写出一篇专业的游泳教学文章。但是,把他扔进游泳池,他大概率会沉下去。
LLM就是这个图书馆里的人。
它的训练目标是:给定前面所有的词,预测下一个词的概率分布。用数学语言说就是**化P(token_t|所有之前的token)。这个目标让它学会了人类语言的统计模式,但语言的统计模式不等于世界的因果规律。
火焰是热的,这句话在训练数据里出现了无数次,所以LLM”知道”火焰是热的。但它不知道的是:如果你把手伸向火焰,温度会按照什么样的物理规律传导到你的皮肤,皮肤的蛋白质会在多少摄氏度开始变性,这个过程是可逆还是不可逆的。
这些”知道”背后的知道为什么,LLM一直缺席。
多模态让AI“看见了”,但还没有“经历”
多模态模型的出现是一个重要的进步。
当GPT-4V、Gemini这类模型能够理解图片的时候,我们获得了一个新的能力维度:AI开始能够感知视觉世界了。OCR、图像描述、视觉问答……这些能力在很多实际应用场景里有巨大的价值。
但多模态模型的本质,是在视觉特征和语言描述之间建立映射关系。
它学习的是:这种视觉模式,对应这种语言描述。一张猫的图片,对应”猫”这个词以及关于猫的所有语言知识。这种对应关系学习得越精准,模型的多模态能力就越强。
问题在于,这依然是一种静态的、表面的理解。
举个例子:给多模态模型看一张台球桌的照片,再给它看一张球杆击球瞬间的照片,它能告诉你这是在打台球,能描述球的颜色和位置。但如果你问它:球被击中之后会往哪里运动,会不会碰到边框反弹,最终停在哪里——这些问题涉及到物理轨迹的预测,多模态模型的表现就会变得非常不稳定。
原因很简单:多模态模型看过无数张台球的图片,但它从来没有在台球的世界里”行动”过。
看过和经历过,是两种本质上不同的智能来源。
人类之所以有直觉,有物理常识,是因为我们从婴儿时期就在真实世界里摸爬滚打,通过无数次的行动和反馈,在大脑里建立起了一套世界的运作模型。当你看到一个杯子放在桌子边缘,你本能地会感到担忧——这种直觉不是从书上学来的,而是从你某次不小心打碎杯子的经历里涌现的。
LLM没有经历过,多模态模型依然没有经历过。
而世界模型,正是要解决这个”经历”的缺失。
世界模型:AI**次开始“预测世界”
世界模型这个概念并不新。
2018年,AI研究者David Ha和深度学习先驱Jürgen Schmidhuber发表了一篇名为《World Models》的论文,系统提出了这个框架……
其核心是:让AI在内部建立一个可交互的世界表征,能够根据当前状态和采取的行动,预测未来的感官结果。换句话说,世界模型不仅要学会“世界是什么样的”,还要学会“如果我做某件事,世界将会变成什么样”。
这正是人类婴儿学习的方式:通过主动探索、试错,逐步构建关于物理法则、物体恒存性、因果关系的心理模型。世界模型把这一过程引入深度学习,使得AI**次拥有了“想象力”——在内心模拟尚未发生的事件。
对于AI训练师而言,这意味着标注工作的重心将从“判断答案对错”转向“评估模拟的连贯性与因果一致性”。我们需要设计能检验模型物理直觉的任务,判断它是否真正掌握了物体碰撞、重力、遮挡等规律。
范式转移正在发生:从教AI背诵世界的语言描述,到教AI经历世界的动态因果。


💬 读者互动 · 精彩评论