数据红利耗尽！杨立昆警告大模型逼近天花板：文本训练产出边际收益趋零

3 月 23 日消息，在 20 日播出的“Big Technology Podcast”科技播客节目中，图灵奖得主、Meta 首席 AI 科学家杨立昆（Yann LeCun）深入探讨了当前生成式 AI 的局限性以及未来的发展方向。

杨立昆指出，现有的大语言模型等 AI 技术主要是基于文本训练，并通过统计规律来生成答案。这种模式使得 AI 在本质上无法“创造新的事物”，其功能局限于对已有数据的检索和生成。与人类不同，AI 缺乏对物理世界的理解和抽象推理能力，而人类能够运用常识和心理模型思考并解决新的问题，这是当前 AI 大模型所不具备的关键能力。

“它们只是在大量文本数据上进行训练以进行检索和生成，缺乏对物理世界的理解和抽象推理能力。”杨立昆强调。

在杨立昆看来，当前大语言模型的发展已经接近瓶颈。随着训练数据的增长，模型性能的提升正在逐渐递减。进一步获取数据不仅成本高昂，而且难以达到预期效果。仅仅通过扩大模型规模和训练更多数据，无法实现人类水平的 AI，因为大模型缺乏真正的推理能力和对物理世界的理解能力。

“真正的 AI 需要理解物理世界，拥有持久的记忆，支持推理和规划。”杨立昆表示。

尽管如此，杨立昆对 AI 的未来仍持乐观态度。他曾在今年 2 月预测，AI 技术到 2030 年前将迎来进一步的革命。但他也明确指出，目前的 AI 系统依然受限，现有技术难以支撑家用机器人和自动驾驶汽车的广泛应用。

为了突破现有局限，杨立昆正在研究一种新的系统，旨在通过建立一个模型来预测物理世界的行为，从而帮助 AI“理解”现实。“AI 现在还不能与人类匹敌。如果我们能够开发出像猫或老鼠一样聪明的系统，那就算是一大进步。”