ACL杰出论文奖｜GPT-4V暴露致命缺陷？JHU等发布首个多模态ToM 测试集，全面提升大模型心智能力

---

aixiv专栏是本站发布学术、技术内容的栏目。过去数年，本站aixiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文第一作者为 Chuanyang Jin (金川杨)，本科毕业于纽约大学，即将前往 JHU 读博。本文为他本科期间在 MIT 访问时的工作，他是最年轻的杰出论文奖获得者之一。本文的指导老师为 Tianmin Shu (舒天民)，JHU 助理教授，Social Cognitive AI Lab 的主任。博士师从 UCLA 朱松纯教授，在 MIT 完成博后，致力于构建能够在现实世界中理解、推理和与人类互动的社会智能系统，从而推进以人为中心的 AI。本文另外两位指导老师 Joshua B. Tenenbaum、Antonio Torralba 为 MIT 著名教授，google scholar 引用量均在 10 万以上。

心智能力（Theory of Mind，ToM），即理解人们思维的能力，是开发具有类人社会智能的 AI 模型的重要基础。

近日，来自 JHU, NYU, MIT, Harvard 等机构的研究团队开创了第一个多模态的 ToM 测试基准，发现现有的多模态模型和 LLM 都表现存在系统性缺陷，同时他们提出了一种有效的新方法。在刚结束的 ACL 2025 会议中，这篇论文获得杰出论文奖。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文标题：MMToM-QA: Multimodal Theory of Mind Question Answering
• 论文地址: https://arxiv.org/abs/2401.08743
• 网站: https://chuanyangjin.com/mmtom-qa
• 代码: https://github.com/chuanyangjin/MMToM-QA

MMToM-QA

第一个多模态的 ToM benchmark

先前所有心智能力的测试基准都是单一模态的。MMToM-QA 是第一个多模态的心智能力测试基准。其中每个问题包含三部分：一个人的活动视频，环境和人类动作的文字描述与一个 ToM 问题。

此前，大部分的心智能力测试基准都使用较简单的模版，文字或视频的长度很短。MMToM-QA 要求在更长的上下文下，更复杂多样的环境下系统性衡量模型的心智能力。既考察 belief（人们所认为的），也考察 goal（人们的目标）。

为了生成这些视频，该团队使用 VirtualHome-Social 模拟器来中生成一系列人物动作，并渲染合成视频。接下来，使用一个模型来跟踪记录在视频的每个时刻中 agent 所有可能的目标和想法，据此生成问题，并使用 GPT-4 生成改进问题的描述。

Meta、MIT、CMU、JHU 的众多团队已使用 MMToM-QA 来研发与人合作的大模型、机器人等。

大模型集体翻车

GPT-4V 存在致命缺陷

在 MMToM-QA 上的实验结果显示，当人们可以使用不同模态的信息时，他们理解他人的能力会有所提升。在这种多模态条件下，在每个问题上大多数参与者都达成了一致意见，这验证了基准设计的有效性。

相比之下，多模态模型和 LLM 的表现远不如人类。它们在所有问题类型上表现得像随机猜测一样。唯一的例外是 GPT-4V，当人们的信念与现实一致时它表现良好，但当涉及到人们持有错误信念或更新信念时，GPT-4V 会系统性犯错，并且在判断目标时表现较差。

以下是 GPT-4V 的一个失败案例。从视频和文本中可以看出，柜子里没有蛋糕，但女人却朝柜子走去，准备打开它。因此，正确答案应该是 「女人认为柜子里有一个蛋糕。」然而，GPT-4V 错误地使用了真实世界的状态来推断女人的想法，这表明 GPT-4V 无法区分信念和真实世界状态。

BIP-ALM

小模型 + 逆向规划超过 GPT-4V

那么，我们该如何缩小 AI 模型和人类表现之间的差距？

该团队提出了一种新方法：BIP-ALM (Bayesian Inverse Planning Accelerated by Language Models)。该方法首先从视频和文字中提取出相同的符号表示，接着对这些表示进行对齐和融合，再使用逆向结合语言模型来推断各种心理状态的概率。

Remover

几秒钟去除图中不需要的元素

304 查看详情

以下是融合符号表示的方法。模型将从视频中提取特定时刻的场景关系图，识别人物与物体之间的关系，例如他们正在经过哪些物体或他们正朝哪些物品前进。由于摄像头视角的限制和遮挡，文本提供了这些可能无法直接从视频中观察的这些信息。

贝叶斯逆向规划（Bayesian inverse planning）可以根据观察到的 agent 的行为来推断其心理状态与潜在的信念和目标。先前的研究表明，贝叶斯逆向规划可以在简单情景下成功。然而，当状态空间变得很大时，计算每个可能信念和目标的概率变得非常复杂，导致计算瓶颈。下图中蓝色标出的部分就是一个计算瓶颈。为了加速这一过程，该团队使用了语言模型来估计每个时刻的心理状态的概率。

先前的大模型和各种方法无论是在文本、视频、还是多模态版本的 MMToM-QA 上都表现较差，而 BIP-ALM 则展现了较好的结果。论文作者认为 BIP-ALM 得益于：(1) 使用适用于不同模态信息的符号表示，(2) 模仿人类心智推理的逆向规划方法具有很强的鲁棒性和可解释性，(3) 语言模型具有很好的灵活性和可扩展性。

后续工作

走向多智能体的多模态心智模型

该团队提出了后续研究 MuMA-ToM: Multi-modal Multi-Agent Theory of Mind，将 MMToM-QA 的测试基准和方法拓展到了多个智能体的领域。

• 论文标题：MuMA-ToM: Multi-modal Multi-Agent Theory of Mind
• 论文地址: https://arxiv.org/abs/2408.12574
• 网站: https://scai.cs.jhu.edu/projects/MuMA-ToM
• 代码: https://github.com/SCAI-JHU/MuMA-ToM

MuMA-ToM 关注多智能体的互动，考察它们的信念、社会目标、和对他人目标的信念，发现大型多模态模型 GPT-4o、Gemini-1.5 Pro 等依然表现糟糕。针对这些发现，研究团队进一步提出了改进的方法 LIMP (Language model-based Inverse Multi-agent Planning)。相比之前的方法，LIMP 使用自然语言而不是符号表示来提高通用性，并且能够利用任何预训练的大型语言模型，而 BIP-ALM 则要求开放权重的大型语言模型。

以上就是ACL杰出论文奖｜GPT-4V暴露致命缺陷？JHU等发布首个多模态ToM 测试集，全面提升大模型心智能力的详细内容，更多请关注其它相关文章！

# 先前  # 子长县响应式网站建设  # 网站seo语音转换文字  # 昌邑优化网站设计  # 邓煌生seo教程  # 俄罗斯酒店推广营销方案  # 萌祖邦整合营销推广  # 白云网站海外推广价格  # 闵行网站建设论述题  # 四川网站搜索优化服务  # 百度网络推广整合营销  # 开源  # 图中  # 模态  # 互动  # 工程  # 第一个  # 提出了  # 全面提升  # 首个  # 多模  # type  # follow  # gemini  # 模拟器  # git  # acl 2024  # mmtom-qa  # muma-tom 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 中国移动副总经理高同庆：打造人工智能时代的智能服务运营新范式  OpenAI高管：AI能创造新的就业机会 但也会淘汰一些  自己动手使用AI技术实现数字内容生产  意大利警察拟用AI预测犯罪 该算法被指种族歧视严重  机器人 展才能  美图设计室2.0新增哪些功能  金山办公：AI是重要的产品战略之一  AI 模型 Stable Diffusion 升级：正常生成五指、图像更逼真  2025VR&AR显示技术峰会视频解析： 歌尔光学展示最新一代VR/AR光学模组  WPS AI 官网上线：可申请体验官资格，支持 Windows、安卓端下载  即时 AI再次升级 30秒生成自带动效的网页 生成速度提升100%  Meta Connect 2025已确定时间为9月27-28，主题涵盖Quest 3与AI技术  亲身体验鸿蒙4：AI大模型带来的便利，告别单纯的旁观者状态  人工智能加速走进百姓生活：从2025全球人工智能技术大会看行业新趋势  直击上影节 | 光线传媒董事长王长田谈新技术：未来VR放映效果可能媲美影院  麦肯锡：到 2045 年左右，将有 50% 工作被 AI 接管  干货满满，2025昆山元宇宙国际装备展等你来打卡！  人工智能如何用于家庭安全  全场景智能车：智能无处不在｜芯驰亮相世界人工智能大会  学而思推出AI第一课：基于自研大模型的AIGC课程  微软最新推出的NaturalSpeech2语音合成模型：提供更准确的语音重构，避免棒读效果  华为4G5G通信物联网收费标准公布，多年研发成果，十年花费近万亿  你们的开机第一屏画面要变了！安卓机器人首次3D化  IBM与NASA联手开源地理空间AI基础模型，促进气候科学领域进步  小岛秀夫不反对使用AI 但认为人类应该凌驾于AI  MIT开发“PhotoGuard”技术保护图像免遭恶意AI编辑  AI绘画，还需要懂数学？  ​日媒：AI高效解析纳斯卡地画  字节、网易相继入局，AI之后大厂又找到下一个风口？  苹果AIGC专利：可通过语音指令生成AR/VR虚拟场景  AI技术改变*，新骗局来袭，*成功率接近100%  大模型训练成本降低近一半！新加坡国立大学最新优化器已投入使用  此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处  2025VR&AR显示技术峰会展示歌尔光学最新一代光学模组  中国最强AI研究院的大模型为何迟到了  鸿蒙OS 4将实现AI大模型集成，余承东表示坚持AI辅助而非AI取代  OpenAI更新GPT-4等模型，新增API函数调用，价格最高降75%  人工智能在重症监护室的未来  世界周刊丨AI“棱镜”？  自然语言生成在智能家居设备中的应用  OPPO三方联合发布AI可持续发展白皮书，坚持发展健康AI生态  丰田汽车研究院推出生成式人工智能汽车设计工具  建立元宇宙产业联盟：移动、咪咕、华为、小米等加入  谷歌旗下 DeepMind 开发出 RoboCat AI 模型，能控制多种机器人执行一系列任务  用AI升级会议体验！思必驰多款会议产品亮相全球智博会！  微盟宣布联合腾讯云共建行业大模型：加快激活AI大模型智能应用  应用生成式人工智能技术改善农业产业  深企派遣无人机救援队赴京津冀开展防汛救灾任务  掌阅科技申请阅爱聊商标 掌阅科技申请AI相关商标  “踩油门，也要会踩刹车” 互联网企业高管谈人工智能发展 

 2024-09-11