OpenAI发布LifeVal基准 测试AI处理日常事务的能力
11月3日,据报道,OpenAI 于 11 月 2 日发布名为 LifeVal 的新基准,用来衡量 AI 模型能否真正帮助普通人完成日常事务,该公司称这一评估旨在让通用 AI 更贴近对人类最有用的日常帮助。在 LifeVal 的任务设计上,OpenAI 首先参考了美国的时间使用调查和跨国的多国时间使用调查,随后又对 3995 名具有人口代表性受访者开展调查,询问他们最希望个人 AI 助手在哪些事务上提供帮助。
据此,LifeVal 覆盖照护、健康、教育、家庭行政、个人财务、购物以及获取政府服务等场景,典型任务包括搬家后为孩子挑选并报名合适的幼儿园、为患糖尿病的家人制定饮食与照护计划、在预算内采购食材、整理政府表格、安排社区防洪志愿者等。与传统基准不同,LifeVal 更关注任务是否能被推进到可执行、可交付的状态,例如 AI 不只是列出幼儿园名单,而要结合地点、预算、通勤和家庭需求筛选,处理财务时也要兼顾账单、收入和风险。OpenAI 称过去一年已将 LifeVal 用于追踪和推动模型在日常任务上的改进,公开示例显示部分任务表现较高,为孩子找幼儿园得分 93.1%,组织防洪志愿者为 98.0%,为糖尿病家长准备膳食计划为 90.4%。不过 LifeVal 目前仍主要是 OpenAI 的内部评估,外界尚未获得完整任务集、评分代码、误差范围或可独立复现的排行榜,其结果仍需谨慎解读。