OpenAI 推出 LifeVal 基准,衡量 AI 协助完成日常事务的能力
OpenAI 推出 LifeVal 基准,用来衡量 AI 帮助人们完成日常任务的效果。该基准覆盖的范围包括寻找托育服务、管理财务和处理政府文书等生活事务。
OpenAI 推出 LifeVal 基准,用来衡量 AI 帮助人们完成日常任务的效果。该基准覆盖的范围包括寻找托育服务、管理财务和处理政府文书等生活事务。
Elorian 推出视觉推理模型 Glimpse,并联合 Mercor 发布 DecoyCount 基准,测试模型是真计数还是依赖视觉捷径。论文中前沿模型准确率均低于 50%,最高的 GPT-6 Astra 为 43.17%,Glimpse 内部测试得分 50.48%,是唯一超过 50% 的模型。
微软研究院提出 StudentSim,从公开的去标识学习者记录训练个性化 AI 学生模拟器,用于在接触真实学生前评估和改进 AI 辅导系统。研究同时发布 StudentSimEval 基准,从"像不像该学生"和"能否随辅导提示更新作答"两个维度评估模拟器表现。在国际象棋、英语二语写作和数学三个场景中,StudentSim 优于领先基线,可为 AI 辅导训练提供反馈信号。
GitHub 发布开源代码审查基准 ReviewBench,基于 103.9M 条 pull request 的分布构建,包含 219 条来自 187 个公开仓库、覆盖 19 种语言的 pull request。
推荐理由:GitHub 公开了 ReviewBench 的语料构建、标注流程和评测口径,可用于比较不同代码审查智能体。