OpenAI 推出 LifeVal 基准,衡量 AI 协助完成日常事务的能力
OpenAI 推出 LifeVal 基准,用来衡量 AI 帮助人们完成日常任务的效果。该基准覆盖的范围包括寻找托育服务、管理财务和处理政府文书等生活事务。
OpenAI 推出 LifeVal 基准,用来衡量 AI 帮助人们完成日常任务的效果。该基准覆盖的范围包括寻找托育服务、管理财务和处理政府文书等生活事务。
Google DeepMind 发布新一代前沿模型 Gemini 4 Carbon,称其在网络安全与长程任务上能力最强,在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一,在 SEC-bench Pro 得分 88.2%、ExploitGym 得分 54.8%、CWE-bench 得分 71.0%。
推荐理由:Gemini 4 Carbon 在网络安全与长程智能体任务上的基准表现,以及分阶段开放的策略,都是观察前沿模型能力与部署节奏的一个样本。
微软研究院提出 StudentSim,从公开的去标识学习者记录训练个性化 AI 学生模拟器,用于在接触真实学生前评估和改进 AI 辅导系统。研究同时发布 StudentSimEval 基准,从"像不像该学生"和"能否随辅导提示更新作答"两个维度评估模拟器表现。在国际象棋、英语二语写作和数学三个场景中,StudentSim 优于领先基线,可为 AI 辅导训练提供反馈信号。
GitHub 发布开源代码审查基准 ReviewBench,基于 103.9M 条 pull request 的分布构建,包含 219 条来自 187 个公开仓库、覆盖 19 种语言的 pull request。
推荐理由:GitHub 公开了 ReviewBench 的语料构建、标注流程和评测口径,可用于比较不同代码审查智能体。