每天听简报,了解最新科技、AI、软件资讯
Artificial Analysis 更新了模型能力指数,这次改的是考题和权重。第五版有六成权重,来自私有测试集或保留答案的评测。新增的代码测试,用真实仓库任务判断改动是否达到维护者愿意合并的标准;科研测试则要求智能体在终端里完成工作流,全部检查通过才算成功。知识工作、代码、科学和通用能力各占四分之一。机构还提醒,新任务更耗输出,推理强度也会明显改变成本。给自己的产品选模型,可以先看对应任务和费用,单一总分无法包办所有使用场景。
进度保存在本设备 · 登录同步