每天听简报,了解最新科技、AI、软件资讯
做常驻办公群的主动式智能体,挑最贵的模型反而可能踩坑。数据团队 Deepnote 刚刚开源了一套主动式智能体基准测试,用一家模拟的七十人公司,实测了十二款前沿模型在五十个真实办公场景下的表现。 结果很有意思:OpenAI 的 GPT 六点一 Sol 拿下八点六五分,接近第一名 Astra,但单次任务只要零点一一美元。相比之下,排第三的 Claude Fable 五点二单次要一点八七美元,按每月两千五百条会话算,账单差距超过十六倍。 速度和工具调用也拉开差距。Anthropic 系列响应最快,Sonnet 五点五只要十五秒。而 Grok 四点七和 Gemini 四 Argon 平均每次调用三十五次工具,经常直接超时失败。 测试还发现,多数模型在不需要插话时依然爱强行帮忙,白白多花八成时间与费用。
进度保存在本设备 · 登录同步