每天听简报,了解最新科技、AI、软件资讯
OpenAI 首席科学家帕霍茨基发布长文,公开了内部从早期对话模型以来的预训练困惑度测量曲线。 他指出,在内部代码库测试集上,对数困惑度从零点九九、零点九一一路降到零点八以下时,模型接连涌现出流畅对话、思维链推理,以及在零点七六附近开始解出数学难题的突破;近期模型设计本身也已出现来自人工智能的实质贡献。他提议行业以困惑度为共同标尺,在监控能力跟上之前设置研发上限。 不过评论区反响不一:不少开发者质疑,只测内部代码库的困惑度既难跨机构对比,也无法反映强化学习带来的推理跃迁。
进度保存在本设备 · 登录同步