每天听简报,了解最新科技、AI、软件资讯
Jev给一枚公平硬币算出正面概率是百分之九十二,真实概率明明是百分之五十,还写在提示词里,模型照样答错。Jev是创业公司TypeSafe做的走红分类模型,卖点之一是每个答案都带一份经过校准的置信概率。一篇博客反驳说,校准不只是模型的属性,还跟手头的数据分布有关,换一批数据就可能失准。有人拿公平骰子测了四百次,数字一的真实概率是六分之一,Jev却每次都答数字一,报出概率高达百分之八十三。评论区吵成一团,有人说标题和正文自相矛盾,文章也承认,花几百条标注数据做一次简单缩放就能低成本重新校准。
进度保存在本设备 · 登录同步