每天听简报，了解最新科技、AI、软件资讯
输入随便一句话，网页上就能实时看到一个真实的语言模型怎么处理它。先拆成一个个词，再算出下一个最可能出现的词，这就是Transformer架构在做的事。这是乔治亚理工团队打造的可视化工具，叫Transformer Explainer。跑在里面的是真实的GPT-2小模型，一亿两千四百万参数，十二层结构。每层十二个注意力头，每个词变成七百六十八维向量，全在浏览器里跑完，不用服务器。评论区有人说打开页面直接把自己的Chromebook拖死了两次，因为要先下载六百兆的模型文件。这种把黑箱拆开揉碎看的工具，比读论文直观得多。
进度保存在本设备 · 登录同步