每天听简报，了解最新科技、AI、软件资讯
EgoTools研究让视频模型理解人如何使用工具，重点是第一视角里的手、工具和目标物体关系。九月三十日的论文提供一百小时录像，配有同步音频、密集描述、推理旁白和补充三维信息。另一个测试集有一千组问答，覆盖感知、几何、操作步骤和因果推理。作者评测中，Gemini整体正确率约百分之六十七，感知与定位部分只有约百分之五十二。用这些数据微调八十亿参数的Qwen模型，整体正确率从百分之五十升至约六十一。训练与测试严格分开来源视频；这些结果检验的是视频理解能力，尚不能说明机器人已会实际操作工具。
进度保存在本设备 · 登录同步