arXiv 定量生物学· Matt Turk, Brandon L. Neel, Diana M. Lopez, Zachary D. Smith, Grace N. Johnecheck, James B. Golden·· 19 小时前AI 评分20
ProteinGeoBench:前沿结构生物学智能体擅长事实查找,却在几何计算上表现不佳
ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry
AI 导读
ProteinGeoBench 用 131 项任务测试智能体查阅蛋白结构事实、核对序列和从原子坐标计算几何的能力,对四个前沿模型各运行多次共 4249 次。Claude Opus 5 事实查找得分 0.907、几何计算仅 0.716,Gemini 3.1 Pro 是例外;12 项全部模型失败的任务中半数为计算题,而计算题仅占 suite 的五分之一。
来源:arXiv 定量生物学 · arxiv.org