跳到正文
原文
medRxiv 预印本· Cui, H., Pradhan, A., Hammond, R., Cokljat, M., Johnstone, K., Luk, A., Yuan, Z., Yang, Y., Zhang, J., Gu, T., Meek, O., Xia, Y., Yang, T., Democratis, J., Brandish, C., Gouliouris, T., Eyre, D. W. ·· 23 天前AI 评分38

英国医院抗菌药物建议AI工具Ask Eolas基准评估:简单查询表现良好,复杂场景存安全隐患

Benchmarking Ask Eolas-a medical AI tool for antimicrobial advice available in UK hospitals

AI 导读

研究系统评估了已在英国多家医院部署的本地指南驱动抗菌药物建议AI工具Ask Eolas,基于指南内容生成并经临床医生审核的1,040条模拟临床查询,采用LLM-as-a-judge与10名临床医生评审进行测试。Ask Eolas在各类直接查询中表现稳定良好,但在复杂临床场景中表现不佳,部分回答被判定为潜在不安全。HealthBench基准的实用性受限于其金标准答案与英国特定医院预期之间的差异。

来源:medRxiv 预印本 · medrxiv.org