medRxiv 预印本· Mukerji, A., Sanghavi, N., Lauritzen, T., Muralidharan, J., Gombar, S. ·· 18 小时前AI 评分17
Precision Evidence Bench:评估临床 AI 的 PICO 对齐与忠实报告
Precision Evidence Bench: Assessing PICO alignment and faithful reporting in clinical AI
AI 导读
研究者开发并公开了 Precision Evidence Bench,包含 209 个指定 PICO 要素的合成临床问题,用五项评分标准评估 AI 答案是否匹配 PICO 并忠实报告来源。对四款前沿 LLM 的测试显示,仅用网络搜索时 Precision match 率为 13% 至 18%,接入 1 亿条 pEBF 后升至 17% 至 28%,接入 5 亿条后升至 41% 至 56%。
来源:medRxiv 预印本 · medrxiv.org