跳到正文
原文
medRxiv 预印本· Nguyen, N., Perice, L., Sangal, R., Kumar, V., Chu, A., Dash, D. ·· 21 天前AI 评分36

EM-BENCH:评估大语言模型遵循ACEP指南进行临床决策的可复现基准框架

EM-BENCH: A Reproducible Framework for Benchmarking Guideline-Concordant Clinical Decision Making in Large Language Models

AI 导读

研究者开发了经医师验证、确定性评分的基准EM-BENCH,用210个二元临床情景覆盖25项ACEP临床政策中的全部70个关键问题,评估了代表79个基础模型的149种LLM配置。无任何配置实现完全指南一致性,最高配置答对207/210(98.6%);闭源模型准确率中位数91%,高于开源模型的63%。准确率随模型规模和发布年份提升,但启用思考模式或提高推理强度未带来一致改善。

来源:medRxiv 预印本 · medrxiv.org