medRxiv 预印本· Graham, N. S., Auger, S. D., Attaallah, B., Batla, A., Scott, G. ·· 2026-10-19AI 评分25
八款通用大语言模型在神经科执业考试题上的准确性与置信度校准评估
Accuracy and confidence calibration of large language models on neurology board-style questions
AI 导读
研究用100道经验证的神经科执业考试风格多选题测试8款通用大语言模型,准确率从Llama 3.1 8B的45%到Gemini 3 Flash/Pro的92%不等,但模型普遍高估自身置信度,低准确率模型尤为明显。基于一致性的置信度对正确与错误答案的区分能力最佳(合并AUROC 0.74),优于自我报告置信度,但各方法间校准差异不显著。作者建议临床评估大语言模型时应将校准与准确率一并报告。
来源:medRxiv 预印本 · medrxiv.org