跳到正文
原文
bioRxiv 预印本· Abeer, A. N. M. N., Rahmati, A. H., Qian, X., Yoon, B.-J. ·· 1 天前AI 评分12

UPLiFT:面向蛋白质语言模型轻量微调的不确定性参数化激活方法

UPLiFT: Uncertainty Parameterized Activation for Lightweight Fine-Tuning

AI 导读

研究人员提出 UPLiFT,一种不优化网络权重、而是在参数化激活空间上做优化的蛋白质语言模型微调方法,可在底层模型保持固定时提升参数效率。在多个蛋白质数据集上,UPLiFT 所需可训练参数比仅权重适配少 3-11 倍,性能仍具竞争力;其贝叶斯版本进一步改善校准,同时基本保持确定性微调模型的预测表现。

来源:bioRxiv 预印本 · biorxiv.org