arXiv 定量生物学· Biswajit Banerjee, Claudia Alvarez Carreno, Anton S. Petrov·· 15 小时前AI 评分20
LEMON-ZEST:面向高效蛋白质语言建模的进化信息分词方法
LEMON-ZEST: Evolution-Informed Tokenization for Efficient Protein Language Modeling
AI 导读
研究者提出进化信息驱动的分词方案 ZEST,从多序列比对保守区构建词表,将序列平均压缩至 4 个残基/token,使模型在标准 1024 token 上下文窗口内处理 4,000 个残基。基于此训练的 200M 参数模型 LEMON 在单张 H100 上训练一周,性能超过 600M 至 3B 参数的现有模型。代码、权重与结果以 MIT 许可公开,论文已被 NeurIPS 2026 接收。
来源:arXiv 定量生物学 · arxiv.org