字节豆包大模型团队提出稀疏模型架构推理成本最高可降低83%-热点-证券市场周刊

2025年02月12日 16:21 来源：财联社

据豆包大模型团队消息，字节跳动豆包大模型Foundation团队近期提出UltraMem，一种同样将计算和参数解耦的稀疏模型架构，在保证模型效果的前提下解决了推理的访存问题。据介绍，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2-6倍，推理成本最高可降低83%。

免责声明：证券市场周刊力求信息真实、准确，文章提及内容仅供参考，网站所示信息出于传播之目的，不代表证券市场周刊观点，亦无法保证该等信息的准确性和完整性，不构成实质性投资建议，据此操作风险自担。