FP8 量化优化器状态的难点 论文作者 ... 必须保留激活值以用于反向传播计算梯度。在 Llama 模型系列中，非线性层通常占内存占用的约 50%。

IT之家 1 月 27 日消息，据 Information 网站，Facebook 母公司 Meta 成立了四个专门研究小组来研究量化巨头幻方量化旗下的国产大模型 DeepSeek 的工作原理 ...

Qwen2.5全系列涵盖多个尺寸的大语言模型、多模态模型、数学模型和代码模型，每个尺寸都有基础版本、指令跟随版本、量化版本，总计上架100多个 ...