来自MSN7 个月
16384块N卡训练4050亿参数大模型：3小时报错一次
Meta在报告中披露，为了训练自己的Llama 3 4050亿参数大模型，使用了包含16384块NVIDIA H100 80GB GPU的集群，一共花了45天，期间居然出现了419次意外报错 ...