对DiLoCo来说，这依然能保持不错的性能，还能一次性用更多资源，缩短总训练时间。而Data-Parallel似乎更依赖串行训练。这种训练时间的减少还因为通信量降低而加倍明显。

研究人员发现随着模型尺寸的增大，DiLoCo 会呈现出可预测的稳健扩展。如果调整得当，DiLoCo 的模型规模扩展性优于数据并行训练方法，即使在小模型规模下 DiLoCo 也能胜过数据并行训练方法。

谷歌推出的DiLoCo分布式训练方法，其Scaling Law比数据并行更稳健、更优越、更高效、更强大，其模型规模越大优势越明显，有效解决通信瓶颈，为大模型训练开辟新可能。网友称DiLoCo可能会重新定义Scaling的方式。

在人工智能（AI）日新月异的背景下，谷歌再次引领风骚，重磅推出全新的Scaling Law——DiLoCo。谷歌的研究团队在不断优化大型语言模型（LLM）训练方法的过程中，发现了一个重要的突破，可能会彻底改变未来AI算法的训练方式。本文将深入探讨这一新方法的核心概念、优势，以及对AI行业可能产生的深远影响。

如果Scaling Law继续有效， 继续看好AI系统组件供应商（如芯片、网络设备等），谨慎对待那些不得不持续投入巨额资本支出的科技巨头。如果预训练缩放停滞： ...

在瞬息万变的科技时代，人工智能（AI）行业正面临一场前所未有的变革。华尔街投行巴克莱最近发布的研究报告揭示出一种新的发展模式——“推理模型”和“代理（Agent）”即将成为AI交易的主流。在这个充满机遇与挑战的新时代，传统的“大模型”是否还能坚守市场？这必然引发投资者与科技公司的广泛关注与反思。