对DiLoCo来说，这依然能保持不错的性能，还能一次性用更多资源，缩短总训练时间。而Data-Parallel似乎更依赖串行训练。这种训练时间的减少还因为通信量降低而加倍明显。

谷歌推出的DiLoCo分布式训练方法，其Scaling Law比数据并行更稳健、更优越、更高效、更强大，其模型规模越大优势越明显，有效解决通信瓶颈，为大模型训练开辟新可能。网友称DiLoCo可能会重新定义Scaling的方式。

在人工智能（AI）日新月异的背景下，谷歌再次引领风骚，重磅推出全新的Scaling Law——DiLoCo。谷歌的研究团队在不断优化大型语言模型（LLM）训练方法的过程中，发现了一个重要的突破，可能会彻底改变未来AI算法的训练方式。本文将深入探讨这一新方法的核心概念、优势，以及对AI行业可能产生的深远影响。

谷歌团队透露，下一代DiLoCo将融合JEST数据筛选技术（效率提升13倍）与多分辨率训练，进一步压缩70%算力需求。与此同时，微软DeepSpeed、英伟达NVLink等技术也在争夺分布式训练标准制定权——这场战役的胜负，将决定谁主导下一个十年的A ...

研究人员发现随着模型尺寸的增大，DiLoCo 会呈现出可预测的稳健扩展。如果调整得当，DiLoCo 的模型规模扩展性优于数据并行训练方法，即使在小模型规模下 DiLoCo 也能胜过数据并行训练方法。

Scaling Law 由 OpenAI 团队于 2020 年正式提出，并在其论文《神经语言模型的扩展定律》（Scaling Laws for Neural Language Models）中进行了详细阐述。Scaling Law ...

这的确可能影响了一些资本市场情绪，但没有改变产业对AGI的预期。最近很多朋友都在湾区，包括最近北美一些AI领袖的发言，其实很多人对AGI的时间表反而越来越笃定。包括国内相信DeepSeek对此也很坚定。

2023 年 9 月，DeepMind 曾经发表一篇论文，发现大语言模型在某些情况下的表现要好于专门的压缩算法。在这项研究中，研究人员发现 DeepMind 的 Chinchilla 70B 模型能够将图像块压缩到原始大小的 43.4%（优于 PNG 的 58.5%），将音频样本压缩至仅 16.4%（优于 FLAC 的 30.3%）。