应对这一挑战，上海科技大学研究员、博导殷树教授团队开展了相关研究工作，在面向大规模神经网络的检查点（Checkpointing）方面取得进展。 在2025人工智能基础设施峰会-智能算力前沿技术论坛，殷树教授以”面向神经网络的探索与优化”为题，分享其在面向大 ...

然而，GPU显存容量受制于物理芯片规格，传统训练方法面临“内存瓶颈”。此时，Checkpointing（检查点技术）如同一把钥匙，为破解这一难题提供了新思路。 Checkpointing通过选择性存储中间激活值而非全部参数，在反向传播时重新计算丢失的激活值，从而减少内存 ...

这是一个 PyTorch 原生，兼容多个训练框架，支持 Checkpoint 的高效读写和自动重新切分的大模型 Checkpointing 系统，相比现有方法有显著性能提升和易用 ...

上海科技大学计算机科学与技术学院殷树教授团队在峰会的智能算力前沿技术论坛中，分享了针对大规模神经网络训练的Checkpointing优化研究成果。该研究针对当前3D并行训练框架下数据量激增、存储效率低、传输开销大的核心痛点，提出了名为Portus的创新型优化 ...

In this video from the MVAPICH User Group, Gene Cooperman from Northeastern University presents: Checkpointing the Un-checkpointable: MANA and the Split-Process Approach. Checkpointing is the ability ...

But one of the more popular open source checkpointing tools in the HPC area today comes from the Distributed MultiThreaded CheckPointing (DMTCP) project at Northeastern University, which is ...

Discover how Google Cloud's new hierarchical namespace enhances AI/ML workflows, improving performance, reliability, and data organization. Learn more!

Both moves are aimed at checkpointing operations in artificial intelligence (AI) workloads. That roadmap pointer comes after Vast recently announced it would support Nvidia Bluefield-3 data ...