Common Crawl 非营利组织维护着一个庞大的开源存储库，其中存储了自 2008 年以来收集的数 PB 级网络数据，任何人都能免费使用这些数据。由于数据集规模巨大，许多人工智能项目，包括 OpenAI、DeepSeek、Google、Meta、Anthropic 和 Stability 等公司的大型语言模型（LLM）训练，可能至少部分依赖这一数字档案。