SourceHut等网站面临AI爬虫过度抓取数据的挑战，导致服务速度下降。这些爬虫主要用于训练大型语言模型，但其行为往往不受约束。网站采取各种措施应对，包括封锁某些云服务提供商和部署反爬虫工具。然而，这些措施可能影响正常用户访问。AI爬虫的不当行为已 ...