【新智元导读】老黄GTC重点展示的PD分离技术为何成兵家必争之地？UCSD全华人团队力作，创新性地提出预填充-解码分离技术。在严格的延迟约束下，相比现有最先进的服务系统，可实现高达4.48倍的有效产出率或10.2倍更严格的SLO达成率。

这种方法主要是把像ChatGPT、Qwen、DeepSeek这些成型的LLM当作 “专家” ，当给一个输入的时候，有分类能力的Router（路由器）就会把这个输入分配给合适的LLM处理。

近年来，AI技术的飞速发展让大模型的应用场景不断拓展。而在路由LLM领域，一项迄今为止最全面的研究引起了广泛关注。这项研究由中山大学和普渡大学的研究人员主导，收集并整理了8500多个LLM在12个基准测试中的2亿条性能记录，揭示了Model-leve ...

在数字化时代，数据分析已成为企业决策的核心驱动力。然而，随着数据量的爆发式增长和业务复杂性的提升，传统的数据分析工具已难以满足企业对高效、精准和深度洞察的需求。本文将探讨大语言模型（LLM）、图检索增强生成（Graph ...

近段时间，著名 AI 科学家 Andrej Karpathy 提出的氛围编程（vibe coding）是 AI 领域的一大热门话题。简单来说，氛围编程就是鼓励开发者忘掉代码，进入开发的氛围之中。更简单地讲，就是向 LLM ...

近期，网络安全领域迎来了一次震撼性的曝光。据TechRadar报道，Cato CTRL的威胁情报团队宣布了一项惊人的发现：他们成功利用一种前所未有的攻击手段，突破了多个顶尖大语言模型（LLM）的防御，其中包括ChatGPT-4o、DeepSeek-R1和DeepSeek-V3等。值得注意的是，实施这次攻击的研究人员并无恶意软件开发的背景。

资本支出的第二个用途，是使用GPU进行大语言模型训练。去年有一段时间，人们曾经认为每一次大语言模型的更新都需要数量级更多的GPU，但随着Deepseek大模型取得突破，这种情况结束了。如今，整个行业包括我们公司，都能利用现有的GPU实现更高的大语言模型训练效率，无需像之前预期的那样大量增加GPU。第三个用途与云业务相关。我们购买GPU服务器，再出租给客户，从中获取回报。这可能不是我们投资组合中回报 ...

在生成式AI快速崛起的浪潮中，Google以全新的产品矩阵和技术升级迎来属于它的“LLM时刻”。从文本到图像，从工具到生态，AI全家桶的发布让人们看到技术无边的可能性。本文将带你深入解读这些突破背后的技术逻辑与市场策略，探讨Google如何在AI竞赛 ...

3月17日，阿里云正式宣布启动名为“T项目”的下一代AI技术研发计划，聚焦AI引擎、大型语言模型（LLM）及多模态技术等前沿领域。该项目通过“借调”方式吸纳员工参与，旨在加速技术突破与落地，应对市场需求。 技术布局深化，探索未知领域  “T项目”的启动标志着阿里云在AI领域的进一步加码。据知情人士透露，项目将集中资源探索AI引擎优化、LLM能力提升及多模态技术融合，推动AI技术从理论研究向实际应用 ...

人工智能(AI)行业对算力的需求仍然极高，能产生更复杂答案的推理AI，提升了对算力基础设施的需求。 观点网 香港报道：3月20日，DeekSeek R1模型引发市场担忧，忧虑同类软件未来无需配备更多的芯片和服务器。辉达(Nvidia)行政总裁黄仁勋表示，市场对DeepSeek R1的担忧是毫无根据，且对其的理解完全是错误，人工智能(AI)行业对算力的需求仍然极高，能产生更复杂答案的推理AI，提升了 ...

今天，字节跳动旗下的豆包大模型 1.5 Pro 模型正式亮相，不仅全面升级了模型的核心能力，也融合并进一步提升了多模态能力，在多项公开评测基准中也是全球领先水平。 Doubao-1.5-pro：多项基准测试综合得分优于 GPT-4o、Claude 3 ...

具体来讲，xLSTM 7B 模型基于 DCLM 数据集，使用 128 块 H100 GPU，在 8192 上下文长度下训练了 2.3 万亿 token。研究者对原始 xLSTM 架构进行了改进，确保训练效率和稳定性，同时保持任务性能。新架构依靠 ...