前有Mooncake/DeepSeek等公司采用这种技术来优化大模型的推理服务，后有Nvidia/PyTorch基于该技术孵化下一代LLM服务系统。 甚至最近，黄仁勋也在2025 GTC的舞台上提到了PD分离（Prefill-Decode ...

这种方法主要是把像ChatGPT、Qwen、DeepSeek这些成型的LLM当作 “专家” ，当给一个输入的时候，有分类能力的Router（路由器）就会把这个输入分配给合适的LLM处理。

近年来，AI技术的飞速发展让大模型的应用场景不断拓展。而在路由LLM领域，一项迄今为止最全面的研究引起了广泛关注。这项研究由中山大学和普渡大学的研究人员主导，收集并整理了8500多个LLM在12个基准测试中的2亿条性能记录，揭示了Model-leve ...

路由LLM的应用前景广阔，它能够将不同的LLM纳入候选池中进行路由。这种灵活性使得其适用范围极广，比如，客服系统可以在机器人无法处理的情况下轻松切换到更加智能的模型；而在处理问题时，不同强弱程度的LLM也能发挥其各自的优势。

在数字化时代，数据分析已成为企业决策的核心驱动力。然而，随着数据量的爆发式增长和业务复杂性的提升，传统的数据分析工具已难以满足企业对高效、精准和深度洞察的需求。本文将探讨大语言模型（LLM）、图检索增强生成（Graph ...

近段时间，著名 AI 科学家 Andrej Karpathy 提出的氛围编程（vibe coding）是 AI 领域的一大热门话题。简单来说，氛围编程就是鼓励开发者忘掉代码，进入开发的氛围之中。更简单地讲，就是向 LLM ...

近期，网络安全领域迎来了一次震撼性的曝光。据TechRadar报道，Cato CTRL的威胁情报团队宣布了一项惊人的发现：他们成功利用一种前所未有的攻击手段，突破了多个顶尖大语言模型（LLM）的防御，其中包括ChatGPT-4o、DeepSeek-R1和DeepSeek-V3等。值得注意的是，实施这次攻击的研究人员并无恶意软件开发的背景。

资本支出的第二个用途，是使用GPU进行大语言模型训练。去年有一段时间，人们曾经认为每一次大语言模型的更新都需要数量级更多的GPU，但随着Deepseek大模型取得突破，这种情况结束了。如今，整个行业包括我们公司，都能利用现有的GPU实现更高的大语言模型训练效率，无需像之前预期的那样大量增加GPU。第三个用途与云业务相关。我们购买GPU服务器，再出租给客户，从中获取回报。这可能不是我们投资组合中回报 ...

在生成式AI快速崛起的浪潮中，Google以全新的产品矩阵和技术升级迎来属于它的“LLM时刻”。从文本到图像，从工具到生态，AI全家桶的发布让人们看到技术无边的可能性。本文将带你深入解读这些突破背后的技术逻辑与市场策略，探讨Google如何在AI竞赛 ...

3月17日，阿里云正式宣布启动名为“T项目”的下一代AI技术研发计划，聚焦AI引擎、大型语言模型（LLM）及多模态技术等前沿领域。该项目通过“借调”方式吸纳员工参与，旨在加速技术突破与落地，应对市场需求。 技术布局深化，探索未知领域  “T项目”的启动标志着阿里云在AI领域的进一步加码。据知情人士透露，项目将集中资源探索AI引擎优化、LLM能力提升及多模态技术融合，推动AI技术从理论研究向实际应用 ...

关于iOS19，大家最期待的升级应该就是LLM Siri，但根据最新爆料，该功能在苹果公司内部似乎被推迟了，而且推迟长达数年。 此前有消息提示，苹果计划在iOS19.4中推出LLM Siri，现在看来，今年6月的WWDC 2025上应该看不到这项功能了。

Preface前言杨松琳专注于线性注意力机制、机器学习与大语言模型交叉领域，聚焦高效序列建模的硬件感知算法设计，围绕线性注意力、循环神经网络优化开展研究，并取得多项研究成果，多篇论文被 ICLR 2025、NeurIPS 2024 ...