盖世汽车讯 5月28日，人工智能（AI）公司赛轮思（Cerence AI）宣布与Arm建立战略合作伙伴关系，Cerence AI将利用Arm的综合软件库Arm® Kleidi™，提升其嵌入式小语言模型（SLM）CaLLM™ Edge的功能和性能。

在大语言模型（LLM）领域，推理效率是制约其实际应用的关键因素之一。谷歌 DeepMind 的 Gemini diffusion 曾以 1400 tokens / 秒的生成速度震惊学界，展现了扩散模型在并行生成上的潜力。然而，开源扩散 LLM ...

第三种是ReasonRR-NoReason，这是ReasonRR的一个变体，研究者在推理时强制禁用了它的推理过程。想象成这样：虽然这个评价员被训练成先思考再判断，但现在我们强制它跳过思考环节，直接给出判断。具体实现方式是在推理时预先填充一个固定的"我 ...

Llama3.1-8B-Instruct在错误奖励在提升仅1.3%，而随机奖励性能暴减4.9%。 然而，这种频繁且高质量的代码推理能力在其他模型中并不存在。在应用RLVR后，无论奖励质量如何，Qwen-Math 的代码推理频率平均增加到超过90%。

在使用标准 GRPO 裁剪的情况下，随机奖励为 Qwen2.5-Math-7B 带来了约 21% 的性能提升，并增加了代码推理模式。但是，当我们通过上述三种方法中的任何一种消除裁剪效应时，随机奖励并未带来任何改善。

经过微调的 Simulation LLM 可通过调整在 Prompt 中添加 Useful/Noisy ...

具体而言，llm-d采用原生Kubernetes架构、基于vLLM的分布式推理和智能AI感知网络路由，可以将先进的推理能力集成到现有的企业IT基础设施中，从而显著降低与高性能AI加速器相关的总体拥有成本（TCO）。

全球开源解决方案 领导者 红帽公司近日宣布启动革命性开源项目llm-d，专门应对生成式AI大规模推理的迫切需求。该项目汇聚了CoreWeave、Google Cloud、IBM ...

在一项基于14B规模模型的少量数据微调评测中，对比仅基于激活值进行剪枝的策略（NVIDIA Minitron方案的），同时采用CLAP和SLNP这两种「宽深调整」（实为权重重置与结构调整）技术的Pangu ...

随着 LLM 不断发展、功能逐渐强大，我们发现可以基于 LLM 做很多具有挑战性的应用。比如，当我们公司内正在切换语言栈，那么基于 LLM 进行现有项目的迁移，无疑是一个高效的方式； 特别是从 Go 语言迁移到 Rust ...

红帽推出企业Linux 10以及llm-d社区 赋能生成式AI推理需求,linux,红帽,微软,谷歌,工具包,混合云 ...