基于以上一系列创新，MiniMax 最终得到了一个拥有 32 个专家 共 4560 亿参数 的 LLM，每个 token 都会激活其中 459 亿个参数。MiniMax 将其命名为 MiniMax-Text-01。在执行推理时，它的上下文长度最高可达 ...

大语言模型（LLM）具有语言理解能力、类人文本生成能力、上下文感知能力和强大的问题解决能力，这使其在各个领域（如搜索引擎、客户支持和翻译）都具有重要价值。本文将探讨LLM如何对安全和隐私产生积极影响，使用LLM可能存在的潜在风险和威胁，以及LLM的固 ...

继公布全模态模型家族后，时隔5个月，MiniMax再亮相两大模型，且模型权重完全开源。而且与GPT-4o和Claude-3.5-Sonnet性能平起平坐，尤其在上下文窗口方面表现出色，处理能力甚至达到其他顶尖模型的 20 - 32倍。

随着2024年的结束，我们可以回顾并认识到，AI已经取得了令人瞩目且开创性的进展。按照当前的发展速度，几乎无法预测2025年AI将带来怎样的惊喜，但有几个趋势为企业描绘了一幅来年可期以及如何充分准备的动人画卷。

针对这一挑战，Sakana ...

理解LLM的幻觉问题 大型语言模型本质上是预测文本或数据的工具。它们在海量文本数据上训练，采用 Transformer架构来学习序列间的关联关系。

36氪获悉，大模型架构创新公司元始智能（RWKV）已于12月完成数千万人民币天使轮融资，投资方为天际资本。本轮融资后，公司估值较此前种子轮翻倍，而本轮融资将主要用于团队扩充、新架构迭代以及产品商业化落地。 OpenAI旗下的ChatGPT于2022年11月发布，并掀起全球生成式AI浪潮后，已经有两年多的时间。而支撑起ChatGPT的Transformer架构以及Scaling Law（缩放定律）， ...

进入今年以来，如何磕破头也要挤进大LLM应用的赛道成为了每一位开发者的心事。 但上车LLM应用的人都知道，基于大模型做开发，远没有外界所说的“调接口”那么简单，开发人的痛，没人懂。 比如，光定制代码就能把你搞到没脾气。大家也许不知道，LLM 应用 ...

训练模型的时间也不长，仅需要几个小时即可完成。 目前，所有 LLM 几乎都以 Transformer 提出的 Attention 机制作为基础，要深入理解 LLM 的原理和结构，深入、全面地理解 Transformer 是必经之路。 基于 Transformer 经典论文《Attention is All You Need》，我们在 ...