坚持做有价值的事，一定会有意义。 文/以撒 年关将至，AI业界卷王辈出，好几家公司都在最近拿出了重量级的大模型。虽然很热闹，不过放在平时，你可能会觉得这和游戏公司没什么太大的联系。 但这次的情况不太一样：在被称为「新一代国产LLM之光」的大模型背后，我们听到一个特别神奇的，和游戏行业有千丝万缕联系的故事。 1月15日，MiniMax发布了公司首个开源模型——MiniMax-01系列，首次在4000 ...

基于以上一系列创新，MiniMax 最终得到了一个拥有 32 个专家 共 4560 亿参数 的 LLM，每个 token 都会激活其中 459 亿个参数。MiniMax 将其命名为 MiniMax-Text-01。在执行推理时，它的上下文长度最高可达 ...

大语言模型（LLM）具有语言理解能力、类人文本生成能力、上下文感知能力和强大的问题解决能力，这使其在各个领域（如搜索引擎、客户支持和翻译）都具有重要价值。本文将探讨LLM如何对安全和隐私产生积极影响，使用LLM可能存在的潜在风险和威胁，以及LLM的固 ...

继公布全模态模型家族后，时隔5个月，MiniMax再亮相两大模型，且模型权重完全开源。而且与GPT-4o和Claude-3.5-Sonnet性能平起平坐，尤其在上下文窗口方面表现出色，处理能力甚至达到其他顶尖模型的 20 - 32倍。

随着2024年的结束，我们可以回顾并认识到，AI已经取得了令人瞩目且开创性的进展。按照当前的发展速度，几乎无法预测2025年AI将带来怎样的惊喜，但有几个趋势为企业描绘了一幅来年可期以及如何充分准备的动人画卷。

针对这一挑战，Sakana ...

理解LLM的幻觉问题 大型语言模型本质上是预测文本或数据的工具。它们在海量文本数据上训练，采用 Transformer架构来学习序列间的关联关系。

36氪获悉，大模型架构创新公司元始智能（RWKV）已于12月完成数千万人民币天使轮融资，投资方为天际资本。本轮融资后，公司估值较此前种子轮翻倍，而本轮融资将主要用于团队扩充、新架构迭代以及产品商业化落地。 OpenAI旗下的ChatGPT于2022年11月发布，并掀起全球生成式AI浪潮后，已经有两年多的时间。而支撑起ChatGPT的Transformer架构以及Scaling Law（缩放定律）， ...

另一方面，对于不同patch之间，使用channel independent策略，用一个全局Transformer专注于建模时间维度间的关系。 首先，对不规则时间序列按照等窗口长度、不重叠的分割成多个patch。每个patch内部，包括多个变量在不同时间步的取值。为了充分刻画这种不规则的变量 ...