在人工智能技术日新月异的今天,中电九天智能科技有限公司突围而出,其近期申请的专利引发了业界广泛关注。这项专利名为一种基于LoRA-MoE的大模型微调方法、系统、设备及介质,标志着该公司在AI微调技术领域又一突破,充分体现了其在技术革新方面的不懈努力。该专利不仅展示了深厚的技术积淀,也为大模型微调提供了一种新的解决方案,有望在显存的使用效率和微调效果上形成颠覆性进展。 此次专利的核心技术结合了LoR ...
选择性自我监督微调(Selective Self-to-Supervised ...
8 个 H100 显卡训练 1 小时,即可让所训练的 Qwen2.5-Math-CFT 模型媲美 DeepSeek-R1 的性能。背后“秘诀”只有一个:采用由加拿大滑铁卢大学团队和美国卡内基梅隆大学团队提出的批判性微调(CFT,Critique ...
最近,CMU、滑铁卢大学等机构的3名华人学者就发表了一篇论文,针对SFT做出了更进一步的改进,提出批判式监督微调方法(CFT,Critique Fine-Tuning),旨在让模型更有效地模仿模仿数据集。
背后“秘诀”只有一个:采用由加拿大滑铁卢大学团队和美国卡内基梅隆大学团队提出的批判性微调(CFT,Critique Fine-Tuning)模型优化技术。
2 天on MSN
近期,网络上掀起了一阵关于新款iPad设计的讨论热潮,焦点在于其侧面新增的“便携式电脑 中国制造”标识。这一变化打破了以往iPad在背部下方标注信息的传统布局。
在U-Hard上的平均token数为68.2,而SFT需要393.3个token,内存消耗大幅降低。在DeepSeek-R1-Distill模型上仅用561个标记就优于SFT的3440个标记,显示了其极高的效率。
2025年3月18日,金融界消息,国网河南省电力公司(以下简称“国网河南”)近日向国家知识产权局提交了一项创新专利申请,专利名称为“基于大模型微调的能源电力政策文件知识库检索方法”,该专利公开号为CN119621927A,申请日期为2024年10月。这一新方法的发布引发了业界的广泛关注,标志着在电力政策文件检索技术上的一次重大飞跃。
具体地,研究者利用一类新的微调方法来优化测试时计算,通过最小化累积悔值的概念产生了一种被称为元强化微调(Meta Reinforcement Fine-Tuning,MRT)的解决方案(或范式),从而为评估现有推理模型(如 ...
但是别忘了开源模型的最大好处是提供了“巨人的肩膀”啊! 微调DeepSeek-V3/R1,低成本打造高质量私有模型、提高业务竞争力 ...
20 小时on MSN
近日,中国一汽与大众汽车集团在德国达成的全新战略合作协议,标志着双方在新能源转型道路上迈出了重要一步。此次合作策略相较于以往的“油电并进”,更加侧重于“油电混合并进”,这一调整无疑是对当前市场动态的精准把握与务实响应。
一些您可能无法访问的结果已被隐去。
显示无法访问的结果