本文一作张申傲是 美国西北大学 二年级博士生，研究方向涵盖大语言模型与强化学习，尤其关注LLM的对齐，推理，以及智能体。其研究旨在构建能够主动获取信息并自我提升以实现超越人类水平的智能系统。

对此，西北大学与Google、谷歌DeepMind团队质疑了传统强化学习与反思的关系，并提出了贝叶斯自适应的强化学习方法， 首次解释了为什么、如何、以及何时应该反思并探索新策略 。 事实上，现有的基于马尔可夫假设的强化学习范式存在天然的局限——探索（exploration）仅发生在训练阶段，代理在部署（测试）时通常只会利用（exploit）训练中学到的确定性策略。

贝叶斯推断为不确定性条件下的推理、复杂系统建模以及基于观测数据的预测提供了严谨且功能强大的理论框架。尽管贝叶斯建模在理论上具有优雅性，但在实际应用中经常面临显著的计算挑战：后验分布通常缺乏解析解，模型验证和比较需要进行重复的推断计算，基于仿真的工作流程（如校准、参数恢复、敏感性分析）的计算复杂度极高。这些计算瓶颈长期制约着贝叶斯工作流程的实际部署，直到 BayesFlow ...

贝叶斯定理描述了在已知先验概率的情况下，如何利用新证据来更新信念。贝叶斯的决策思维，正是源自这一核心理念。它是一种基于概率推理的决策方法，其核心是利用贝叶斯定理来更新概率分布，从而做出最优决策。

首先，马尔可夫策略的最优性可以通过简单记忆训练解决方案实现。由于探索仅限于训练阶段，系统能够通过反复试错发现回报最大化的行动序列，并在测试时完全利用这些记忆的解决方案。这就像你在考试前反复练习标准题目，考试时直接套用记忆的解法，而不是实时思考和适应。

为解决非洲结核病 (TB)负担的空间异质性问题，研究人员通过整合14国212个地理定位数据点，采用贝叶斯地理统计模型 (Bayesian geostatistical modelling)首次绘制了5×5 km精度的非洲TB流行图谱。研究发现非洲存在显著的国家/次国家级差异（最高7.32/1000 vs 最低0.25/1000），揭示温度 (OR=1.27)、降水 (OR=1.34)与海拔 ...

【编辑推荐】为解决颈动脉支架置入术（CAS）后高灌注现象（HPP）风险预测问题，研究人员利用贝叶斯估计分析术前 CT 灌注成像（CTP）参数。发现 CBV 比值与 HPP 显著相关（AUC=0.95），为临床预测 HPP 提供新方向。