近日，2025年度国际学习表征会议（The Thirteenth International Conference on Learning Representations, 简称 ICLR 2025）在新加坡博览中心举行。实验室陈渤教授团队胡昕悦（博一）和刘昕洋（研三）两位同学的论文《Enhancing Uncertainty Estimation and Interpretability with Bayesian Non-negative Decision Layer》和《Advancing Graph Generation through Beta Diffusion》分别被录用，并于4月24日在新加坡与参会学者进行海报交流。

ICLR会议作为深度学习和机器学习领域的国际顶级会议，于2013年由深度学习领域的两位“巨头”、图灵奖获得者Yoshua Bengio和Yann LeCun牵头创办，获得了学术研究者们的广泛认可。在 Google Scholar 的学术排名中，与Science、Nature和Cell同处TOP 10，与 NeurIPS、ICML并称为机器学习领域三大顶会。

大模型不确定性估计相关成果进展

在高风险人工智能场景中，不确定性估计与可解释性缺一不可。本研究提出一种新型输出层结构——贝叶斯非负决策层（Bayesian Non-Negative Decision Layer, BNDL），通过结合贝叶斯建模与非负矩阵分解，有效增强了深度模型对预测不确定性的量化能力和决策过程的透明性。成果题目《Enhancing Uncertainty Estimation and Interpretability with Bayesian Non-Negative Decision Layer》。

论文链接：https://openreview.net/pdf?id=xJXq6FkqEw

随着深度学习在医疗诊断、自动驾驶等高风险领域的不断扩展，模型的可部署性越来越依赖于对其预测结果的不确定性判断能力与决策过程的可解释性。然而，现有深度模型往往被视为“黑箱”系统，其对输入扰动的敏感性和缺乏透明度限制了其在现实场景中的应用。而当前常见的贝叶斯方法虽可提升不确定性建模效果，但在高维空间中仍面临计算开销大、表达能力受限的问题。

图1、BNDL概率图模型

为此，团队设计了一种创新结构——贝叶斯非负决策层（BNDL），将非负矩阵分解机制引入神经网络输出层，并融合贝叶斯推断方法，在解耦表示和概率建模之间建立桥梁。如图1所示，该模型通过引入非负约束映射矩阵，将分类输出分解为易于解释的潜在因子，在此基础上引入先验分布，实现了对预测置信度的量化与推理过程的可视化统一建模。

图2、部分实验结果

实验评估表明，BNDL在Imagenet-1k、CIFAR-10等基准数据集上的分类任务中实现了性能的提升，特别是在不确定性估计方面展现出强大的优势。如图2所示，对于低不确定性样本，模型表现出极高的置信准确性；而对于高不确定性样本，BNDL的可解释性设计揭示了误判的原因，支持更合理的后续干预。

我们在ICLR 2025新加坡现场展示该成果时，与多位来自不同国家的研究人员和业界专家进行了深入交流，尤其受到从事高可靠AI研究群体的热烈关注。该框架为构建可信、透明的智能系统提供了理论与技术上的新思路。

图3、ICLR 2025线下交流

总体而言，BNDL模型以不确定性估计和可解释性为核心，提供了一种有效的方法来弥合传统深度学习模型在透明性和置信度量化方面的缺陷。其设计旨在满足复杂场景中的多样化需求，通过更高的预测准确性和灵活性，为高风险决策场景中的深度学习应用提供了重要支持，具有广泛的实际应用潜力。

结构图生成相关成果进展

在针对图结构数据的生成模型的发展下，本研究利用扩散模型并结合特有的稀疏先验，提出了基于Beta Diffusion的图扩散模型（Graph Beta Diffusion，GBD）, 利用 Beta 扩散过程，能够有效地同时对连续和离散变量进行建模。同时该方法可通过训练数据中拓扑结构的统计特性预先定义GBD中的浓度参数来调控每个图元素的生成过程，从而稳定生成关键的图拓扑结构，保持其他部分的灵活性来增强生成样本的质量。成果题目《Advancing Graph Generation through Beta Diffusion》。

论文链接：https://openreview.net/pdf?id=x1An5a3U9I

近年来，人们对图结构数据生成领域的关注明显增加，特别是为图结构数据量身定制的生成模型的发展。然而，传统扩散模型通常依赖于高斯分布或离散分布来构建扩散过程，这可能难以适应图结构数据其独有的离散和连续分量的混合特性。图结构通常在邻接矩阵中具有离散特征，在节点特征中具有连续特征，这些特征通常表现出丰富的统计特性，包括稀疏性、有界性、偏态分布和长尾特性。考虑到图结构数据固有的此类特征，高斯分布和离散分布难以同时建模这些特征。这种失配现象可能会给精确建模图结构数据分布带来一定的限制。能否利用Beta分布对稀疏数据建模的独有特性将其迁移至对此类复杂数据的建模中是一大挑战。此外，如何设计由图数据驱动的专有扩散模型更是当前图生成领域的重要研究方向。

图1、GBD 的正向和反向扩散过程总览

为此，我们扩展了Beta Diffusion在图结构数据建模上的探索，提出了基于Beta Diffusion的图生成模型（GBD）。该方法可通过训练数据中拓扑结构的统计特性预先定义GBD中的浓度参数来调控每个图元素的生成过程，从而稳定生成关键的图拓扑结构，同时保持其他部分的灵活性来增强生成样本的质量，且能够在扩散模型框架内灵活整合图形归纳偏差，因此具有更广泛的应用价值。

图2、GBD生成结果示例

实验结果表明，GBD在多个通用图和分子图基准中与现有基于扩散模型的图生成模型比较取得了显著的性能提升，展示了它能够捕捉真实图数据中固有的离散和连续特征之间错综复杂的平衡。

团队在ICLR 2025新加坡现场展示该成果时，与多位来自不同国家的研究人员和业界专家进行了深入交流，尤其受到从事生成模型，图学习及AI4Science研究群体的热烈关注。该方法为基于图数据驱动且结合稀疏先验的扩散过程的生成模型提供了新的框架。

图3、ICLR 2025线下交流

总体而言，基于Beta扩散过程的图生成模型利用浓度调制技术能够在扩散模型框架内灵活整合图形归纳偏差，因此具有更广泛的应用价值。同时，GBD能够生成更合法、更新颖、更贴近训练数据分布的高质量图结构样本，在图结构数据的理解、社交网络的预测、分子合成、药物发现等领域具有较好的应用潜力。