📐 优化/理论¶

📷 CVPR2026 · 38 篇论文解读

📌 同领域跨会议浏览： 🧪 ICML2026 (64) · 🔬 ICLR2026 (47) · 🤖 AAAI2026 (21) · 🧠 NeurIPS2025 (126) · 📹 ICCV2025 (7) · 🧪 ICML2025 (61)

🔥 高频主题： 联邦学习 ×16 · 扩散模型 ×2 · 个性化生成 ×2 · 对抗鲁棒 ×2

ACE-Merging: Data-Free Model Merging with Adaptive Covariance Estimation: 本文从理论上证明了微调参数差蕴含输入协方差信息，据此提出 ACE-Merging，通过自适应协方差估计、集体结构先验和谱精炼三步实现无数据闭式模型合并，在 GPT-2 上比之前方法平均提升 4%，在 RoBERTa-Base 上提升 5%。
BD-Merging: Bias-Aware Dynamic Model Merging with Evidence-Guided Contrastive Learning: 提出 BD-Merging 框架，通过 Dirichlet 证据建模 + 邻域差异分数（ADS）+ 差异感知对比学习，训练去偏路由器来自适应分配模型合并权重，显著提升合并模型在测试时分布偏移和未见任务上的鲁棒性与泛化能力。
Beyond Euclidean Gossip: KL-Barycentric Consensus on Heterogeneous and Imbalanced Images: 针对完全去中心化训练在 non-i.i.d. 数据和客户端规模不均衡下崩坏的问题，本文把"邻居间平均模型参数"这个 Euclidean gossip 操作，换成在指数族期望参数空间里做线性混合——它恰好等价于一次曲率感知的 KL 重心共识（自然梯度步），无需构造或求逆 Fisher 矩阵就把单轮复杂度从 \(O(d^3)\) 降到 \(O(d)\)，并给出一个开销与 Adam 几乎相同的实现 KL-consensus Adam，在 CIFAR-100 上比 Euclidean 共识基线高出约 20% 准确率。
Conditional Factuality Controlled LLMs with Generalization Certificates via Conformal Sampling: 提出 CFC（Conditional Factuality Control），一种后验保形框架，通过增广分位数回归学习特征条件化的接受阈值，为LLM/VLM采样输出提供条件覆盖率保证，在保持紧凑预测集的同时显著改善难题子群的可靠性。
DABO: Difficulty-Aware Bayesian Optimization with Diffusion-Learned Priors: DABO 把"优化难度"作为一等条件变量贯穿整条 freeze-thaw 超参数优化流水线——用三层难度刻画 + 条件扩散模型生成 100 万条带难度标注的合成学习曲线，训出难度感知的 PFN 代理与自适应采集函数，在 75 个任务上比当前 SOTA（ifBO）平均降低 11–18% 的 regret，且越难的任务收益越大。
DC-Merge: Improving Model Merging with Directional Consistency: DC-Merge 发现模型合并的关键在于保持合并后多任务向量与原始单任务向量之间奇异空间方向的一致性，通过奇异值平滑 + 共享正交子空间投影两步操作，在 Vision 和 Vision-Language 任务上均取得 SOTA 合并效果。
Defending Unauthorized Model Merging via Dual-Stage Weight Protection: 提出 MergeGuard，一种主动式双阶段权重保护框架：Stage 1通过L2正则化分散任务关键权重，Stage 2注入结构化扰动破坏合并兼容性，在保持保护模型<1.5%性能损失的同时使合并模型精度下降高达90%。
Domain Sensitive Federated Learning with Fisher-Informed Pruning: FEDFIP 用每个域的 Fisher 信息估计通道重要性，在服务器端拼出一个全局共享剪枝掩码、客户端再「重新激活」少量本地关键通道，配合域原型结构对比正则和「只聚合共享通道」的聚合策略，在多域联邦场景里既显著压小模型、又比一众 FL baseline 更准更稳。
DP-FedAdamW: An Efficient Optimizer for Differentially Private Federated Large Models: 这篇论文发现把 AdamW 直接搬到差分隐私联邦学习（DPFL）里会失灵，定位出"二阶矩方差放大、DP 引入的二阶矩偏置、客户端漂移加剧"三个病因，提出首个面向 DPFL 的 AdamW 优化器 DP-FedAdamW——用按块聚合二阶矩、显式扣掉 DP 噪声偏置、本地更新对齐全局方向三招对症下药，在 Tiny-ImageNet（Swin-Base, ε=1）上比 SOTA 高 5.83%。
Dynamic Momentum Recalibration in Online Gradient Learning: 从信号处理视角揭示固定动量系数在偏差-方差权衡上的固有缺陷，提出SGDF优化器，通过在线计算最优时变增益（基于最小均方误差原则）动态平衡梯度估计的噪声抑制和信号保持，在多种视觉任务上超越SGD动量和Adam变体。
Enhancing Visual Representation with Textual Semantics: Textual Semantics-Powered Prototypes for Heterogeneous Federated Learning: 针对联邦原型学习中现有方法破坏类间语义关系的问题，提出FedTSP方法利用预训练语言模型构建保留语义结构的文本原型，在异构联邦学习中显著提升性能并加速收敛。
Fed-ADE: Adaptive Learning Rate for Federated Post-adaptation under Distribution Shift: 提出 Fed-ADE 框架，通过 uncertainty dynamics estimation 和 representation dynamics estimation 两个轻量级分布漂移信号，为每个客户端在每个时间步自适应调整学习率，实现联邦部署后无监督适应。
FedAdamom: Adaptive Momentum for Improved Generalization in Federated Optimization: 本文用扩散理论解释了「FedAdam 收敛快但泛化差」的根因——自适应学习率削弱了对平坦极小的偏好——并据此提出 FedAdamom：把自适应机制从学习率挪到动量系数上，从而既保住快速逃离鞍点的能力、又恢复对平坦极小的选择，在 CIFAR-10/100、Tiny-ImageNet 与 LEAF 上同时取得更快收敛和更高精度。
FedAlign: Differentially Private Distribution Alignment for Non-IID Federated Learning: FedAlign 让每个客户端把本地数据的前四阶统计矩（均值、方差、偏度、峰度）加噪上传，服务器聚合成全局参考分布再广播回去，客户端据此对齐本地采样数据的分布——在差分隐私约束下同时缓解 Non-IID 异质性和隐私泄露，CIFAR-10 上比最强基线再涨约 4%。
FedRAC: Rolling Submodel Allocation for Collaborative Fairness in Federated Learning: FedRAC 通过"随训练进程动态拉开的声誉计算"+"按历史频率轮转构造子模型再按声誉分配"两个模块，既让贡献高的客户端拿到更好的子模型（公平），又保证全局模型每个神经元被均匀训练（不掉精度），在公平性和准确率上同时超过现有协作公平方法。
FedRG: Unleashing the Representation Geometry for Federated Learning with Noisy Clients: 针对联邦学习里"客户端标注有噪声 + 数据非独立同分布"的双重难题，FedRG 抛弃了不可靠的 small-loss 启发式，改从表征几何判断样本干净与否——先用自监督在超球面上学出与标签无关的表征，再用 vMF 混合模型把"几何证据"和"标注标签证据"在同一空间里做一致性比对来挑出噪声样本，最后用个性化噪声吸收矩阵做鲁棒优化，在多个数据集和四种噪声场景下都拿到 SOTA。
FedSDR: Federated Graph Learning with Structural Noise Detection and Reconstruction: 针对子图联邦学习里"客户端图结构被随机加边/删边污染"这一被忽视的问题，FedSDR 用一个谱域结构保真度指标 \(S_{\text{ide}}\) 把被污染的客户端揪出来、在聚合时降权（SNAA），再借健康全局模型的特征相似度对本地受损图做"剪虚假边 + 补缺失边"的修复（RLSR），在 7 个数据集上显著超过 17 个联邦基线。
FedSST: Rethinking Fair Federated Graph Learning under Structural Shift: FedSST 用一张共享"探针图"探测各客户端 GNN 的结构偏好、压成一个标量信号并映射成"偏爱中间客户端"的公平权重，再用这个权重同时驱动差异化的本地训练轮数分配（SLTA）和两级自适应聚合（SSCA），在跨域图分类上同时提升平均精度与降低客户端间精度方差。
Few-for-Many Personalized Federated Learning: 把个性化联邦学习重构成"用 K 个共享模型服务 M 个客户端"（K≪M）的少对多多目标优化问题，并用可微的平滑 Tchebycheff 集合标量化（STCH-Set）联合训练这 K 个模型，只用 3 个模型就在视觉、NLP 和真实医学影像上稳定超过现有方法。
From Selection to Scheduling: Federated Geometry-Aware Correction Makes Exemplar Replay Work Better under Continual Dynamic Heterogeneity: 针对联邦持续学习里"光会挑样本、不会用样本"的痛点，FEAT 不改回放策略，而是用一组所有客户端共享的固定 ETF 原型，在训练时做几何结构蒸馏拉齐各客户端的特征角度、在推理时用基于能量的几何校正把尾类特征从头类子空间里"拽回来"，作为即插即用模块叠在 Re-Fed+/FedCBDR 上即可稳定涨点。
Generalized and Personalized Federated Learning with Black-Box Foundation Models via Orthogonal Transformations: FEDOT 把冻结的黑盒基础模型当成纯特征提取器，每个客户端在它输出的 embedding 上叠一个本地正交变换做个性化、所有客户端共享并聚合一个全局分类器做泛化；作者证明正交约束（条件数 \(\kappa=1\)）能把跨客户端的梯度冲突上界压到最小，从而在严重 non-IID 下同时拿到 SOTA 级的泛化和个性化，且全程不碰 FM 内部参数。
Globscope: Toward a Global View of the Loss Landscape: 用一个可逆的自编码器把一堆独立训练好的网络（每个模型展平成参数向量）压进二维潜空间，再在这个潜空间上把"loss"当作标量场做拓扑分析（merge tree），第一次给出能同时容纳多个极小值/盆地及其连通关系的全局损失景观可视化，并用它复现 mode connectivity 与置换对称（re-basin）等理论现象。
GR-Gauge: Cost-efficient Training Configuration By Gauging the Gradient Redundancy: 把模型训练看成"梯度在时间和样本两个维度上的投票过程"，提出梯度冗余度指标 GRT/GRS 作为一把跨模型通用的"健康度尺子"，用它来指导学习率和 batch size 的超参搜索、早停和状态复用，从而在不跑昂贵验证集的前提下把达到目标精度的总时间最多压掉 80%+。
HFedATM: Hierarchical Federated Domain Generalization via Optimal Transport and Regularized Mean Aggregation: 本文首次形式化「分层联邦域泛化（HFedDG）」并推导出按客户端/中转站/服务器三级分解的泛化误差界，据此提出 HFedATM——一个无需访问数据、只改服务器聚合步骤的即插即用方法：先用 Filter-wise Optimal Transport 把各中转站的卷积滤波器对齐，再用 Shrinkage-aware RegMean 闭式融合线性层，在视觉与 NLP 基准上稳定提升 FedAvg/FedProx/FedSR/FedIIR 等多种基线。
HyperNAS: Enhancing Architecture Representation for NAS Predictor via Hypernetwork: HyperNAS 把"超网络生成架构权重"当作一个辅助任务挂在 NAS 性能预测器旁边，让两者共享同一个 GCN 编码器，再配上带偏好系数的自适应多任务损失，从而在标注样本极少时学到泛化更好的架构表示——CIFAR-10 上用至少 5 倍更少的样本就拿到 97.60% top-1。
InTrain: Intrinsic Trainability for Zero-Cost Neural Architecture Search: InTrain 把"一个架构能不能被训好"形式化成一个不依赖训练过程的内在不变量，用前向激活的几何容量（参与比）和反向梯度的优化韧性（梯度健康度）两个分量、再以尺度不变的乘性耦合合成单一打分，在 NAS-Bench-101/201 上达到与集成式代理相当、并超过所有单指标代理的排序相关性。
Label-Free Cross-Task LoRA Merging with Null-Space Compression: 观察到LoRA微调过程中下投影矩阵A的零空间比率随训练下降且与性能强相关，据此提出NSC Merging，一种无标签、任务无关的LoRA合并方法，在20个异构视觉任务、6个NLI任务和VLM评估上达到SOTA。
Learning to Learn Weight Generation via Local Consistency Diffusion: Mc-Di 把元学习的双层优化和扩散式权重生成结合起来，并把原本只学"全局最优权重"的扩散过程改造成"局部一致性扩散"——让模型沿优化轨迹上的多个中间权重逐段重建，从而在迁移学习、小样本、域泛化、语言模型微调等需要频繁更新权重的任务上同时拿到更高精度和更低推理延迟。
Mapping Networks: 本文提出 Mapping Networks——一种"元参数化"方法，用一个低维可训练隐向量 \(z\)（配合固定的、被 \(z\) 调制的映射权重）来生成目标网络的全部参数，从而把训练从高维权重空间搬到低维隐空间，在图像分类、deepfake 检测、分割等任务上以约 500× 更少的可训练参数达到甚至超过原网络的精度，同时显著抑制过拟合。
Model Merging in the Essential Subspace: 提出 ESM 框架，通过对参数更新引起的激活偏移做 PCA 构建"本质子空间"（而非直接对参数做 SVD），并用三级极化缩放增强关键参数、抑制噪声，在 ViT-B/32 的 20 任务合并中比 Iso-CTS 提升 3.2%（绝对准确率）。
OS-FED: One Snapshot Is All You Need: OS-FED 把客户端整段本地训练的累积梯度"画"成一张 224×224 的合成图像 + 一组可学习标签（一个 snapshot），每轮只传这一张图，服务器单步前反传就能恢复并聚合全局更新，相比 SOTA 把通信量降 1.5–16×、收敛加快 18–45%。
Revisiting Learning with Noisy Labels: Active Forgetting and Noise Suppression: 针对噪声标签学习长期依赖"挑干净样本"导致的过拟合瓶颈，本文提出即插即用框架 FINE：用基于机器遗忘的负交叉熵损失"主动遗忘"早期已吸收的噪声知识，再用基于负学习的互补标签损失"抑制"后期对噪声的过拟合，挂在 SED / ACT 等现有 SOTA 上即可稳定提升鲁棒性与泛化。
SCOPE: Semantic Coreset with Orthogonal Projection Embeddings for Federated learning: SCOPE 用一个零训练的视觉语言几何打分器，把每个样本压缩成表示性、多样性和负类边界接近度三个标量，再由服务器只聚合这些轻量统计量形成全局共识，指导各客户端先删语义异常样本、再删多数类冗余样本，从而在强非 IID 和长尾联邦场景下兼顾精度、鲁棒性和极低通信开销。
Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score: 提出 SemiCP 框架，通过最近邻匹配（NNM）分数将无标签数据引入 conformal prediction 的校准流程，在标注数据极少时将平均覆盖率偏差降低最多 77%，同时缩小预测集。
Single-Round Scalable Analytic Federated Learning: SAFLe 用「特征分桶 + 打散分组 + 稀疏嵌入求和」搭出一个确定性的非线性分类头，并证明它在数学上等价于一个高维稀疏线性回归，从而能直接套用解析联邦学习（AFL）的单轮闭式聚合律——既拿到非线性的表达力，又保留 AFL「一轮通信 + 对数据异质性完全不变」的两大优势，在三个视觉联邦基准上同时超过线性 AFL 和多轮 DeepAFL。
SubFLOT：基于最优传输的高效个性化联邦学习子模型抽取: SubFLOT 把"个性化剪枝"从客户端搬到服务端：用客户端的历史模型当作本地数据分布的代理，靠最优传输（Wasserstein 距离最小化）在服务端就为每个设备裁出贴合它数据的异构子模型，再配一个随剪枝率自适应的正则项稳住本地训练、一个同款 OT 对齐的聚合模块缓解参数漂移，在 8 个数据集上大幅超过 9 个 SOTA 联邦剪枝方法。
The Power of Decaying Steps: Enhancing Attack Stability and Transferability for Sign-based Optimizers: 将 sign-based 对抗攻击优化器重构为坐标级梯度下降，揭示其非衰减步长是导致不收敛和不稳定的根因，提出单调递减坐标步长策略 MDCS，理论证明 MDCS-MI 达到最优 \(O(1/\sqrt{T})\) 收敛率，在图像分类和跨模态检索任务上显著提升攻击迁移性与稳定性。
UniFusion: A Unified Image Fusion Framework with Robust Representation and Source-Aware Preservation: 提出 UniFusion 统一图像融合框架，利用 DINOv3 自监督语义先验构建跨模态共享特征空间，通过重建对齐机制保留源图信息，并以双层优化策略解耦重建与融合目标，在红外-可见光、多曝光、多焦点、医学图像等多任务上均达到 SOTA。