Weak-SIGReg: Covariance Regularization for Stable Deep Learning

会议: ICLR 2026
arXiv: 2603.05924
代码: GitHub
领域: 优化稳定性 / 表征正则化
关键词: covariance regularization, optimization stability, ViT, SIGReg, representation collapse, random sketching

一句话总结

将 LeJEPA 的 SIGReg 正则化从自监督学习迁移到监督学习，并提出计算高效的 Weak-SIGReg 变体——只约束协方差矩阵趋向单位矩阵（而非全部矩），用随机投影将内存从 \(O(C^2)\) 降至 \(O(CK)\)，在 ViT 无 BN/残差连接时将 CIFAR-100 准确率从 20.73%（坍缩）恢复到 72.02%，且匹配或超越专家精调的基线。

研究背景与动机

领域现状：现代神经网络训练依赖 Batch Normalization、残差连接等架构先验来稳定优化。在自监督学习中，VICReg/Barlow Twins 等方法已证明协方差正则化能防止表征坍缩。

现有痛点： - 去除 BN/残差后，或在小数据+强增强的低偏置架构（ViT）上，训练常崩溃（准确率 ~20%，退化为随机猜测） - 现有解决方案依赖精细的超参数调优（特定权重衰减、初始化方案、位置嵌入类型、学习率调度），脆弱且不通用 - 自监督学习中的协方差正则化（VICReg、SIGReg）尚未被系统性地应用到监督学习中

核心矛盾：优化稳定性依赖架构 trick 而非原理性方法——能否用正则化替代架构先验？

核心 idea：从交互粒子系统视角——将隐层表征视为在随机动力学下演化的粒子，训练中的"随机通量"（有限 batch、高学习率、数据增强）导致表征密度漂移到退化状态（维度坍缩），通过约束表征分布趋向各向同性高斯来防止

方法详解

整体框架

本文要回答一个问题：当神经网络去掉 BN、残差这类稳定化架构先验后，能不能只靠一个损失函数级的正则化项就把训练重新拉回正轨。作者给的物理图像是：把一个 batch 里隐层表征看成在 Dean-Kawasaki 随机动力学下演化的粒子，训练中的"随机通量"（有限 batch、高学习率、强数据增强带来的噪声）会让表征密度逐渐漂移、塌进低维流形——这就是维度坍缩。对策就是给损失加一项，把表征密度往各向同性高斯 \(\mathcal{N}(0,I)\) 推。

落到实现上路径很短：编码器 \(f_\theta\) 对一个 batch 输出表征 \(Z \in \mathbb{R}^{N \times C}\)，用一个训练前生成并固定的随机投影（草图）矩阵 \(S\) 把表征降到 \(K\) 维，在低维空间里算协方差，再用 Frobenius 范数惩罚它偏离单位矩阵的程度，最后把这一项叠到普通的交叉熵损失上一起优化。整个机制不依赖双塔结构、不需要增强视图，是个纯内部正则化器。论文的两件事都围绕这条路径：先确认从自监督借来的 SIGReg 在监督场景同样能救训练（Strong），再把它简化成只盯协方差的高效版本（Weak）。

关键设计

1. Strong SIGReg：匹配特征函数、约束全部矩，作为强基线

这是从 LeJEPA 借来的原始形式，本文先验证它在监督学习里也能止住坍缩，作为对照的强基线。它把表征随机投影到 \(K\) 维后，让经验特征函数（empirical characteristic function, ECF）去匹配高斯的解析特征函数——匹配整条特征函数等价于约束所有矩（均值、协方差、偏度、峰度……），把分布整体逼成完美的各向同性高斯球。约束得越全，分布形状被钉得越死，但代价是计算更重，需要逐次评估特征函数。它点出了一个问题：监督学习真的需要把分布形状钉到这么死吗？

2. Weak-SIGReg：只钉协方差 + 随机草图，把内存从 \(O(C^2)\) 降到 \(O(CK)\)

这是本文的核心贡献，直接回应上一点的疑问：在有监督信号给方向的前提下，防止维度坍缩主要靠把二阶矩（协方差）条件化即可，高阶矩的完整匹配是过度约束。于是只保留协方差这一项，损失写成

\[\mathcal{L} = \mathcal{L}_{CE} + \lambda \,\lVert \mathrm{Cov}(ZS) - I \rVert_F\]

其中 \(S \in \mathbb{R}^{C \times K}\) 是固定的随机草图矩阵。关键在"草图"这一步：高维层（如 \(C=1024\)）直接算 \(C\times C\) 协方差要 \(O(C^2)\) 的存储，而 Johnson-Lindenstrauss 引理保证随机投影基本保持几何结构，所以在 \(K\) 维（如 \(K=64\)）小空间里约束协方差，等价于约束原空间的结构，存储却降到 \(O(CK)\)——高维协方差正则化第一次变得实际可行。它和 VICReg、Barlow Twins 同源（都靠协方差项抑制坍缩），区别是本文把它当纯监督正则化器直接叠在 CE 上，不要双塔、不要增强视图，约 10 行 PyTorch 即可即插即用。

3. 为什么"弱"反而够：把坍缩当随机漂移看

回到整体框架里的粒子视角，这一点解释了 Weak 为什么不输 Strong。坍缩本质是随机通量把表征密度推向退化（低维）状态，要挡住它，关键是维持密度的各向同性——也就是协方差接近单位矩阵；分布的高阶形状（偏度、峰度）退不退化对"会不会坍缩"影响不大。所以 Strong 把密度逼成完美球形是"钉死全部矩"，Weak 只钉住协方差、允许更灵活的几何形状（论文图里画成星形而非正球），两者都能拦住密度退化，但 Weak 计算省得多。在纯 SGD 的深层 MLP 上，这一项就相当于一个"软 Batch Normalization"，靠维持良态协方差把梯度条件数压住。

训练策略

正则化项直接叠加在标准 CE 损失上，随机草图矩阵 \(S\) 在训练前一次性生成并固定不动。为保证公平对比，所有实验（基线与 SIGReg）统一使用梯度裁剪（norm=1.0）。

实验关键数据

ViT on CIFAR-100（无 BN/无残差）

配置	SIGReg	Top-1 Acc	状态
AdamW 基线	无	20.73%	坍缩
AdamW	Strong (LeJEPA)	70.20%	收敛
AdamW	Weak (本文)	72.02%	收敛

→ Weak-SIGReg 不仅恢复训练，甚至略优于计算更重的 Strong SIGReg

vs 专家精调

设置	SIGReg	Top-1 Acc
专家精调基线（特定 weight decay + init + PE + LR schedule）	无	70.76%
专家精调 + Strong	—	72.71%
专家精调 + Weak	—	71.65%

→ Weak-SIGReg 无需精调就匹配专家调优的性能——作为"鲁棒默认稳定器"的实用价值

Vanilla MLP（6 层，纯 SGD，无 BN/无残差）

增强	SIGReg	Top-1 Acc
无	无	26.77%
无	Strong	35.99%
无	Weak	42.17%

→ 在极端设置下（6 层无 BN 的 MLP + 纯 SGD），Weak-SIGReg 提供更大改善——说明协方差约束有效充当"软 Batch Normalization"

关键发现

• Weak ≥ Strong：在所有设置中 Weak-SIGReg 匹配或超越 Strong SIGReg——说明监督学习中二阶矩约束就够了，不需要匹配完整分布
• 20.73% → 72.02%：SIGReg 从"完全坍缩"恢复到"正常训练"——不是微小改善，而是质的修复
• 替代架构 trick：SIGReg 可以功能性地替代 BN 和残差连接的稳定化作用
• 随机投影使高维协方差正则化实际可行——否则 \(1024 \times 1024\) 的协方差矩阵计算和存储成本太高

亮点与洞察

• 从 SSL 到监督学习的迁移：VICReg/Barlow Twins/SIGReg 都在 SSL 中出现——本文证明同样的思想作为监督正则化也极为有效
• 交互粒子系统的物理直觉很有吸引力——将训练动力学理解为随机粒子演化，稳定性=防止密度退化
• 极简实现（~10 行代码）使其高度实用——任何训练 pipeline 都可以直接添加
• 弱 > 强的结论反直觉但有意义：监督信号已经提供了方向性约束，只需要防止坍缩（二阶矩），不需要强制分布形状（所有矩）

局限与展望

• 仅在 CIFAR-100 上验证——ImageNet 规模的效果未知
• 与标准 BN+残差架构的性能差距未量化（72% vs BN+残差可能更高）
• 随机投影维度 \(K\) 的选择对不同层/不同架构的敏感度未分析
• 正则化强度 \(\lambda\) 的调优指南缺失
• 未在 NLP 模型（如 Transformer LM）上测试

相关工作与启发

• vs VICReg：VICReg 用方差+不变性+协方差三项正则化 SSL 表征；Weak-SIGReg 仅用协方差项作为监督正则化
• vs Batch Normalization：BN 是架构内嵌的均值/方差标准化；SIGReg 是损失函数级的协方差约束——更表达力强且可控
• vs LeJEPA 的 SIGReg：LeJEPA 用 Strong SIGReg 做 SSL；本文证明 Weak 版本在监督下更好且更高效

评分

• 新颖性: ⭐⭐⭐ 主要是将已有技术（SIGReg）迁移到新场景（监督学习）+ 提出简化变体
• 实验充分度: ⭐⭐⭐ CIFAR-100 规模有限，仅 2 种架构（ViT + MLP）
• 写作质量: ⭐⭐⭐⭐ 物理直觉清晰，实现代码内嵌直观
• 价值: ⭐⭐⭐⭐ 极简实用的稳定化工具，"20% → 72%"的修复效果令人印象深刻

相关论文

• [ICLR 2026] DeepAFL: Deep Analytic Federated Learning
• [ICLR 2026] Convex Dominance in Deep Learning I: A Scaling Law of Loss and Learning Rate
• [NeurIPS 2025] Kernel Learning with Adversarial Features: Numerical Efficiency and Adaptive Regularization
• [NeurIPS 2025] From Linear to Nonlinear: Provable Weak-to-Strong Generalization through Feature Learning
• [CVPR 2026] ACE-Merging: Data-Free Model Merging with Adaptive Covariance Estimation