Efficient RGB-D Scene Understanding via Multi-task Adaptive Learning and Cross-dimensional Feature Guidance

会议: CVPR2026
arXiv: 2603.07570
代码: 暂未开源
领域: 语义分割 / 全景分割 / 多任务学习
关键词: RGB-D 场景理解, 多任务自适应学习, 跨维度特征引导, 全景分割, 融合编码器

一句话总结

提出一种高效 RGB-D 多任务场景理解网络，通过改进的融合编码器利用通道冗余加速特征提取，设计归一化聚焦通道层（NFCL）和上下文特征交互层（CFIL）进行跨维度特征引导，并引入批级别多任务自适应损失函数动态调整各任务学习权重，在 NYUv2/SUN RGB-D/Cityscapes 上同时完成语义分割、实例分割、朝向估计、全景分割和场景分类五项任务，取得精度与速度的双重优势。

背景与动机

1. 单任务局限：传统场景理解方法多聚焦单一任务，无法让机器人全面感知环境；多任务学习通过信息共享可实现协同优化，但任务间复杂度差异大、固定学习策略难以适应。
2. 双编码器效率低：EMSANet 等方法用双编码器分别处理 RGB/Depth，未充分融合互补信息；EMSAFormer 用单一 Swin Transformer 联合提取，但矩阵计算量大、内存访问频繁，推理速度受限。
3. 浅层特征误导 MLP 解码器：基于 MLP 的轻量语义解码器结构简单、推理快，但编码器浅层的噪声和错误信息容易误导 MLP，影响局部细节表达。
4. 局部-全局融合不足：MLP 解码器擅长全局特征映射，但对局部信息和多尺度上下文的融合能力不足，导致复杂场景中边界分割不准。
5. 实例解码器参数效率问题：Bottleneck 结构通过降维减少参数但损失特征多样性；深度可分离卷积内存访问频繁影响速度；需要在参数效率与非线性表达之间取得更好平衡。
6. 固定损失权重不适应动态场景：现有多任务学习方法要么随机分配权重导致不稳定，要么仅基于首批数据调整缺乏实时性，无法随训练过程动态适配任务重要性变化。

方法详解

整体框架

这篇论文要解决的核心问题是：让机器人在一套模型里同时完成语义分割、实例分割、全景分割、朝向估计和场景分类五项任务，又不牺牲推理速度。整体数据流是 RGBD 四通道图像先经一个改进的融合编码器提特征，再分三路解码——语义解码器（带 NFCL、CFIL 两个跨维度引导模块）输出语义/前景掩码，实例解码器输出实例中心与偏移，二者结合得到全景分割，场景分类则由一个全连接头给出。训练时所有任务共享编码器，由一个批级别自适应损失动态平衡它们的权重。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["RGBD 四通道输入"] --> B["高效融合编码器<br/>FasterNet-M·仅对 1/4 通道卷积"]
    subgraph SEM["语义解码器（MLP + 跨维度引导）"]
        direction TB
        C1["NFCL<br/>复用 BN γ 做通道加权（跳连第 1/2/3 层）"] --> C2["CFIL<br/>1×1 + 5×5 多尺度上下文融合"]
    end
    B --> C1
    B --> D["Non-bottleneck 1D 实例解码器<br/>输出实例中心 / 偏移 / 朝向"]
    B --> E["场景分类头（全连接）"]
    C2 --> F["语义/前景掩码"]
    F --> G["全景分割"]
    D --> G
    F --> H["批级别多任务自适应损失<br/>动态平衡五任务权重"]
    D --> H
    E --> H

关键设计

1. 高效融合编码器：用通道冗余把卷积量压到 1/16

针对的痛点是 EMSAFormer 用单个 Swin Transformer 联合提 RGB/Depth 特征时矩阵运算量大、内存访问频繁、推理慢。融合编码器改走 FasterNet-M 路线，采用 4 阶段结构（阶段 1-4 各含 3、4、18、3 个融合块），每阶段先用一个 4×4 卷积做通道扩展与下采样。关键在于它观察到通道间特征高度相似，于是每个融合块只对 \(1/4\) 通道做卷积提取，再把剩下的通道直接拼回来，使这一步的 FLOPs 降到常规卷积的 \(1/16\)；之后用两个逐点卷积先扩展再恢复通道、提取通道间关系，并加残差连接。为复用 ImageNet 预训练权重，深度通道权重由 RGB 三通道求和得到 \(D = (R+G+B)/2\)。这样在精度基本不变的前提下，用更少的内存访问换来了明显的速度提升。

2. 归一化聚焦通道层（NFCL）：让浅层特征别误导 MLP 解码器

MLP 语义解码器轻量、推得快，但编码器浅层带的噪声和错误信息很容易把它带偏。NFCL 的做法是直接复用 BN 层已经学好的缩放因子 \(\gamma\) 来度量通道重要性：把各通道的 \(|\gamma|\) 归一化成权重 \(W_i = |\gamma_i| / \sum_j |\gamma_j|\)，再把特征重排为 \(B\times H\times W\times C\)、逐像素乘上通道权重，经 Sigmoid 激活后与原输入逐像素相乘。它只放在语义解码器跳连的第 1、2、3 层（第 4 层编码器特征已经足够好，不需要再引导）。妙处在于不引入任何额外参数、也没有 SE 模块那样的开销，相当于白嫖了 BN 已有的学习信号来做通道注意力。

3. 上下文特征交互层（CFIL）：补上 MLP 在局部-全局融合上的短板

MLP 解码器擅长全局映射，却不太会融合局部信息和多尺度上下文，复杂场景里边界容易分不准。CFIL 对输入特征同时做 1×1 和 5×5 两种尺度的自适应平均池化抓多尺度上下文，用卷积把通道从 \(C\) 压到 \(C/2\)、双线性插值上采样统一分辨率，再把多尺度特征和原始输入拼接、经卷积恢复到原通道维度。它放在语义解码器的多层特征融合阶段，消融也证实放这里效果最好。

4. Non-bottleneck 1D 实例解码器：省参数的同时不丢非线性

实例解码器若用 Bottleneck 降维会损失特征多样性，用深度可分离卷积又内存访问频繁拖慢速度。这里把每个 3×3 二维卷积拆成 3×1 和 1×3 两个一维卷积、中间插一个 ReLU，核大小为 3 时参数量减少约 30%，反而因为多了一层激活增强了非线性决策能力。实例解码器共 3 层，每层是 3×3 卷积 + 3 个 non-bottleneck 1D 模块 + 上采样，输出实例中心、像素偏移和原始朝向，并对每层加金字塔监督。

5. 批级别多任务自适应损失：让权重跟着训练实时调

多任务学习里固定或随机分配权重，要么不稳定、要么只看首批数据无法实时适配。本文在每个 batch 结束时算各任务的相对损失 \(RL_k = L_k / \sum_t L_t\)，维护其历史均值 \(AvgRL_k = \sum_i RL_k^{(i)} / n_k\)，再据此动态更新权重 \(W_k = \max(\bar{W}_k \times (AvgRL_k)^\alpha, W_{min})\)。调节因子取 \(\alpha = 0.01\) 做微调，最小阈值 \(W_{min} = 0.1\) 防止某个任务被彻底忽略（消融显示 \(\alpha\) 过大到 0.1 反而不稳）。相比 epoch 级或随机权重，这种 batch 级实时调整让训练更稳、收敛更快。

损失函数 / 训练策略

各任务的具体损失为：语义分割用交叉熵、实例中心用 MSE、实例偏移用 MAE、朝向估计用余弦-正弦概率分布损失、场景分类用交叉熵；这些任务损失再由上面的批级别自适应权重加权汇总。

实验关键数据

NYUv2 数据集 SOTA 对比

方法	模态	骨干	Semantic mIoU
EMSAFormer	RGB-D	Swin v2	49.76
MMANet	RGB-D	R34-NBt1D	49.62
Malleable 2.5D	RGB-D	ResNet50	49.70
Ours	RGB-D	FasterNet-M	49.82

多数据集语义 mIoU 汇总

数据集	EMSAFormer	Ours	提升
NYUv2	49.76	49.82	+0.06
SUN RGB-D	44.13	45.56	+1.43
Cityscapes	60.76	65.11	+4.35

模型复杂度对比

方法	参数量	FLOPs	FPS	显存
EMSAFormer (Swin v2)	72.08M	50.66G	16.32	3188 MiB
MPViT	92.76M	235.24G	9.94	5266 MiB
Ours	71.82M	75.28G	20.33	3293 MiB

消融实验（NYUv2）

• 融合编码器 → Instance PQ 58.59（相比 Swin v2 baseline 速度大幅提升）
• +自适应损失 → Instance PQ 59.37，6 项指标提升
• +CFIL → Semantic mIoU 49.72（+2.0），8 项指标提升
• +NFCL → Panoptic PQ 43.21，全模型最终 Semantic mIoU 49.82, Instance PQ 59.90
• 调节因子对比：α=0.01 时 panoptic PQ 最优（41.81），过大（0.1）反而不稳定
• CFIL 放置位置：语义解码器效果最佳（panoptic mIoU 50.16）
• NFCL 放置层数：第 1/2/3 层最优（semantic mIoU 49.82），第 4 层特征已充分不需引导

亮点

1. 通道冗余利用：仅对 1/4 通道卷积即可有效特征提取，FLOPs 降至 1/16，思路简洁高效
2. BN γ 作为通道注意力：无需额外参数、无 SE 模块开销，利用已有 BN 层的学习参数获取通道重要性
3. 批级别实时自适应损失：相比 epoch 级或随机权重，每个 batch 都动态调整，训练更稳定收敛更快
4. 统一框架五任务：语义分割、实例分割、朝向估计、全景分割、场景分类在一个网络中完成
5. 速度优势明显：71.82M 参数、20.33 FPS，超过 Swin v2 的 16.32 FPS，适合机器人部署

局限与展望

1. 精度提升有限：NYUv2 上 semantic mIoU 仅比 EMSAFormer 高 0.06，优势不明显
2. 高分辨率可扩展性：当前实现难以处理超高分辨率图像/视频，计算复杂度随分辨率增长
3. 深度传感器噪声假设理想：模型假设 RGB-D 输入已标定且无噪声，消费级深度传感器的反射、透明表面、边界稀疏等问题未处理
4. 无时序一致性：逐帧独立处理，不考虑视频流的时序连贯性，动态场景中可能出现分割闪烁
5. 融合编码器仅用 1/4 通道：虽然 FLOPs 降低但可能丢失部分通道间的细粒度交互信息
6. 未探索更多模态：如热成像、点云等，限制了在多样化环境中的鲁棒性

与相关工作的对比

• vs EMSAFormer：替换 Swin v2 为 FasterNet-M 融合编码器，参数更少（71.82M vs 72.08M）、速度快 24%（20.33 vs 16.32 FPS），精度相当或略优
• vs EMSANet：共享 non-bottleneck 1D 设计理念，但本文将其专用于实例解码器，并增加 NFCL/CFIL 跨维度引导
• vs SegFormer：继承 MLP 解码器轻量设计，但指出其浅层特征误导问题并用 NFCL 修复
• vs FasterNet：直接用其部分卷积思想构建融合编码器，扩展到 RGBD 4 通道场景

评分

• 新颖性: ⭐⭐⭐ — 各组件思路合理但均为已有技术的组合改进（通道冗余+BN注意力+自适应损失），缺乏根本性创新
• 实验充分度: ⭐⭐⭐⭐ — 三个数据集、详尽的消融实验（编码器/CFIL 位置/NFCL 层数/损失调节因子/模块对比），复杂度分析完整
• 写作质量: ⭐⭐⭐⭐ — 结构清晰、图表丰富、公式推导完整，可读性好
• 价值: ⭐⭐⭐ — 工程实用性强，适合资源受限的机器人部署场景，但学术贡献相对增量式

相关论文

• [CVPR 2026] RDNet: Region Proportion-Aware Dynamic Adaptive Salient Object Detection Network in Optical Remote Sensing Images
• [CVPR 2026] SARMAE: Masked Autoencoder for SAR Representation Learning
• [CVPR 2026] SAM2Text: Towards Prompt-Free and Multi-Resolution Video Scene Text Segmentation
• [CVPR 2026] Cross-Domain Few-Shot Segmentation via Multi-view Progressive Adaptation
• [CVPR 2026] V²-SAM: Marrying SAM2 with Multi-Prompt Experts for Cross-View Object Correspondence