CVPR2026 模型压缩论文解读论文笔记压缩/编码多模态扩散模型知识蒸馏目标跟踪

📦 模型压缩¶

📷 CVPR2026 · 129 篇论文解读

📌 同领域跨会议浏览： 🧪 ICML2026 (100) · 💬 ACL2026 (59) · 🔬 ICLR2026 (100) · 🤖 AAAI2026 (60) · 🧠 NeurIPS2025 (143) · 📹 ICCV2025 (52)

🔥 高频主题： 模型压缩 ×21 · 压缩/编码 ×19 · 多模态 ×14 · 扩散模型 ×14 · 知识蒸馏 ×4

4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation: 提出4D-RGPT和感知4D蒸馏（P4D）框架，通过从冻结的4D感知专家模型中蒸馏深度和光流等知识到MLLM中增强4D感知，同时构建R4D-Bench——首个区域级4D视频问答基准。
A Paradigm Shift: Fully End-to-End Training for Temporal Sentence Grounding in Videos: 提出首个完全端到端的时序语句定位(TSGV)框架，通过语句条件适配器(SCADA)将语句嵌入注入视频backbone的中间层来动态调制视觉特征，配合视频中心学习策略加速训练，在Charades-STA和ActivityNet上超越SOTA。
Accelerating Streaming Video Large Language Models via Hierarchical Token Compression: 针对流式视频大模型（streaming VideoLLM）实时部署慢的问题，提出即插即用的两级 token 压缩框架 STC：STC-Cacher 在 ViT 编码阶段缓存并复用相邻帧的静态特征、只重算动态 token，STC-Pruner 在进 LLM 之前用「时空双锚点」剪掉冗余 token，在 ReKV 上保留约 99% 精度的同时把 ViT 编码延迟降 24.5%、LLM 预填充延迟降 45.3%。
AdaBet: Gradient-free Layer Selection for Efficient Training of Deep Neural Networks: 提出 AdaBet，一种基于代数拓扑（第一 Betti 数 \(b_1\)）的无梯度层选择方法，仅通过前向传播计算每层激活空间的拓扑复杂度来决定哪些层需要微调，无需标签、梯度或反向传播，在 ResNet50/VGG16/MobileNetV2/ViT-B16 上以仅 10% 层微调达到优于全量训练的准确率，同时峰值内存降低约 40%。
Adapting Lightweight Image-based Counting Models for Video Crowd Counting: 这篇论文不给视频人群计数（VCC）加任何时序模块，而是把"相邻帧的人数变化应当有界"这一时空先验，解析地写成一个基于特征函数（ChF）频域的统计正则器，只在训练时约束一个轻量图像计数（ICC）模型，推理仍是单帧——在六个数据集上做到 SOTA 精度的同时把推理帧率拉到 99.5 fps。
Adaptive Depth Lightweight RGB-T Tracking with Holistic Token Routing: ADTrack 把网络深度当作可动态分配的算力预算——给冻结的双流 ViT-T 骨干装上多层"随时可出结果"的预测头和置信度校准的早退出策略，并用一个只有 37.3K 参数的整体令牌路由模块（HTGI）做廉价跨模态融合，在 LasHeR 上拿到 70.2% PR / 56.3% SR 的同时跑到 GPU 148.3 FPS、CPU 50.2 FPS、边缘端 28.7 FPS。
Adaptive Video Distillation: Mitigating Oversaturation and Temporal Collapse in Few-Step Generation: 针对视频扩散模型做 DMD（分布匹配蒸馏）时普遍出现的「颜色过饱和 + 运动坍缩」两大顽疾，本文提出自适应回归损失（用 EMA 缓存动态降权那些偏差过大的真实样本）、时序正则损失（直接惩罚帧间方差过低），再配一个高噪声步降帧率、低噪声步插值补回的推理加速策略，在 Wan2.1-1.3B/14B 上做到 4 步生成，VBench/VBench2 总分超过所有蒸馏 baseline、用户偏好甚至超过 50 步教师。
AdaSVD: Singular Value Decomposition with Adaptive Mechanisms for Large Multimodal Models: AdaSVD 用「交替最小二乘补偿被截断的奇异矩阵」+「按层重要性自适应分配压缩率」两招，把基于 SVD 的大多模态模型压缩在高压缩率（60%+）下的精度损失大幅压下来，在 LLaMA2/OPT/Mistral/Vicuna 上全面超过 SVD-LLM。
Adversarial Concept Distillation for One-Step Diffusion Personalization: OPAD 首次解决单步扩散模型的个性化问题（1-SDP），通过教师-学生联合训练 + 对齐损失 + 对抗监督实现单步高质量概念生成，并引入协作学习阶段利用学生生成样本反馈增强双方。
Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding: AttentionPack 利用 LVLM 的 KV cache（尤其是视觉 token）天然低秩这一观察，先用 SVD 在「合并多头 + 区分视觉/文本」的方式下把 cache 沿隐藏维压缩，再用一套基于累积注意力分数的「注意力感知部分解压」按需选秩，在几乎不掉点的前提下把显存降到原来的 1/5～1/8，从而支持更大 batch / 更长上下文、解码吞吐提升最高 74%。
Balanced Dataset Distillation via Modeling Multiple Visual Pattern Distribution: 本文指出现有数据集蒸馏方法普遍存在「模式失衡」（要么偏重类内主流的 class-general patterns、要么偏重边缘的 marginal patterns），提出 BPS 框架：先用层次语义结构把每个类建模成多个视觉模式的分布，再从每个模式的「中心」和「边缘」各取一半 IPC 预算构成模式平衡的 coreset，最后用知识蒸馏训练学生模型——在四个 benchmark 上全面超过此前 SOTA，且天然具备跨架构泛化和「一次建模、所有 IPC 复用」的效率优势。
Batch Loss Score for Dynamic Data Pruning: 提出 Batch Loss Score (BLS)，一种仅用均值 batch loss（而非难以获取的逐样本 loss）来估计样本重要性的方法，通过 EMA 低通滤波的信号处理视角提供理论保证，仅需 3 行代码即可集成到现有动态剪枝框架中。
Beyond Soft Label: Dataset Distillation via Orthogonal Gradient Matching: 针对现有 ImageNet-1K 数据集蒸馏方法过度依赖 BN 统计匹配、一旦丢掉软标签就崩盘的问题，本文从梯度视角指出 BN 匹配只对齐了梯度的"尺度"而忽略了真正决定训练的"方向"，进而提出 Orthogonal Gradient Matching（OGM）——把真实/合成梯度做 SVD 后强制所有奇异值为 1、只对齐奇异向量，并用最小二乘损失的闭式梯度在前向传播中完成匹配；在 IPC=10 上软标签 47.0%、硬标签 16.7%，显著超过 RDED 等基线。
Bilevel Layer-Positioning LoRA for Real Image Dehazing: 提出 BiLaLoRA，通过双层优化自动定位 LoRA 应插入的最优网络层，配合 H2C Loss（基于 CLIP 语义方向的无监督去雾损失），实现合成数据预训练的去雾模型向真实场景的高效适配——训练时间降低 77.7%，性能持平全量微调，跨模型跨域均有效。
BinaryAttention: One-Bit QK-Attention for Vision and Diffusion Transformers: 提出 BinaryAttention，将 Transformer 注意力中的 Query 和 Key 量化为 1-bit 二值表示，通过 XNOR + popcount 位运算替代浮点点积，在 A100 上实现比 FlashAttention2 快 2 倍以上的加速，同时在视觉分类/检测/分割/扩散生成等任务上性能持平甚至超越全精度注意力。
Block-based Learned Image Compression without Blocking Artifacts: 本文用一套解析递推公式，精确算出 CNN 图像压缩模型按块编解码时每层所需的最小重叠，从而让现成模型在不重训的前提下按块运行、峰值内存降到约 13%，且重建结果与整图推理逐比特一致、完全没有块边界伪影。
Bridging Domains through Subspace-Aware Model Merging: 本文发现"把不同域上微调的模型合并去泛化到未见域"会比常规多任务合并产生强得多的奇异子空间冲突，提出 SCORE：用所有模型主奇异向量拼接出的共享正交基做换基，把对角（一致方向）保留、非对角（冲突方向）裁掉离群项，从而在 8 个域泛化基准、3 个模型尺度上平均超过现有合并方法。
CADC: Content Adaptive Diffusion-Based Generative Image Compression: CADC 把扩散式图像压缩的"编码端表示"和"解码端生成先验"全程做成内容自适应：用不确定性图驱动空间变化的量化、用轻量辅助解码器把语义信息逼进扩散解码器真正用到的前 4 个通道、再从辅助重建图免码率地反推出内容相关的文本条件，在超低码率（约 0.005–0.01 bpp）下取得 SOTA 的感知质量。
CAR-SAM: Cross-Attention Reconstruction for Post-Training Quantization of the Segment Anything Model: 针对 SAM 解码器里"交叉注意力被低比特量化打散"和"双向耦合导致重建振荡"两个独有难题，CAR-SAM 用 MatMul 感知补偿（把 MatMul 输入的激活量化误差回灌到前置线性层权重）和联合交叉注意力重建（把成对耦合的两个交叉注意力块绑在一起优化），把 SAM/SAM2 稳稳压到 W4A4，在 SAM-B/SAM-L 上分别比此前最优高出 14.6% 和 6.6% mAP。
CARLoS: Retrieval via Concise Assessment Representation of LoRAs at Scale: CARLoS 不靠 LoRA 作者填的名字/描述，而是把每个 LoRA 实际"用起来"——在大量 prompt × seed 上生成图、和无 LoRA 的原图做 CLIP 空间差，提炼成「方向 / 强度 / 一致性」三元表征，从而按生成效果而非文本元数据来检索 LoRA，在自动与人工评测中都超过四个强文本检索基线。
Co-Me: Confidence Guided Token Merging for Visual Geometric Transformers: Co-Me 给 VGGT、π3 这类视觉几何 Transformer 装上一个轻量的"置信度预测器"，把网络自己认为不重要（低置信度）的 patch token 合并成一个 token 再送进后半段网络，从而在不重训、不改主干结构的前提下，对 attention 和 MLP 同时提速，VGGT 上最高加速 21.5×、精度几乎不掉。
CoIn: Coverage and Informativeness-Guided Token Reduction for Efficient Large Multimodal Models: 把多模态大模型的视觉 token 削减重新建模成"最优子集选择"问题，用信息量（视觉显著性 + 跨模态对齐）打每个 token 的分、用覆盖度（log-det 体积）保证选出的子集张满特征空间，再用一次贪心子模优化端到端选出紧凑子集——无需训练、不依赖注意力、兼容 FlashAttention/KV cache，在 LLaVA-NeXT-7B 上削掉 94.4% 视觉 token 仍保留 86.7% 性能，prefill 提速 6.5×。
Collaborative Multi-Mode Pruning for Vision-Language Models: 针对 VLM 同时存在的"参数冗余"和"token 冗余"，CoMP 设计了一套协同重要性度量（CIM，消除参数剪枝和 token 剪枝互相干扰）和一套多模式剪枝策略（MPS，每一步自适应挑当前最划算的剪枝模式），在高剪枝率下显著优于只剪参数或只剪 token 的单模式方法（NLVR2 在 0.85 剪枝率下测试精度领先 3.51%）。
Content-Adaptive Hierarchical Hyperprior for Neural Video Coding: 针对神经视频编码（NVC）长期被忽视的"层级结构"（质量结构 + 参考结构）优化问题，本文从当前帧提取一个层级超先验（hierarchical hyperprior），用它统一引导质量分配和双参考融合的内容自适应联合优化，在 IP -1 / IP 32 两种设置下比前一代 SOTA 的 DCVC-FM 分别多省 15.51% / 12.20% 码率。
Continual Distillation of Teachers from Different Domains: 论文提出"持续蒸馏 (Continual Distillation, CD)"新范式——一个学生从一串先后到来、彼此领域不同且互相不可见的教师里顺序蒸馏，并发现用教师没训过的"外部数据"蒸馏能搬来未见域知识 (UKT)、但序列推进会把这些知识忘掉 (UKF)，进而用 SE2D（把自蒸馏限制在外部数据上）来缓解遗忘，在多个基准上提升跨域平均精度。
CORE: Compact Object-centric REpresentations as a New Paradigm for Token Merging in LVLMs: CORE 把 LVLM 的视觉 token 压缩从"按特征相似度逐个合并"换成"按物体合并"——用一个内置分割头给每个物体生成掩码，再把同一物体内的 token 加权平均成一个紧凑 token，配合质心排序保留空间次序；在六个基准上拿到固定率压缩 SOTA，极端压缩下仅保留 2.2% token 仍能维持基线 97.4% 性能。
Critical Patch-Aware Sparse Prompting with Decoupled Training for Continual Learning on the Edge: 提出 CPS-Prompt 框架，通过任务感知的关键 patch 采样（CPS）和解耦 prompt-分类器训练（DPCT）两个模块，在边缘设备上实现 Prompt-based 持续学习的训练时内存和计算效率提升约 1.6 倍，同时准确率仅下降约 2%。
Cross-Architecture Adaptation: Cloud-Edge Continual Test-Time Adaptation with Dynamic Sampling and Heterogeneous Distillation: 针对现有云边持续测试时自适应（CTTA）默认云端和边端同构 CNN 的限制，CAA 让云端跑大 ViT 教师、边端跑轻量 CNN 学生，靠一套「按通信预算挑样本上传 + 跨架构异构蒸馏」的机制完成异构协同自适应，在 ImageNet-C severity-5 上以 41.2% 平均准确率刷新 SOTA，同时上传样本数最少。
Cross-Modal Knowledge Distillation from Spatial Transcriptomics to Histology: 用一个冻结的空间转录组教师（NOLAN）在配对数据上监督一个 H&E 组织学学生，把分子层面定义的「组织 niche（微环境分区）」结构蒸馏进只看图像的学生网络，从而在推理时仅凭 H&E 切片就能预测出与转录组高度一致的 niche 分区。
DAGE: Dual-Stream Architecture for Efficient and Fine-Grained Geometry Estimation: 提出 DAGE 双流 Transformer 架构，将全局一致性建模（低分辨率流）与细粒度细节保持（高分辨率流）解耦，通过轻量 Cross-Attention Adapter 融合，实现 2K 分辨率和 1000 帧长序列上的高质量深度/点图估计和位姿预测，速度比 Pi3 快 2-28 倍，视频几何估计取得新 SOTA。
Dataset Distillation by Influence Matching: 不再让合成数据去模仿真实数据的训练过程（梯度/轨迹），而是直接对齐"训练结果"——本文用一个线性时间、无需逆 Hessian 的可微影响力估计器，把数据集蒸馏重写成"合成集对参数的影响力 ≈ 真实集对参数的影响力"，在 CIFAR/Tiny-ImageNet/Flickr30K 上全面超过过程匹配 SOTA（Tiny-ImageNet IPC=10 上 31.5%，比 NCFM 高 4.7%）。
Decompose, Mix, Adapt: A Unified Framework for Parameter-Efficient Neural Network Recombination and Compression: CRISP 把预训练权重因子分解为「跨层共享的冻结基底 B + 每层私有的可学习混合器 A」，缩小并共享 B 就实现模型压缩（MC）、冻结 B 只调 A 就实现参数高效微调（PEFT），从而用同一套因子结构统一了原本分开做的两件事，在 VTAB-1K PEFT 上以更少参数超 SOTA 1.5%、ViT 压缩超 SOTA 1.5%、PEFT+MC 组合超 1%。
Differentiable Vector Quantization for Rate-Distortion Optimization of Generative Image Compression: RDVQ 用一个"距离感知的软分布"代替向量量化里不可导的最近邻索引，让码率损失的梯度重新流回编码器，从而首次实现 VQ 压缩的端到端率失真联合优化；配合掩码自回归熵模型，在极低码率下用不到同类方法 20% 的参数量取得更优的感知质量（相比 RDEIC 在 DIV2K-val 上 DISTS 码率最多省 75.71%）。
Discovering Adaptive Task Dependencies for Efficient Multi-Task Representation Compression: ATDC 把"按什么顺序压缩多个任务的特征"做成逐图自适应的：先用一个轻量代理头估计任务间的可预测性、拼成相关性矩阵，再贪心构造一张有向无环图（DAG）决定压缩顺序，让每个任务的特征都条件于它的"父任务"做残差编码，从而在 Taskonomy 上以更低码率换来更高的多任务精度。
Distilling Balanced Knowledge from a Biased Teacher: 针对长尾分布下知识蒸馏中教师模型向头部类偏斜的问题，将传统 KL 散度损失分解为跨组损失和组内损失两个组件，通过重平衡跨组损失校准教师的组级预测、重加权组内损失保证各组等贡献，在 CIFAR-100-LT/TinyImageNet-LT/ImageNet-LT 上全面超越现有方法，甚至超过教师模型自身表现。
Distributed Image Compression with Multimodal Side Information at Extremely Low Bitrates: 针对多视图分布式图像压缩在极低码率（<0.1 bpp）下重建模糊、细节丢失的问题，本文提出 MDIC：首次把侧信息以「文本 + 视觉」多模态形式喂进预训练文本到图像扩散模型，用一个文本监督的视觉掩码门控地补回量化时丢掉的类别信息与对象级细节，在 KITTI Stereo / Cityscapes 上取得 SOTA 感知质量。
DiT-Distill: Open-Set Fine-Grained Retrieval via Generative Curriculum Knowledge: 把预训练文生图扩散 Transformer（DiT）在去噪过程中编码的"由粗到细的生成课程知识"先精炼、再蒸馏进一个轻量 ViT 检索骨干，让小模型在推理时完全甩掉 DiT，却能在开集细粒度检索（OSFR）上把 R@1 大幅刷高（CUB 上 +9.8%、Stanford Cars 上 +18.6%）。
DMGD: Train-Free Dataset Distillation with Semantic-Distribution Matching in Diffusion Models: DMGD 把"扩散模型做数据集蒸馏"这件事拆成语义匹配和分布匹配两个解耦目标，全程只在采样阶段注入无训练（train-free）引导，用动态软标签提升合成样本多样性、用最优传输（OT）损失对齐目标分布结构，在 ImageNet-Woof/Nette/1K 上比需要额外微调的 SOTA 平均高 2.1%/5.4%/2.4%。
Dual-branch Distilled Transformer for Efficient Asymmetric UAV Tracking: EATrack 用一个全尺 12 层 ViT 教师，通过「特征级 + 预测级」双分支、且只聚焦目标区域的蒸馏，把目标表征和定位能力灌进一个 8 层轻量学生，配合非对称推理与时序自适应，在五个无人机基准上比上一代 SOTA 平均成功率高 1.2%，同时跑到 241.9 FPS。
DualReg: Dual-Space Filtering and Reinforcement for Rigid Registration: DualReg提出双空间配准范式，先用轻量级1-point RANSAC + 3-point RANSAC渐进过滤特征空间对应点，再基于过滤后的锚点构建几何代理点集进行双空间联合优化，在3DMatch上实现SOTA精度的同时比MAC快32倍。
DuetMerging: Synergizing Dynamic and Static Strategies for Mitigating Task Interference in Model Merging: DuetMerging 把多个专家模型的任务向量堆成 3D 张量做 Tucker 分解，得到一个"共享核张量"驱动的动态专家池来抑制任务冲突，再用神经元激活引导的稀疏化从分解残差里"外科手术式"抢救任务专属知识做静态修正，两路一动一静合奏，在 8 个图像分类任务的模型融合上刷到 SOTA（ViT-B/32 归一化精度 99.2%）。
Efficiency Follows Global-Local Decoupling: ConvNeur 把"看全局"和"留细节"两件事拆到两条独立分支：一条卷积分支专心保留局部纹理细节，一条压缩后的"神经记忆"分支用分块（chunk）方式以次二次复杂度聚合图像级上下文，再用一个学出来的门控让全局信号去调制而不是覆盖局部特征；在 ImageNet/COCO/ADE20K 上以更少 FLOPs 和参数取得了更好的精度-效率折中。
Elastic Weight Consolidation Done Right for Continual Learning: 本文从梯度视角系统分析了 EWC 及其变体在权重重要性估计上的根本缺陷（EWC 的梯度消失和 MAS 的冗余保护），并提出了一个极其简单的 Logits Reversal 操作来修正 Fisher 信息矩阵的计算，在无样例类增量学习和多模态持续指令微调任务上大幅超越原始 EWC 及其所有变体。
Enhancing Mixture-of-Experts Specialization via Cluster-Aware Upcycling: 提出 Cluster-aware Upcycling，通过球面 k-means 聚类提取密集模型的语义结构来初始化 MoE 的专家和路由器参数，打破专家对称性并促进早期专业化，配合专家集成自蒸馏损失在 CLIP ViT 上一致超越现有 upcycling 方法。
Fixed Anchors Are Not Enough: Dynamic Retrieval and Persistent Homology for Dataset Distillation: RETA解耦数据蒸馏中残差匹配的两个失败模式（fit-complexity gap和pull-to-anchor effect），通过动态检索连接（DRC）自适应选择real patch anchor并用持久同调拓扑对齐（PTA）保持类内多样性，在ImageNet-1K ResNet-18 IPC=50上达到64.3%（+3.1% vs FADRM）。
Flow Map Distillation Without Data: 把预训练 flow/扩散教师蒸馏成"一步出图"的 flow map，传统做法要从外部数据集采样，本文指出这会引入 Teacher-Data Mismatch（数据分布≠教师真实生成分布），改为只从先验噪声采样、用"预测+校正"双目标让学生骑在教师向量场上，在 ImageNet 256/512 上以 1-NFE 拿到 FID 1.45 / 1.49，超过所有用数据的蒸馏基线。
FOZO: Forward-Only Zeroth-Order Prompt Optimization for Test-Time Adaptation: 提出 FOZO，一种仅需前向传播的零阶 prompt 优化范式，通过 SPSA 梯度估计 + 动态扰动策略 + 深浅层特征统计对齐，在不修改模型权重的情况下实现高效 TTA，在 ImageNet-C 上以 59.52% 准确率超越所有前向方法（含 FOA 58.13%），并支持 INT8 量化模型。
FreqSIC: Frequency-aware Stereo Image Compression with Bi-directional Checkerboard Context Model: 针对学习式立体图像压缩"高频细节丢失 + 自回归熵模型太慢"两个痛点，FreqSIC 用频域立体上下文迁移（FSCT）模块在高/低频分量上分别建模左右视角冗余并自适应加权，再把笨重的空间自回归熵模型换成内嵌 FSCT 的双向棋盘格上下文模型，在 InStereo2K / Cityscapes 上取得 SOTA 率失真性能的同时把编解码延迟压到 1.62s（比 BiSIC 的 78.6s 快约 48 倍）。
Frequency Switching Mechanism for Parameter-Efficient Multi-Task Learning: Free Sinewich 提出基于频率切换的参数高效多任务学习框架，通过对共享低秩基矩阵施加不同任务特定频率的正弦变换 \(M_t = \sin(\omega_t \cdot M_{AWB})\)，以接近零成本实现真正的参数复用和任务特化，在密集预测基准上以最少可训练参数达到SOTA。
Generative Video Compression with One-Dimensional Latent Representation: 提出 GVC1D，首次将视频压缩的潜在表示从2D网格替换为紧凑的1D token序列，结合1D记忆模块建模长期时序上下文，在感知质量指标上实现 60%+ 的码率节省。
Gradient Knows Best: Mixed-Precision Quantization via Gradient-Guided Bit Allocation for Super-Resolution: 针对超分（SR）模型的训练后混合精度量化，本文不再用激活标准差这种静态统计去估计逐层量化敏感度，而是直接拿"损失对比特宽度的梯度"来排序分配比特，再配一个非学习的动态激活归一化（DAN）解决 SR 去掉 BN 后激活范围漂移的问题，在 Urban100 上比此前 PTQ-MPQ 方法 PSNR 高 1.26 dB，3-bit EDSR×4 量化耗时还快了 1.9 倍。
Grid Distillation: Compositional Image Distillation via Structured Generative Grids: Grid Distillation 把一整类图像压成"一张结构化网格图"：先用谱-子模优化（SSDIM）从 CLIP 嵌入里挑出既有覆盖度又多样、还贴合类流形几何的 \(L^2\) 张代表图拼成网格并下采样，再用单步扩散反演（基于 SD Turbo）把下采样丢掉的高频细节补回来，最后用网格感知裁剪做训练增强——在 ImageWoof/ImageNette/ImageIDC/ImageNet-1K 上多个 IPC 设置全面超越现有数据集蒸馏方法，ImageWoof IPC=10 上 ResNet-18 达 65.5%（VLCP 仅 39.9%）。
HeSS: Head Sensitivity Score for Sparsity Redistribution in VGGT: HeSS 提出 Head Sensitivity Score 来量化 VGGT 全局注意力层中每个注意力头对稀疏化的敏感程度，并基于此将注意力预算从不敏感的头重新分配到敏感头，在高稀疏度下显著优于均匀稀疏化方法 SparseVGGT，几乎不增加运行时开销。
Hi-Lo Prune: Look at What You'll Lose before Pruning with Hierarchical Token Selection: 本文针对多模态大模型（MLLM）视觉 token 过多导致推理昂贵的问题，提出免训练剪枝方法 Hi-Lo Prune——核心理念"剪之前先看看你会丢什么"：先用粗到细的分层选择定出保留 token 集和"最值得保留的待剪 token"候选集，再用 Prune-Aware Fusion 在浅层把候选集的信息迁移进保留 token，最后在指定层一次性删除其余 token，在 Qwen2/2.5/3-VL 与 LLaVA 上即便剪掉 90% token 仍稳超现有剪枝方法。
HierAmp: Coarse-to-Fine Autoregressive Amplification for Generative Dataset Distillation: 提出 HierAmp，在视觉自回归（VAR）模型的粗到细生成过程中，向每个尺度注入可学习的类别 token 识别语义显著区域，并通过正 logit 偏置放大这些区域的注意力，使蒸馏数据在粗尺度获得更丰富多样的布局、在细尺度聚焦于类别相关细节，在多个数据集蒸馏基准上达到 SOTA。
How to Choose Your Teacher for Fine Grained Image Recognition: 这是一篇围绕"细粒度识别的知识蒸馏里到底该选哪个教师"的大规模实证研究：作者跑了 1216 组实验，提出用教师 top-1/top-2 原始 logit 比值 \(R_{12}\) 作为教师选择指标，发现它比"教师准确率""次类概率方差"更能预测学生最终精度，据此挑教师可让小学生模型最高再涨 17%。
HTTM: Head-wise Temporal Token Merging for Faster VGGT: HTTM 是一种免训练的 token 合并方法，专为 VGGT 全局注意力层定制：通过「逐注意力头独立合并 + 时序重排的块内合并 + 跨头自适应离群点过滤」，在几乎不掉点的情况下把长序列 3D 重建推理加速最高 7×。
Hybrid Token Compression for Vision-Language Models: 针对"把视觉 token 压到 1 个时，连续压缩丢语义、离散量化丢细节"的两难，HTC-VLM 用连续通道（ViT patch 保细节）+ 离散通道（MGVQ 量化出 4 个语义锚点）双路解耦，再经解耦注意力掩码与 <voco> 瓶颈把 580 个 token 压成 1 个，在 7 个基准上把性能保持率从 81.0% 提到 87.2%。
IF-Prune: Information-Flow Guided Token Pruning for Efficient Vision-Language Models: 本文提出 IF-Prune，把视觉 token 重要性估计建模成摊销变分推断问题——用一个小 VLM 配上 token 级变分信息瓶颈，以每个视觉 token 隐变量后验与先验的 KL 散度作为重要性分来剪枝大 VLM，单次前向即可给出剪枝指导；仅保留 5% 视觉 token 时大模型仍维持 95% 原性能、较此前 SOTA 高出约 8%。
IMS3: Breaking Distributional Aggregation in Diffusion-Based Dataset Distillation: 针对扩散式数据集蒸馏「样本过度聚集在高密度区、缺乏判别性边界样本」的痛点，IMS3 用 DDIM 反演的不稳定性做微调（IM）把生成分布往低密度区拉宽，再用免训练的子组采样（S3）按类心相似度挑出既贴近真实、又彼此可分的合成子集，在 ImageWoof / ImageNette / ImageIDC 上刷新扩散式蒸馏 SOTA。
Is Bin Generation Indispensable? A Bin-Generation-Free Dataset Quantization via Semantic Perspective: 针对数据集量化里「bin 生成」步骤随同类样本数立方增长、大规模数据集跑不动，以及固定 patch 丢弃比例无法适配样本冗余差异的两大痛点，BGFDQ 用轻量 KNN 近邻识别替代昂贵的 bin 生成、用近邻感知的核心集选择保覆盖去冗余、再用语义偏移自适应地为每张图选丢弃比例，把复杂度从 \(O(CM^3)\) 降到 \(O(CM^2)\)，在四个分类基准上稳定超过 SOTA（CIFAR-100 最高 +5%），还能扩展到单类 20 万样本（bin 生成法直接 OOM）。
Learning through Creation: A Hash-Free Framework for On-the-Fly Category Discovery: 提出 LTC 框架，通过在训练阶段利用 MKEE（最小化核能量+最大化熵）在线生成伪未知类样本，配合双最大间隔损失和自适应阈值，在7个数据集上实现1.5%–13.1%的全类精度提升，彻底摆脱了哈希编码对细粒度语义的损害。
LiDeRe: A Lightweight Readout for Fast and Data-Efficient Dense Prediction: LiDeRe 主张：在小数据的密集预测任务上，与其用 LoRA 这类需要反传整个骨干的参数高效微调（PEFT），不如在冻结骨干之上挂一个精心设计的轻量 readout——它把"可学习插值先验"和"内容引导注意力"融进一个特征插值模块，常常用不到 40 万可训练参数，就能在语义分割、姿态估计、目标检测、轮廓分割上追平甚至超过 PEFT 方法，且训练更快、显存更省。
LIFT and PLACE: A Simple, Stable, and Effective Knowledge Distillation Framework for Lightweight Diffusion Models: 针对"大教师蒸馏小扩散学生时训练不稳定"的痛点，本文用线性回归把蒸馏误差拆成"粗易（低阶矩失配）"和"细难（非线性残差）"两部分，提出 LIFT 先粗对齐再细精修、PLACE 按空间难度分组做局部自适应，在 90% 剪枝（学生仅占教师 1.6% 参数）的极端压缩下把 FID 从常规 KD 的 50–200+ 拉回到 15.73。
LiteVGGT: Boosting Vanilla VGGT via Geometry-aware Cached Token Merging: 针对 3D 基础模型 VGGT 在长序列上全局注意力的二次复杂度瓶颈，LiteVGGT 提出"几何感知 + 跨层缓存"的 token 合并策略——按几何重要性挑出关键 token 不动、把冗余 token 合并到锚点、并跨层复用合并索引，配合微调与 FP8 量化，在 1000 张图输入下相比 VGGT 提速约 10× 且几乎不掉点。
LoPrune: Efficient Data Pruning for LoRA-Based Fine-Tuning of Vision Transformer: 针对端侧 LoRA 微调中"数据冗余"这个被忽视的瓶颈，LoPrune 提出把样本影响函数投影到 LoRA 可训练子空间打分（TSA Score），并用 K-FAC 曲率近似实现单 epoch 高效评分，在 ViT/DeiT/Swin/DETR 等模型上把微调开销最多降 72.9%、训练提速最多 3.69×，准确率反而最高提升 3.50%。
LS-ViT: Least-Squares Hessian Based Block Reconstruction for Low-Bit Post-Training Quantization of Vision Transformers: LS-ViT 把 ViT 块重建里"代表性 Hessian"的估计重新表述成一个最小二乘问题——用整个校准集上的 \((g, \Delta z)\) 对去拟合一个共享 Hessian，从而显式补回此前方法因"样本独立假设"而丢掉的协方差项，在 W2/A3、W2/A4 等超低比特下刷新 SOTA，且每个块只需一次反向传播，训练速度比 FIMA-Q 快 1.8–2.7 倍。
MambaSIC: Mamba-based Stereo Image Compression with Bi-directional Multi-reference Entropy Model: MambaSIC 用线性复杂度的 Mamba 视觉状态空间块（Stereo VSSB）替代立体图像压缩中昂贵的交叉注意力来传递视角间上下文，并配上一个棋盘划分的双向多参考熵模型替代逐空间自回归，使得在 InStereo2K / Cityscapes 上既刷新率失真性能（BD-PSNR 提升），又把编解码延迟压到 1.26s（比 SOTA 的 BiSIC 快约 62×）。
MARVO: Marine-Adaptive Radiance-aware Visual Odometry: 提出 MARVO 水下视觉里程计框架，将物理感知辐射适配器 (PARA) 嵌入 LoFTR 特征匹配器补偿水下波长衰减、结合 GTSAM 多传感器因子图融合和强化学习位姿图优化 (RL-PGO)，在水下场景实现鲁棒定位。
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models: Masters 通过"先把大教师按权重幅度掩码、再随训练逐步解掩还原满血"的渐进策略缩小师生容量鸿沟，并叠加一个用准确性奖励 + 蒸馏可迁移性奖励驱动的离线 RL，让小学生 VLM 稳定吸收大教师知识，在 13 个多模态评测上超过同尺寸紧凑模型、部分超过大模型。
MEMO: Human-like Crisp Edge Detection Using Masked Edge Prediction: 提出 MEMO 框架，通过掩码边缘训练和基于置信度排序的渐进式推理策略，仅使用交叉熵损失就能生成清晰的单像素边缘图，在 crispness-aware 评估上大幅超越现有方法（BSDS 上 CEval ODS 从 0.749 提升到 0.836）。
Memory-Efficient Transfer Learning with Fading Side Networks via Masked Dual Path Distillation: MDPD提出通过冻结骨干网络与轻量侧网络之间的双向知识蒸馏实现高效微调，训练完成后丢弃侧网络，从而同时实现训练时的参数/内存高效和推理时的速度高效。
Merge3D: Efficient 3D Multimodal LLMs via Joint 2D-3D Token Merging: Merge3D 给"2D 语义 + 3D 几何"双编码器的 3D 视频 MLLM 设计了一个语义-几何联合 token 合并器（SemGeo Merger）：用 2D 注意力选语义显著的主 token、再用 2D×3D 混合相似度把上下文 token 并进空间邻域里的主 token，在砍掉至多 70% 视觉 token、提速约 3× 的同时，把 3D 定位/描述/空间推理性能几乎保住。
MeToM: Metadata-Guided Token Merging for Efficient Video LLMs: MeToM 把视频编解码器里"白送"的码流元数据（残差能量、GoP 包大小）当作时空信息密度的零成本代理，用 RPM / BTM / MATM 三个模块在「tokenization 时、进 LLM 前、LLM 内部」三处分级地按内容复杂度自适应合并视觉 token，无需任何训练就在多个 Video LLM 上取得 2.65× 端到端推理加速且精度不降反升。
Mining Attribute Subspaces for Efficient Fine-tuning of 3D Foundation Models: 针对 VGGT 这类 3D 基础模型，作者用受控合成数据为纹理、几何、相机、光照四种 3D 变化各自提炼出一个"共享 LoRA 子空间"，证明它们近似正交，把它们拼成一组精简的 LoRA 基底后只需训练一个小矩阵就能高效微调，在 3D 人脸防伪、着衣人体重建、透明物体重建上用更少参数（约 4M 对比 LoRA 16M）取得更优的下游精度。
Mitigating The Distribution Shift of Diffusion-based Dataset Distillation: 本文指出"用扩散模型做数据集蒸馏"会同时遭遇训练期与采样期两类分布偏移，提出两阶段框架——训练时用 L1 稀疏正则（RSM）逼扩散模型学一个紧凑稀疏的"蒸馏感知"流形，采样时放弃逐个 i.i.d. 的贪心生成、改为同步去噪整批样本并加 DPP 多样性 + 分布匹配两个协同引导（CGS），在 ImageNet 子集与 ImageNet-1K 上以更低算力取得 SOTA。
Model Merging on Loss Landscape: A Geometry Perspective: 本文提出 EpiMer，把模型合并重新表述为「在以期望 Hessian 为度量的黎曼流形上求 Fréchet 均值」，并把计算限制在任务向量张成的低秩子空间里使曲率可精确求解；理论上把合并误差界拆成子空间方差与残差能量、并给出「何时曲率感知合并可证明优于平直几何合并」的闭式判据 \(\eta\)，实验上在三种 CLIP-ViT backbone 的八任务合并上一致超过最强平直基线 TSV-M。
NuWa: Deriving Lightweight Class-Specific Vision Transformers for Edge Devices: 针对「边缘设备只关心几个类别」这一被忽视的场景，NuWa 先用自知识净化（SKP）学一组二值 mask 删掉「对目标类有害的权重」，再把 MHA/MLP 的剪枝写成可求闭式解的优化问题，从而无需重训练就能从大 ViT 派生出比原模型在目标类上还更准、且推理更快的小 ViT，剪枝速度比最好的训练依赖方法快 33.69×、成本降低最多 99.83%。
On the Robustness of Diffusion-Based Image Compression to Bit-Flip Errors: 首次系统研究了扩散模型图像压缩在比特翻转错误下的鲁棒性，发现基于反向信道编码（RCC）的扩散压缩方法天然比传统和学习型编解码器更耐错，并提出 Robust Turbo-DDCM 变体通过独立编码原子索引进一步提升鲁棒性，在 BER 达 \(10^{-3}\) 时仍保持良好重建质量。
One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs: 针对大型视觉语言模型（LVLM）里视觉 token 太多拖慢推理的问题，ALVTS 不再像 FastV 那样在某一层一次性永久剪掉 token，而是在每个解码层都重新挑一遍——用一个低秩近似的轻量选择器给所有视觉 token 打分，重要的进层参与计算、不重要的直接跳过该层、之后再合并回完整序列，从而在压缩 89% token 的情况下保留 96.7% 的原始精度。
OneSparse: A Unified Framework for Sparse Activation Layers in Vision Models: OneSparse 把 MoE 和记忆模块这两类原本各走各路的稀疏激活层，统一到「dispatch–process–combine」同一套抽象里，并据此设计了混合稀疏层 Nexus Layer——用记忆单元廉价地给所有 token 打底、只让专家单元精修语义关键区域，在 ImageNet / COCO / ADE20K 上以更低算力刷出比纯 MoE、纯记忆更好的精度–效率前沿。
Parallax to Align Them All: An OmniParallax Attention Mechanism for Distributed Multi-View Image Compression: 提出 OmniParallax Attention Mechanism (OPAM) 用于分布式多视角图像压缩（DMIC），通过两阶段视差注意力显式建模任意视角对之间的相关性和对齐特征，构建的 ParaHydra 框架首次让 DMIC 方法显著超越 SOTA MIC 编码器，同时大幅降低计算开销。
Phased DMD: Few-step Distribution Matching Distillation via Score Matching within Subintervals: 针对「一步 DMD 蒸馏容量不足、多样性差，而直接多步扩展又显存爆炸、用随机梯度截断（SGTS）则退化回一步」的困境，本文提出 Phased DMD：把 SNR 区间切成子区间、每个阶段只蒸馏一个专家并渐进推向更高 SNR（中间阶段在中间时刻而非干净样本处停止），再为「无干净样本」推导出无偏的子区间分数匹配目标，从而天然产出少步 MoE 生成器，在 Qwen-Image-20B、Wan2.2-28B 等大模型上同时改善运动动态、视觉保真和生成多样性。
PlanaReLoc: Camera Relocalization in 3D Planar Primitives via Region-Based Structure Matching: 首次提出基于平面基元（planar primitives）和 3D 平面地图的相机重定位范式 PlanaReLoc，通过深度匹配器在统一嵌入空间中关联查询图像的平面区域与地图平面基元，实现了无需真实纹理地图、位姿先验或逐场景训练的轻量化 6-DoF 相机重定位。
Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model: 提出 CompACT，将每张图像压缩至仅 8 个离散 token（约 128 bits），通过冻结预训练视觉编码器保留规划关键语义信息、生成式解码补充感知细节，使基于世界模型的规划速度提升约 40 倍且精度不降。
PPCL: Pluggable Pruning with Contiguous Layer Distillation for Diffusion Transformers: 提出 PPCL 框架，针对超大规模 Multi-Modal Diffusion Transformer (MMDiT, 8–20B 参数) 设计结构化剪枝方案：通过线性探针 (Linear Probe) 学习每层的可替代性，结合 CKA 一阶差分自动定位连续冗余层区间，再以非顺序交替蒸馏实现深度+宽度双轴剪枝，最终在 Qwen-Image 20B 上实现 50% 参数缩减、1.8× 推理加速，平均性能仅下降 2.61%。
Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy: 本文从子空间覆盖（subspace coverage）和方向各向异性（anisotropy）两个视角重新审视LoRA合并问题，提出TARA-Merging框架，通过保留LoRA方向并结合偏好加权的交叉熵伪损失进行方向级重新加权，在8个视觉和6个NLI基准上持续超越现有合并方法。
PRISM: Video Dataset Condensation with Progressive Refinement and Insertion for Sparse Motion: 本文提出 PRISM，一种整体式视频数据集压缩方法：从仅两个时间锚点（首尾帧）出发,通过检测梯度方向冲突来自适应插入关键帧，在保持内容与运动的耦合完整性的同时实现 SOTA 的存储效率——在 miniUCF 1VPC 上用 20MB 达到 17.9% 准确率，比先前方法的 94MB 少 5 倍。
PriVi: Towards a General-Purpose Video Model for Primate Behavior in the Wild: PriVi 构建了 424 小时的大规模灵长类视频预训练数据集，并通过在 V-JEPA 上进行领域级预训练（非目标数据集级别），首次证明了视频模型的领域级预训练可以跨数据集泛化，在四个灵长类行为识别基准上用仅 220K 参数的冻结分类器超越了全量微调的专用模型。
ProGIC: Progressive and Lightweight Generative Image Compression with Residual Vector Quantization: ProGIC 把图像 latent 表示成多个码本逐级量化残差之和（RVQ），既能从部分码流做粗到细的渐进预览，又配一个深度可分离卷积+小注意力的轻量骨干，在 Kodak 上相比 MS-ILLM 取得 57.57%（DISTS）/58.83%（LPIPS）的 BD-rate 节省，同时编解码快 10 倍以上，能跑在仅 CPU 的手机上。
Progressive Supernet Training for Efficient Visual Autoregressive Modeling: VARiant 发现视觉自回归（VAR）模型存在"尺度-深度非对称依赖"——早期低分辨率尺度极度依赖网络深度、后期高分辨率尺度对深度很鲁棒，据此把一个 30 层 VAR 训成共享权重的弹性深度 supernet（早尺度走全网络、晚尺度走 2–16 层子网），再用三阶段动态比例渐进训练打破固定比例的 Pareto 前沿，在 ImageNet 上让 d16/d8 子网几乎不掉点（FID 2.05/2.15 vs 1.95）却省 40–65% 显存。
Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization: 提出 Quant Experts (QE)，一种基于 Mixture-of-Experts 的 token 感知自适应量化误差重建框架——将重要通道分为 token-independent（高频出现、全局性）和 token-dependent（低频出现、局部性）两组，分别用共享专家和路由专家的低秩适配器来补偿全局和局部量化误差，在 W4A6 到 W3A16 的多种量化设置下一致提升 VLM 性能。
QVGGT: Post-Training Quantized Visual Geometry Grounded Transformer: 针对 1.26B 参数的前馈 3D 重建模型 VGGT，本文提出一套几何感知的后训练量化框架 QVGGT，用"逐块敏感度混合精度 + 相机 token 过滤补偿 + 任务感知尺度搜索"三步，在 W4A16 下做到几乎无损（CO3Dv2 相机位姿 AUC@30 89.4 vs FP16 89.5），同时内存降 3∼4.9×、最高 2.8× 硬件加速。
RDVQ: Differentiable Vector Quantization for Rate-Distortion Optimization of Generative Image Compression: RDVQ 通过对码本分布的可微松弛，首次实现了 VQ-based 图像压缩的端到端率失真联合优化，在极低码率下以不到 20% 的参数量取得了优于或竞争性的感知质量。
ReFTA: Breaking the Weight Reconstruction Bottleneck in Tensorized Parameter-Efficient Fine-Tuning: ReFTA 把跨层权重堆成三阶张量、用 T-SVD 拆出主成分张量并只微调其主成分，再借张量代数的算子可交换性把"乘 \(U_0^\top\)"和"乘输入 \(X\)"换序，从而在前向/反向中彻底免去对张量权重的重复重构，用比 LoRA 少 96% 的可训练参数拿到更高的图像分类与 NLU 平均精度。
Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference: ReMix 在扩散语言模型（DLLM）的「掩码态→词元态」离散解码之间插入一个可迭代刷新的「连续混合态」，让并行解码的多个位置在落子前先在连续空间里互相协调、并用一条拒绝规则把不稳定的位置打回掩码重算，从而在不训练、不掉点的前提下把推理提速 2–8×，很多任务上准确率还反而上升。
ResCa: Residual Caching for Diffusion Transformers Acceleration: ResCa 是一个无需训练的扩散 Transformer 加速框架：把 token 按"历史去噪轨迹"聚成簇，每簇只对一个"代理 token"做真实去噪，再用它算出的多阶残差去"模拟"同簇其它 token 的去噪，从而在保持"自身、且被更新"的去噪方向的前提下，在 FLUX 上拿到最高 5.5× 的 GFLOPs 加速且几乎无损画质。
Rethinking Asymmetric Quantization: Hidden Symmetry in Vision Model Weights: 作者发现视觉模型权重在剔除少数离群值后近似对称，据此提出 DASQ——把权重拆成「稠密对称核 + 稀疏离群」两个用对称量化（SymQ）表示的矩阵，从而去掉非对称量化（AsymQ）昂贵的零点，并在 ImageNet/COCO 上以更低 BOPs 超过现有 PTQ，还在 FPGA 上实现更高精度+更低功耗。
Rethinking Dataset Distillation: Hard Truths about Soft Labels: 这是一篇"打假"性质的分析论文：作者系统证明了大规模数据集蒸馏（DD）方法看似领先，其实主要是下游训练时用了软标签在撑场面——一旦在不同标签制度下做可扩展性分析，高质量子集相对随机子集的优势几乎消失；据此他们提出计算感知的难度剪枝指标 CAD-Prune 和对齐计算预算的蒸馏方法 CA2D，在 ImageNet-1K 多个 IPC 设置上超过现有 DD 方法。
Rethinking Token Reduction for Large Vision-Language Models: 针对多轮视觉问答（MT-VQA）场景，本文把视觉 token 裁剪与合并统一成一个"可学习的压缩映射 \(P\)"，并训练一个仅依赖图像、能适配任意分辨率的元生成器 MetaCompress 来产出 \(P\)，在 90% 压缩率下持续超过 FastV / PruMerge 等启发式方法，且推理效率逼近最快的等距采样基线。

RL-ScanIQA: Reinforcement-Learned Scanpaths for Blind 360° Image Quality Assessment

S2D: Selective Spectral Decay for Quantization-Friendly Conditioning of Neural Activations: S2D 把激活离群值的根因定位到权重矩阵被"撑大"的少数主奇异值上，在微调阶段只对这几个最大奇异值做选择性谱衰减，从而在不重训练的前提下把模型调成"量化友好"的形态，W4A4 PTQ 在 ImageNet 上最多涨 7%。
S2FT: Parameter-Efficient Fine-Tuning in Sparse Spectrum Domain: 针对傅里叶类 PEFT 假设"权重变化 \(\Delta W\) 频谱稀疏"实际不成立（频谱接近功率均匀分布）的问题，S2FT 先粗估 \(\Delta W\)，再用行列重排找到一个可逆变换把它映射成一个频谱真正稀疏的隐空间矩阵 \(\Delta\bar W\)，在这个稀疏频谱域上只训练少量频谱系数，用 0.08% 参数就超过 FourierFT 等基线。
Saliency-Driven Token Merging for Vision Transformers: SAD-TM 指出现有 token merging 只看「当前层」的注意力参数、而这些参数逐层剧烈变化，于是它改用一个跨层一致的判据：通过反传梯度算每个输入 patch 的显著性、再用 Pearson 相关找出「偏离全局梯度方向」的显著性离群 token，与类注意力加权融合后免训练地合并 token，并配一个「前几层不合并」的延迟合并策略，在 DeiT/MAE/LV-ViT 上几乎无损地砍掉 23%~45% FLOPs。
Sampling-Aware Quantization for Diffusion Models: 本文指出扩散模型的「快采样器」和「网络量化」两条加速路线一旦合用就会互相打架——量化噪声会扰动高阶采样器每一步的方向估计、把本应平滑的概率流 ODE 退化成方差爆炸的 SDE，于是提出「采样感知量化」，用一个混合阶轨迹对齐（Mixed-Order Trajectory Alignment）目标把量化后的一阶方向轨迹对齐到全精度高阶方向轨迹，让概率流更线性，从而在稀疏步数下同时拿到「采样加速 + 模型压缩」的双重加速而几乎不掉质。
SCoRe: Salience-Coverage Reduction for Vision Token Pruning in Vision-Language Models: SCoRe 把 LVLM 的视觉 token 剪枝从"先按注意力 Top-k、再事后补多样性"的两段式启发式，重写成一个统一的"代表性优化问题"，并证明它等价于经典的加权 k-Center 问题；用一个同时编码显著性和覆盖度的复合分数做贪心选择，训练无关、即插即用，在剪掉 94.4% token 时仍保留 95% 性能。
SegMo: Co-Designing Content-Aware Sparsity and Locally-Cohesive Segment Parallelism for Efficient VLM Inference: SegMo 针对长视频 VLM 的 token 爆炸与 \(O(N^2)\) Prefill 瓶颈，用「算法-系统协同设计」把算什么（内容感知稀疏化 CAS）与怎么算（局部内聚段并行 LSP）联合优化，凭 VLM 注意力的「局部内聚」特性把视频按场景切段并行、Prefill 期间零跨卡通信，在三个长视频基准上同时拿到 up to 12.00% 的精度提升和 up to 3.55× 的 Prefill 加速。
SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs: SelecTKD 把 LLM 蒸馏的关注点从"用什么散度度量教师-学生差距"转向"在哪些 token 上施加监督"，借鉴投机解码用"提议-验证"机制给每个 token 打上 \(\{0,\beta,1\}\) 的权重，只在教师高置信、师生一致的 token 上施加全损失，在指令跟随、数学、代码和 VLM 上即插即用地刷新了小模型 SOTA。
SG-LoRA: Semantic-guided LoRA Parameters Generation: SG-LoRA 用一句任务文字描述作为"语义桥梁"，从一组已训练好的专家 LoRA 中加权聚合出任务语义，再用条件 VAE 直接采样生成目标任务的 LoRA 参数，从而在没有目标任务任何数据、且任务空间开放的条件下实现免微调的实时模型适配，在图文检索上达到甚至超过逐任务微调（Oracle）的水平。
SODA: Sensitivity-Oriented Dynamic Acceleration for Diffusion Transformer: 提出 SODA，通过离线细粒度敏感度建模 + 动态规划优化缓存间隔 + 统一自适应剪枝策略，在无需训练的条件下对 Diffusion Transformer 实现可控加速比下的高保真生成。
Streamlined Knowledge Distillation: 本文指出近年 logit 蒸馏越堆越复杂（多知识对齐 + 关系建模）反而带来冗余目标和不当损失，提出极简的 SKD——只传两类知识：用 KL 散度传「实例级」语义、用归一化 logit 的 Gram 矩阵传「方向级」关系，并为后者设计一个经 Tikhonov 正则 + Cholesky 分解稳定化的马氏距离损失（可证等价于协方差白化空间里的 L2 范数），在 CIFAR-100/ImageNet/COCO 上不仅超过所有 logit 蒸馏、甚至超过特征蒸馏，训练还最快。
TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery: 提出首个面向 on-the-fly 类别发现（OCD）的测试时自适应框架 TALON，通过语义感知原型更新 + 稳定编码器适应 + 边距感知 logit 校准，摒弃哈希编码在连续特征空间直接建模，大幅缓解类别爆炸并显著提升新类发现精度。
TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts: 针对一次性 Transformer 架构搜索（TAS）中"子网共享权重导致特征坍缩"的顽疾，TAS-LoRA 给冻结的超网挂上一组 LoRA 专家，用一个吃"架构配置"的 LSTM 路由器为每个子网动态组合专家、学到子网专属特征，并靠分组式路由器初始化逼专家从训练初期就学得各不相同，在 ImageNet 上把 AutoFormer 各尺度的搜索结果稳定提升 0.2~1.0 个点且推理零额外开销。
TaskIT: Memory-Efficient Fine-Tuning of Multi-LoRA LLMs via Cross-Task Importance Transfer: TaskIT 在显存受限的端侧设备上为多 LoRA 大模型适配新任务：它先用「跨任务迁移」在不训练任何新模块的前提下预测每个候选 LoRA 位置的重要性，再用「块级显存预测器」准确估出 Transformer 上的激活显存，最后用动态规划调度器在显存预算内挑选 LoRA 的位置、数量和秩，从而拿到比 Zero-FT / non-LoRA / 现有 LoRA 微调更好的精度-显存折中。
Teacher-Guided Routing for Sparse Vision Mixture-of-Experts: 用一个冻结稠密教师模型搭出的"教师路由器"产生稳定的专家分配分布，再用 KL 蒸馏去监督稀疏 MoE 学生的路由器，从训练早期就缓解了稀疏 MoE 路由器"只有被选中专家才有梯度"导致的路由抖动问题，在 ImageNet-1K / CIFAR-100 上稳定提点且推理零额外开销。
Test-time Sparsity for Extreme Fast Action Diffusion: 本文提出"测试时稀疏（test-time sparsity）"，用一个共享编码器的轻量 pruner 在每次前向时动态预测可剪掉的残差块，再配上把历史特征组织成 3D 点阵的"全向复用"策略，在机器人动作扩散上做到 95% 稀疏、92% FLOPs 削减、5× 实际加速，把推理频率从 6Hz 拉到 47.5Hz 且成功率不掉。
ThinkingViT: Matryoshka Thinking Vision Transformer for Elastic Inference: ThinkingViT 把"先用少量注意力头快速预测、不确定就扩大子网重新思考"的渐进机制塞进一个嵌套 ViT，并用 Token Recycling 把上一轮的特征喂回下一轮，在同等吞吐下比 MatFormer / HydraViT 等嵌套基线在 ImageNet-1K 上高出最多 2.0 个点。
Towards Generalizable AI-Generated Image Detection via Image-Adaptive Prompt Learning: 提出 Image-Adaptive Prompt Learning (IAPL)，在推理时根据每张测试图像动态调整 CLIP 编码器的 prompt，通过测试时 token 调优和条件信息学习器实现对未见生成器的强泛化，在 UniversalFakeDetect 和 GenImage 上分别达到 95.61% 和 96.7% 平均准确率的 SOTA 性能。
Towards Unified Human Perception and Machine Understanding: Token Flow Guided Compression Framework: TFGC 把图像压成 1D token 序列，用「token flow」现象做可变码率掩码 + 条件高斯预测来重建缺失 token，再用语义引导模块让 LVLM 直接吃压缩 token（不解码回图像），在 0.02–0.06 bpp 超低码率下同时兼顾人眼感知质量和机器理解任务（caption/grounding/VQA）。
Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers: LLSA 把 Top-K 稀疏注意力的「单层粗选」扩展成「多层级粗到细」的层次结构，让选块阶段和注意力阶段的复杂度同时从 \(O(N^2)\) 降到对数线性，再配上一个不构建稠密 mask 的稀疏索引反传内核，在 256×256 像素 DiT 上把注意力推理加速 28.27×、训练加速 6.09× 且不掉生成质量。
TWEO: Transformers Without Extreme Outliers Enables FP8 Training And Quantization For Dummies: 本文提出 TWEO，一个仅靠一项正则损失项就能把 Transformer 激活极端离群值从 10000+ 压到 20 以下的"非侵入式"方法：它先用对照实验和 SVD 分析证明极端离群值并非数据驱动、而是权重共线性导致的"机械产物"，再据此设计一个直接惩罚激活幅值的 \(L_p\) 损失，从而让全模型 FP8 预训练（不靠任何混精度工程和架构改动）稳定收敛、达到 BF16 水平并提速 36%，同时让最简单的 per-tensor 静态量化（含残差流）首次可用。
Ultra-Fast Neural Video Compression: 本文提出 DCVC-UF，用"把一整段（chunk）多帧编码进单个紧凑 latent、再并行解码回所有帧"的 chunk 编码范式，彻底甩掉逐帧运动估计，配合帧专属解码器和单步熵解码，在 1080p、4090 GPU 上做到 371 编码 / 274 解码 FPS 的同时还把码率比 VTM(LD) 省了 42.2%，刷新神经视频编码的率-失真-复杂度 SOTA。
Ultra-Low Bitrate Perceptual Image Compression with Shallow Encoder: 本文提出非对称极致图像压缩框架 AEIC，先用理论说明「超低码率（<0.05 bpp）下隐变量方差天然很小、不需要重编码器」，进而把编码端做成一个 0.94M 参数的像素域浅卷积网络、把生成能力全部压进单步扩散解码器，再用双侧特征蒸馏把中等编码器的知识迁给浅编码器，最终在 1080P 上做到 35.8 FPS 实时编码、比同类极致压缩方法快约 19 倍，且感知指标（LPIPS/DISTS/FID/KID）反而领先。
Understanding and Enforcing Weight Disentanglement in Task Arithmetic: 本文提出任务特征专业化（TFS）作为权重解耦的充分条件，揭示其几何结果是权重向量正交性，并基于此提出 OrthoReg 正则化方法，通过在微调时强制权重更新矩阵的列向量正交来促进任务向量解耦，显著提升各种任务算术方法的性能。
UniComp: Rethinking Video Compression Through Informational Uniqueness: 提出基于信息唯一性（而非注意力）的视频 token 压缩框架 UniComp，通过帧组融合、token 分配和空间动态压缩三个模块在时序-空间-全局维度上最大化保留唯一信息，在仅保留 10% token 时仍能超越未压缩基线性能。
Vision-Oriented Lightweight Neural Architecture Search with Budget-Adaptive Evaluation: 针对神经架构搜索（NAS）"准确但慢的 training-based" 与 "快但不可靠且只认某一类骨干的 training-free" 之间的两难，本文设计六个训练成本几乎可忽略的"视觉专用微型任务"作为架构质量代理，再用一个二次响应面在给定时间预算内自动分配数据量和训练轮数，把排序相关性和搜出架构的精度同时拉到 SOTA，且在 CNN / Transformer / Mamba 三大家族上都通用。
VLM-PTQ: Efficient Post-Training Quantization for Large Vision-Language Models: VLM-PTQ 把 GPTQ/GPTAQ 这类权重补偿量化方法迁移到视觉-语言模型时，发现它们有两个被忽略的毛病——非对称目标下"舍入到最近"并不是最优、以及视觉与文本通道被一视同仁地处理；论文用一个闭式修正项把量化目标挪到真正的最优点，再用模态感知的重要性向量重新分配通道权重，在 1B~72B 的 VLM 上把 3bit/2bit 量化精度显著拉高，且额外开销几乎可忽略。
VVS: Accelerating Speculative Decoding for Visual Autoregressive Generation via Partial Verification Skipping: VVS 第一次在视觉自回归生成的投机解码（SD）中"部分跳过验证"——靠免验证 token 选择 + 陈旧特征缓存复用 + 相似度驱动的跳过调度，把目标模型的前向次数最多砍掉 2.86×、端到端加速 1.76×，且图像质量基本不掉，打破了 SD"草稿一步、验证一步"无法显式减少前向次数的天花板。
WPT: World-to-Policy Transfer via Online World Model Distillation: WPT 提出世界-策略转移训练范式，通过可训练的奖励模型将世界模型的未来预测知识注入教师策略，再通过策略蒸馏和世界奖励蒸馏转移到轻量学生策略，实现79.23驾驶得分（闭环）且推理速度提升4.9倍。