147、超分模型中的残差学习：从SRResNet到RCAN的演进

147、超分模型中的残差学习：从SRResNet到RCAN的演进去年帮一个医疗影像项目做超分，客户要求把病理切片放大4倍，同时保留细胞核的纹理细节。我兴冲冲地上了个SRResNet，结果跑出来的结果——边缘倒是锐利了，但细胞核内部出现了奇怪的棋盘格伪影，像被砂纸打磨过一样。调试了三天，最后发现是残差连接里的shortcut没处理好，梯度在深层传播时被“截胡”了。这个坑让我重新审视了残差学习在超分任务中的本质：它不是简单的“跳连接”，而是信息流的“高速公路”设计。残差学习的底层逻辑：为什么超分需要它？先回到最朴素的问题。超分网络要学习的是低分辨率到高分辨率的映射，这个映射本质上是一个高频细节的“补全”过程。早期VDSR用20层卷积堆叠，梯度回传到前几层时已经衰减到几乎为零，训练根本推不动。残差学习解决了这个痛点——它让网络专注于学习残差（即高频残差图），而不是直接输出完整的高分辨率图像。但这里有个容易被忽略的细节：残差学习在超分中的成功，不仅仅是因为梯度流通，更因为图像的低频信息（如平滑区域、背景）在高低分辨率之间是高度相关的。网络不需要重新学习这些低频分量，只需要通过shortcut直接传递，把精力集中在高频细节的预测上。这就是为什么SRResNet的残差块设计成“卷积-BN-ReLU-卷积”的堆叠，加上一个恒等映射。踩坑记录：我第一次实现SRResNet时，在残差块里加了Dropout，结果训练loss死活降不下去。后来才想明白，超分任务需要保留所有像素信息，Dr