自适应卷积相关论文

发表于 更新于 分类于 ， 本文字数： 633 阅读时长 ≈ 4 分钟
查找与自适应卷积相关的论文，整理记录下

SE-Net (Squeeze-and-Excitation Networks)

image-20220719165350901

上图就是一个SE模块。

过程：

  1. 先经过一般的cnn，得到一个特征图\(U\)，维度为\((H,W,C)\) ;
  2. Sequeeze操作，将$U F_{sq}(.) $ , \(F_{sq}(.)\) 的维度是\(1*1*C\)。具体的，用的是 global average pooling（求每个通道的平均值） 来生成的。这样，可以有全局的感受野。
  3. Excitation操作，\(F_{sq}(.) \to F_{ex}(.,W)\) 。它是一个类似于循环神经网络中门的机制。主要用来学习每个通道的权重值，来达到激励重要的特征，抑制不重要的特征。具体的，论文中使用两个全连接层进行权重值的学习。下图Figure 3做为一个在resnet中插入SE模块的例子。
  4. Reweight操作， 将Excitation的输出的权重看做是进过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上。（就是将学到的权重值和原先的特征图进行乘积）
image-20220719173624311

总体来说，通过提高重要通道的特征值，抑制其他通道的特征值，来达到自适应的卷积。

参考：

https://arxiv.org/abs/1709.01507

https://zhuanlan.zhihu.com/p/32733549

https://zhuanlan.zhihu.com/p/47494490