CoordConv:给你的卷积加上坐标

科技资讯 投稿 7300 0 评论

CoordConv:给你的卷积加上坐标

摘要:本文主要对CoordConv的理论进行了介绍,对其进行了复现,并展示了其在网络结构中的用法。

本文分享自华为云社区《CoordConv:给你的卷积加上坐标》,作者: 李长安。

一、理论介绍

1.1 CoordConv理论详解

这是一篇考古的论文复现项目,在2018年作者提出这个CoordConv模块的时候有很多文章对其进行批评,认为这个不值得发布一篇论文,但是现在重新看一下这个idea,同时再对比一下目前Transformer中提出的位置编码(Position Encoding),你就会感概历史是个圈,在角点卷积中,为卷积添加两个坐标编码实际上与Transformer中提出的位置编码是同样的道理。

众所周知,深度学习里的卷积运算是具有平移等变性的,这样可以在图像的不同位置共享统一的卷积核参数,但是这样卷积学习过程中是不能感知当前特征在图像中的坐标的,论文中的实验证明如下图所示。通过该实验,作者证明了传统卷积在卷积核进行局部运算时,仅仅能感受到局部信息,并且是无法感受到位置信息的。CoordConv就是通过在卷积的输入特征图中新增对应的通道来表征特征图像素点的坐标,让卷积学习过程中能够一定程度感知坐标来提升检测精度。

传统卷积无法将空间表示转换成笛卡尔空间中的坐标和one-hot像素空间中的坐标。卷积是等变的,也就是说当每个过滤器应用到输入上时,它不知道每个过滤器在哪。我们可以帮助卷积,让它知道过滤器的位置。这一过程需要在输入上添加两个通道实现,一个在i坐标,另一个在j坐标。通过上面的添加坐标的操作,我们可以的出一种新的卷积结构–CoordConv,其结构如下图所示:

二、代码实战

本部分根据CoordConv论文并参考飞桨的官方实现完成CoordConv的复现。

import paddle import paddle.nn as nn import paddle.nn.functional as F from paddle import ParamAttr from paddle.regularizer import L2Decay from paddle.nn import AvgPool2D, Conv2D

2.1 CoordConv类代码实现

首先继承nn.Layer基类,其次使用paddle.arange定义gx``gy两个坐标,并且停止它们的梯度反传gx.stop_gradient = True,最后将它们concat到一起送入卷积即可。

class CoordConv(nn.Layer:
 def __init__(self, in_channels, out_channels, kernel_size, stride, padding:
 super(CoordConv, self.__init__(
 self.conv = Conv2D(
 in_channels + 2, out_channels , kernel_size , stride , padding
 def forward(self, x:
        b = x.shape[0]
        h = x.shape[2]
        w = x.shape[3]
 gx = paddle.arange(w, dtype='float32' / (w - 1. * 2.0 - 1.
 gx = gx.reshape([1, 1, 1, w].expand([b, 1, h, w]
 gx.stop_gradient = True
 gy = paddle.arange(h, dtype='float32' / (h - 1. * 2.0 - 1.
 gy = gy.reshape([1, 1, h,

编程笔记 » CoordConv:给你的卷积加上坐标

赞同 (34) or 分享 (0)
游客 发表我的评论   换个身份
取消评论

表情
(0)个小伙伴在吐槽