双流检测Gated-SCNN

简述

这篇文章提出two-stream CNN架构，two-stream包括经典网络结构regular stream和处理边界信息的shape stream。这两个处理流并行处理不同的任务，相互协调工作。regular stream可以帮助shape stream只关注边界信息而不被一些无用的噪声干扰；shape stream可以辅助regular stream做更精确的识别。并且该架构在微小物体上有着明显提升。

细节描述

Shape Stream是如何工作的

作者在Shape Stream中添加了门控结构Gated Convolutional Layer，让Shape Stream将注意力放在它该处理的任务上即边界信息。
其中attention map 的公式为：

\alpha_{t}=\sigma\left(C_{1 \times 1}\left(s_{t} \| r_{t}\right)\right)

$r_t$ 与 $s_t$ 分别对应regular and shape streams；
||表示的是 $s_t$ 与 $r_t$ concatenating；
最后对1x1卷积添加sigmoid卷积。至此一个attention map就形成了。

GCL 的计算公式为:

表示的是： $s_t$ 逐像素与attention map $\alpha_t$ 点乘，取得感兴趣区域信息。再通过加权值为wt的残差网络。

多任务学习损失函数：

预测边界信息使用的是BCE，用来监督更新both the regular and shape streams的参数；
预测语义信息使用的是CE，监督更新所有的网络参数。

\mathcal{L}^{\theta \phi, \gamma}=\lambda_{1} \mathcal{L}_{B C E}^{\theta, \phi}(s, \hat{s})+\lambda_{2} \mathcal{L}_{C E}^{\theta \phi, \gamma}(\hat{y}, f)

这里的 $\lambda_1,\lambda_2$ 是用来控制两种损失权重的超参。

Dual Task Regularizer：
最后对two-stream的误差函数加入正则化项。
$\mathcal{L}^{\theta \phi, \gamma}=\mathcal{L}_{r e g \rightarrow}^{\theta \phi, \gamma}+ \mathcal{L}_{r e g_{\leftarrow}}^{\theta \phi, \gamma}$
其中
$\mathcal{L}_{r e g \rightarrow}^{\theta \phi, \gamma}=\lambda_{3} \sum_{p^{+}}\left|\zeta\left(p^{+}\right)-\hat{\zeta}\left(p^{+}\right)\right|$
$\mathcal{L}_{r e g_{\leftarrow}}^{\theta \phi, \gamma}=\lambda_{4} \sum_{k, p} \mathbb{1}_{s_{p}}\left[\hat{y}_{p}^{k} \log p\left(y_{p}^{k} | r, s\right)\right]$
$\zeta=\frac{1}{\sqrt{2}}\left\|\nabla\left(G * \arg \max _{k} p\left(y^{k} | r, s\right)\right)\right\|$