1 在实践中如何判断该选择Add还是Concatenate?
在网络结构的设计上,经常说DenseNet和Inception中更多采用的是concatenate操作,而ResNet更多采用的add操作,那么这两个操作有什么异同呢?
2 如何理解concat和add的方式融合特征
在各个网络模型中,ResNet,FPN等采用的element-wise add来融合特征,而DenseNet等则采用concat来融合特征。那add与concat形式有什么不同呢?事实上两者都可以理解为整合特征图信息。只不过concat比较直观,而add理解起来比较生涩。
concatenate经常用于将特征联合,多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合
add层更像是信息之间的叠加。
Resnet是做值的叠加,通道数是不变的,DenseNet |