（图片付费下载自视觉中国）
作者 | 路一直都在
来源 | 知乎专栏
abstract
本文提出了一种新的自适应连接神经网络(acnet)，从两个方面对传统的卷积神经网络(cnns)进行了改进。首先，acnet通过自适应地确定特征节点之间的连接状态，在处理内部特征表示时可以灵活地切换全局推理和局部推理。从这个角度来说，现有的很多cnn模型，经典的多层感知器mlp以及最近（2017）提出的nln（non-local neural networks），都是acnet的特殊形式。其次，acnet还能够处理非欧几里德数据（ non-euclidean data，关于非欧几里得数据，下文会有解释)。实验证明，acnet不仅在分类、检测、分割任务上都有sota表现，而且还可以克服传统mlp和cnn的一些缺点。
intorduction在神经网络的发展过程中，有两大类代表类型：第一种是传统的多层感知器（mlp），由输入层，输出层和隐层构成。通过bp算法，使得网络能有拟合复杂数据的能力。但是mlp有很大的缺陷，在隐层中的每个神经元节点权重不共享，因此mlp的网络参数往往数量庞大，在训练阶段容易过拟合。而且，mlp难以表示二维数据的空间结构。
一个简单的mlp模型
随着深度学习的发展，cnn卷积神经网络出现了，cnn能够实现权重共享，局部特征提取，在mlp的基础上实现了很大的提升，但是卷积仍然有两个固有的缺点，一方面，卷积只能在相邻像素点之间进行特征提取，神经网络各层内部的卷积运算不具备全局推理的能力，因此，如果有两个目标具有相似的外观，对于卷积来说，很难分辨。如下图所示，对于具有相似外观特征的椅子和沙发，只基于局部的特征，很容易得到错误的结论；另一方面，卷积无法处理非欧几里得数据，因为卷积依赖的是有相邻的像素点，这种无序的，散乱的数据形式，对卷积是一个挑战。
为了解决cnns中的局部性问题，最近提出的非局部网络（non local nn）将全局依赖关系强加给所有特征节点，但是作者认为，完全的非局部网络，有时适得其反，会造成退化，如下图所示，如果只基于局部推理，dog很容易被识别，但是加上全局推理后，反而被错分为sheep了，随后作者也在实验部分证明，随着网络非局部性的增加，imagenet-1k分类任务中的训练和验证精度都会降低。作者认为这种下降是由于过度全局化造成的。
通过以上的实验结果，作者认为，局部信息和全局信息需要共同考虑，即从图像感知和像素感知的角度来共同考虑全局和局部推理。因此，怎样保持一个局部和全局的平衡，既不过度局部化又不过度全局化是最大的挑战。本文提出了acnet，一个简单通用的自适应连接网络，在mlp，cnns上取长补短，自适应的捕捉全局和局部的关系依赖。acnet首先定义了一个基本单元node。如下图所示，node可以是一张图片中的一个像素点；可以是一段音频中的采样；可以是一个图结构中的一个节点等等。
给定输入数据，acnet自适应地训练搜索每个节点的最优连接，连接关系和连接之间的关系可以用下式表示：
在acnet中，要有一个这样的意识，不同节点是自适应连接的，因此，有些节点可能是自己推测的，有些节点可能与它的邻域有关，而其他节点则具有全局视野。从这方面讲，如下图所示，acnet可以看做是mlp，cnns等的综合。通过学习不同类型连接的重要性程度来搜索最优连接是有差异的，可以通过反向传播来优化。
实验证明，acnet在imagenet-1k上top-1error比resnet更低
acnet与resnet在imagenet-1k实验对比
background knowledge
non-euclidean data（非欧几里得数据）
*部分内容参考以下文章，侵删
/target=/p/84205427
（*本文为 ai科技大本营转载文章，转载请联系原作者）

---