python神经网络Densenet模型复现详解

什么是Densenet

据说Densenet比Resnet还要厉害，我决定好好学一下。

ResNet模型的出现使得深度学习神经网络可以变得更深，进而实现了更高的准确度。

ResNet模型的核心是通过建立前面层与后面层之间的短路连接（shortcuts），这有助于训练过程中梯度的反向传播，从而能训练出更深的CNN网络。

DenseNet模型，它的基本思路与ResNet一致，也是建立前面层与后面层的短路连接，不同的是，但是它建立的是前面所有层与后面层的密集连接。

DenseNet还有一个特点是实现了特征重用。

这些特点让DenseNet在参数和计算成本更少的情形下实现比ResNet更优的性能。

DenseNet示意图如下：

代码下载

Densenet

1、Densenet的整体结构

如图所示Densenet由DenseBlock和中间的间隔模块Transition Layer组成。

1、DenseBlock：DenseBlock指的就是DenseNet特有的模块，如下图所示，前面所有层与后面层的具有密集连接，在同一个DenseBlock当中，特征层的高宽不会发生改变，但是通道数会发生改变。

2、Transition Layer：Transition Layer是将不同DenseBlock之间进行连接的模块，主要功能是整合上一个DenseBlock获得的特征，并且缩小上一个DenseBlock的宽高，在Transition Layer中，一般会使用一个步长为2的AveragePooling2D缩小特征层的宽高。

2、DenseBlock

DenseBlock的实现示意图如图所示：

以前获得的特征会在保留后不断的堆叠起来。

以一个简单例子来表现一下具体的DenseBlock的流程：

假设输入特征层为X0。

1、对x0进行一次1x1卷积调整通道数到4*32后，再利用3x3卷积获得一个32通道的特征层，此时会获得一个shape为(h,w,32)的特征层x1。

2、将获得的x1和初始的x0堆叠，获得一个新的特征层，这个特征层会同时保留初始x0的特征也会保留经过卷积处理后的特征。

3、反复经过步骤1、2的处理，原始的特征会一直得到保留，经过卷积处理后的特征也会得到保留。当网络程度不断加深，就可以实现前面所有层与后面层的具有密集连接。

实现代码为：

def dense_block(x, blocks, name):
    for i in range(blocks):
        x = conv_block(x, 32, name=name + '_block' + str(i + 1))
    return x
def conv_block(x, growth_rate, name):
    bn_axis = 3 
    x1 = layers.BatchNormalization(axis=bn_axis,
                                   epsilon=1.001e-5,
                                   name=name + '_0_bn')(x)
    x1 = layers.Activation('relu', name=name + '_0_relu')(x1)
    x1 = layers.Conv2D(4 * growth_rate, 1,
                       use_bias=False,
                       name=name + '_1_conv')(x1)
    x1 = layers.BatchNormalization(axis=bn_axis, epsilon=1.001e-5,
                                   name=name + '_1_bn')(x1)
    x1 = layers.Activation('relu', name=name + '_1_relu')(x1)
    x1 = layers.Conv2D(growth_rate, 3,
                       padding='same',
                       use_bias=False,
                       name=name + '_2_conv')(x1)
    x = layers.Concatenate(axis=bn_axis, name=name + '_concat')([x, x1])
    return x

3、Transition Layer

Transition Layer将不同DenseBlock之间进行连接的模块，主要功能是整合上一个DenseBlock获得的特征，并且缩小上一个DenseBlock的宽高，在Transition Layer中，一般会使用一个步长为2的AveragePooling2D缩小特征层的宽高。