基于遗传生命的自动网络结构生成

完成时间：2016.10-2017.01

整体概述

用基因个体的方式去描述网络结构，对应关系如下:
卷积神经网络模型（cnn）对应于生物个体，网络层(卷积层)对应于染色体，层的属性（卷积核的大小）对应于基因。

核心思想：通过种群的个体之间进行一些遗传操作获得不同的个体，个体代代相传，优胜劣汰的机制选出最佳个体，获得性能较好的模型结构。

1 2	input :网络结构参数（种群的大小，局部种群的大小，进化的次数，操作的类型，基因的类型） output:最好的性能结构的top-k个及性能得分

基础原理详细介绍

CNN通用组成分析

对比目前人工设计的卷积神经网络，诸如LexNet网络，ImageNet,VGG16,VGG19,All-CNNs,NIN,ResNet,GoogleNet,FractalNet,DenseNet等结构，我们发现这些卷积神经网络的结构都是由一些基础的结构单元所组成。归纳一下卷积神经网络的主要结构由以下部分组成：

卷积层
卷积层含有的属性包括卷积层抽取特征的nb_filter个数，卷积核的大小（长和高的大小），初始化init方式，卷积移动stride步数，border_mode模式(same或者valid)。
激活函数层
激活函数层包含的属性取值为tanh,sigmoid,relu,relu的各种变体
pool层
pool层的大小取值为pool的length长度，移动的步数stride，padding数目，还有就是pool类型比如maxp,average等。
全连接层
主要的变化点是隐层单元的个数以及激活函数的类型
分类层
同全连接一样只不过是隐层单元个数为类标签的个数
Dropout层
正则化系数，主要指的是丢弃权值的比例
BatchNormatization层
主要是每批训练的每个样本减去它的均值除以它的方差，再乘以一个alpha和beta系数，主要变化点为alpha和beta系数。
Skip Connection.
主要指的是结构上的跳跃，从何凯明的文章以及后续许多带shortcuts结构可以知道是可以缓解梯度消失或梯度膨胀的问题，在低层与高层之间建立“捷径”。

完全利用以上结构进行组成的卷积神经网络结构的参数空间是巨大的，是一个NP问题。
假设一个d层神经网络，层的类型个数为s,每层含有k个属性，每个属性的取值为t个，那么其搜索空间的范围为：$(skt)^d$ , 这个数字比较的大，比如针对10层的神经网络，5种类型层，每层含有3个属性，每个属性取值5个，那么结构的个数为$75^{10}=10^{17.8}$ 。这个空间的搜索范围就比较大了。

为了进一步减少空间的搜索范围和搜索时间，需要做了一下简单的处理：

1. 卷积层中由于属性较多，stride固定设置为1， border_mode模式设置为same即经过卷积不改变大小，卷积层的权值初始化方式为随机取值。
2. 激活函数的使用过程中只是在卷积层使用，默认和卷积层绑定，理论上如果加入BN操作需要剥离开，约定激活函数在全连接层使用relu,分类层使用softmax层激活函数。
3. 使用的Dropout用于全连接层，设定固定值0.5
4. Poolng层设置为2，strides的大小等于pooling的大小，另外使用的是maxpling.
5. 不考虑Skip-Connnection和BatchNormatization操作，简化搜索的空间
6. 全连接层默认固定为512个隐层神经单元。
7. 分类层上加一个正则化约束因子L2,防止过拟合
8. 训练时迭代次数设置100次，如果10次性能不提高，终止训练。

综上，模型探索中可以变化点主要来自于卷积层的filter个数的大小和maxpling的结合情况。这里filter个数设置为16,32,48,96,128,196,256,512,还有就是加入pooling操作。

针对10层模型，不考虑pooling，上面8种filter的搜索空间的个数为：8^10 ，相对而言训练的模型的个数还是比较多的。在实际实施过程中，我们采取的是将这8种filter划分成多组5个filter分别进行训练，减少参数搜索的空间，最后再将不同组的进化结果进行汇总。

基础操作

基础操作定义

1. 自身复制.
    主要是借鉴类似于vgg或者ResNet等结构，为了产生复杂的结构都是像conv+conv+maxp等类似block的结构不断的重复复制所产生。
2. 交叉组合。
    以个体序列S1=a1_a2_a3_a4和个体序列S2=b1_b2_b3_b4为例,它们进行交叉组合的种类是比较多的，
    这里采用的策略是：随机在个体序列S1和S2之间选择交叉点p1,p2.假设p1=a2,p2=b3,那么它们产生的交叉个体为：
      a1_a2_b3_b4,
      a1_a2_b1_b2,
      b1_b2_a1_a2,
      b1_b2_a3_a4
      这四个交叉组合个体。
3. 变异操作。
   假设个体的序列为a1_a2_a3_a4，那么随机产生一个随机点，比如说a2,这里有两种情况：
       如果a2是一个maxp,那么变异操作保持不变，
       如果是conv,filter个数是f1，那么随机在之前的filter集合中S去掉f1,即S-f1中任意的一个元素.

进化的性能评价指标：

性能的评价指标是单个个体（模型）的训练获得的性能得分值，用于筛选模型好坏的度量。

考虑到模型训练具有一定的随机性使用比率进行度量，即两个模型的得分为s1,s2,如果s1>s2 && abs(s1-s2)/s2>r，则认为s1的性能比s2好。

基本步骤

进化的整个过程主要分为两步：

step1. 初始步。

根据设置的初始种群大小L，随机均匀的散落初始个体（有单个的基因组成比如conv(12),maxp）到L×L的初始种群中，针对这L×L个个体分别进行训练，得到一个性能得分,填充整个L×L个空间。

step2. 进化步。

1. 随机选择一个个体S1,以S1为中心点选择一个半径为d的局部种群，随机在d*d-1个局部种群中选择一个个体S2.这里假设S1的模型序列为a1_a2_a3_a4,S2的序列为b1_b2_b3_b4
2. 自身复制。
以中心点S1进行自身复制操作产生一个新的个体S3，进行训练获得其性能得分假设为s_3.
3. 进行交叉组合。
如上面提到的操作部分进行随机的交叉组合产生4个个体，分别获得其性能得分假设为c1,c2,c3,c4.
4. 选择较好的组合或者自身复制个体，记最好的性能得分为max_c，即max_c=max{s3,c1,c2,c3,c4}。
这时可能出现如下三种情况：
a. 如果max_c比s1的性能要差,那么直接跳到step2,进行下一次进化操作
b. 如果max_c比s1的性能要好，但比s2的性能要差，这时max_c的结构替换掉s1的结构，那么需要进行第5步变异步
c. 如果max_c比s1的性能要好，也比s2的性能要好，这时max_c的结构替换掉s1的结构，同时也替换掉s2的结构，那么需要进行第5步变异步操作。
5. 变异步操作。
去除s1和s2的局部种群中除去s1,s2外随机选择出两个最差的个体l1,l2,如变异操作描述那样，针对max_c的结构进行实施变异操作。

CNN网络结构生成在图片分类中应用

CIFAR10进行非增强的参数调优

选择训练的模型（model-29-‘0.7944’）进行一定程度的性能调优，调优过程如下

数据规范化处理

原始模型能达到0.8324
零均值规范化处理和学习率动态改变(两次调整,10次性能不提高学习率就缩小为原来的0.1)

性能能提高到0.8524.
其它操作。
比如加入BN，梯度剪切，全连接层调节，dropout调节等，性能影响不太.

由于硬件资源的原因，为了能得到增强操作的结果，我们直接进行在非增强的模型结构进行增强操作，而在非增强结构中进行直接的增强训练发现，非增强:0.7944,增强最好结果是0.9196，非增强:0.8138,增强最好结果是0.9169，增强和非增强的效果并非保持一致的，另外考虑非增强和增强操作可能会导致结构上的差别，我们选择非增强的最好的30个模型进行增强操作重新训练，训练结果如下部分。

CIFAR10进行增强操作选择最优结果

实验结果

直接进行数据增强和学习率的调整，选择top-5个模型的机构编号及性能如下：

注：模型标号对应的结构参见模型附录B部分

结果对比

对比一下MIT的利用强化学习生成网络结构的实验结果为：

但从数据上看，我们的实验效果最好的误差率为7.62，其结果要比要比highway，maxout,FitNet等人工设计的结构要好，比VGG和All-CNNs略差。
实验分析
- 从上面结果看，其生成的结构和人工涉及的结构差异比较大，存在conv_conv_conv_maxp，conv_conv_maxp,conv_conv_conv_conv_maxp等结构，其具体的filter个数结构都不一样，人工很难去设计这样的结构。
- 从生成结构的层数看，VGG结构最少是16层，我们的结构是10个卷积层外加一个全连接和分类层，共12层，层数要比其少。
- 从参数规模上看，生成top-30个模型生成的模型基本上在1.2M-13M的规模，top-5个参数的规模约5M。

基于遗传生命的自动网络结构生成

整体概述

基础原理详细介绍

CNN通用组成分析

基础操作

基本步骤

CNN网络结构生成在图片分类中应用

相关参数和模型的设置

相关训练结果展示

CIFAR10进行非增强的参数调优

CIFAR10进行增强操作选择最优结果

相关实验经验总结

相关问题及处理策略

相关尝试和经验

模型附录

参考文献