188宝金博页面版

2018 年 第 1 期 信 息 通 信 2018(总第 181 期） INFORMATION & COMMUNICATIONS (Sum. No 181)卷积神经网络中ReLU激活函数优化设计王双印,滕国文(吉林师范大学计算机学院，吉林四平136000)摘要 : 卷积神经网络中的激活函数的作用是激活神经元的特征然后保留并映射出来，这是神经网络能模拟人脑机 制 ，解决非线性问题的关键。 ReLU 函数更是其中的佼佼者，但同时其自身也存在不足之处。文章从两个方面对 R eLU 函数进行了优化设计。对使用梯度下降法的激活函数的学习率进行讨论研究并提出可行的学习率改进方 法。提出一种新型校正激活函数，称其 为 e-ln 函数，经 过 M nist 数据集仿真实验证明某些情况下其性能要优于 ReLU0关键词:卷积神经网络;激活函数; ReLU; 优化设计中图分类号 :TP391.41 文献标识码 :A 文章编号 = 1673-1131(2018)01-0042-02Optimal Design of ReLU Activation Function in Convolutional Neural NetworksWang double printing, TengGuowen(School of Computer, Jilin Normal University, Siping, Jilin 136000)Abstract: The function of activation function in convolutional neural network is to activate the characteristics of neurons and then retain and map them. This is the key point that neural network can simulate human brain mechanisms and solve nonlinear problems. ReLU function is one of the best, but at the same time, its own shortcomings. In this paper, the ReLU function is optimized from two aspects. The study on the learning rate of the activation function using the gradient descent method is discussed and the feasible method for improving the learning rate is proposed. A new type of calibration acti­vation function is proposed, which is called e-ln function. After Mnist data set simulation, it is proved that its performance is better than ReLU in some cases.Keywords: convolutional neural network; activation function; ReLU; optimal design〇引言在卷积神经网络中，当激活函数具有的是线性属性，那么 函数的线性方程及其组合也仅仅有线性表达的能力，网络的 多层就没有了意义，相当于是只有一个隐藏层的线性网络。由 于这种表达方法所呈现出的性能远未达到我们的要求，所以 研究人员开始尝试使用非线性的组合。使用非线性激活函数 增加了神经网络模型的表达能力，深度神经网络才真正具有 了人工智能的意义。曾经sigmoid和 tanh是被采用的主要函 数，但是这两种函数存在很大的缺点，就是存在梯度弥散，初 始几层网络的权重变化趋势过于平缓，因此并不能通过样本 进行有效的学习。1 ReLU 函数概述ReLU 的横空出世，很大程度上解决了这个问题。 ReLU (Rectified linear unit,ReLU) 线性修正单元。它是一个分段函 数。如果输入值小于或者等于零，那么输出的结果为〇 ; 如果 输出大于零就保持原来的值不改变。它的定义式:f(x)=max(0, X)。这种方法会使得一些数据强制为 0, 但同时增加了训练后 网络的稀疏特性，这更加符合神经元信号激励原理，这种操作 不但使得参数间减少了相互依赖，而且对于过拟合问题的发 生有大大的缓解作用。2 函数的改进对于 ReLU 函数的改进。我们大致有以下两个方向。2.1 Learning rate 的选择机器学习需要用到很多无约束优化问题的算法，梯度下 降法 (Gradient Descent) 就是其中之一 它是一种参数优化算 法，核心思想是:沿着负梯度方向进行迭代计算并继续负梯度搜索新的方向，使得每次迭代都能使待优化的目标函数逐步 减。莨樾缘谋平钚∑钅Ｐ。很多情况下它未必是最优的权重计算方法，但是它有着 简单快速的高效性，因此被广泛使用来最小化模型误差并估 测模型参数。梯度下降法的特点在于它在多次迭代的同时能 够在每一步中最小化成本函数。计算过程:沿梯度下降的方向求解极小值。公式:= / mZ / m - XaFf / J / ot/m心是模型参数, F ()是成本函数,aF (/"J /a/m是/„的一阶导 数，A•是学习率(learning rate)。在这里我们只讨论学习率对算法的影响。较高的学习率 虽然有利于加快迭代更新的速度，但对于找到局部或全局的 最优点却十分不利，算法会徘徊在在局部最优点附近，难以收 敛。较低的学习率虽然有利于找到局部最优点，但可能使得 模型陷入局部最优无法跳出而忽略全局最优，而且算法收敛 速度很慢。要想解决学习率的设定问题，我们要按照成本函数不同 的情况进行讨论。在相同的成本函数下，如 果 F()是单调函数，多次迭代之 后我们就会得到预期的最小成本函数，不必赘述;如果F()非 单调，算法会很容易陷入局部最优，就需要通过多次设定不 同的f_m初始值,再通过比较不同估计参数下成本函数值的 变化，来判断是否陷入了局部最优。此时的解决办法是先设 定比预计之初更大的学习率，寻找全局近似最优，如果数据 样本很大,就需要多次取值并且多次设定初始值测试迭代效 果，如果损失函数在变。得魅≈涤行，否则要还要继续增 大步长，也就是学习率。这样经过多次运算后会得到一个较42