高级激活层

高级激活层是将几种常用的激活函数连同其常用调整参数一起组合形成了专用的激活层。高级激活层主要有以下这些。

ELU

指数线性单元，格式为keras.layers.ELU(alpha=1.0)，其中参数alpha为负因子的尺度。ELU的函数定义为：

$$ f(x)=\left\lbrace \begin{array}{lcl} \alpha \times (e^x - 1) & & x < 0 \\ x & & x \ge 0 \end{array} \right. $$

ReLU

对应激活函数relu，格式为keras.layers.ReLU(max_value=None, negative_slope=0.0, threshold=0.0)，其中max_value为最大输出值（\(v_{max}\)），nagetive_slope为负斜率系数（\(\alpha\)），threshold为激活阈值（\(\theta\)）。ReLU的函数定义为：

$$ f(x)=\left\lbrace \begin{array}{lcl} v_{max} & & x \ge v_{max} \\ x & & \theta \le x < v_{max} \\ \alpha \times (x - \theta) & & x < \theta \end{array} \right. $$

LeakyReLU

带泄露的ReLU激活，当神经元未激活时，仍允许赋予一个很小的梯度值。格式为keras.layers.LeakyReLU(alpha=0.3)，其中参数alpha为负斜率系数，必须取\(\geq 0\)的值。LeakyReLU的函数定义为：

$$ f(x)=\left\lbrace \begin{array}{lcl} \alpha \times x & & x < 0 \\ x & & x \ge 0 \end{array} \right. $$