可以直接进网站正能量小米,厦门网站设计公司,能源网站建设方案,人才网站建设的目标机器学习中的特殊函数 Sigmoidsoftplus函数tanhReLu(x)Leaky-ReluELUSiLu/ SwishMish伽玛函数beta函数Ref Sigmoid 值域: 【0,1】 定义域#xff1a;【负无穷,正无穷】 特殊点记忆#xff1a; 经过 [0 , 0.5] 关键点[0,0.5]处的导数是 0.025
相关导数#xff1a;
softplu… 机器学习中的特殊函数 Sigmoidsoftplus函数tanhReLu(x)Leaky-ReluELUSiLu/ SwishMish伽玛函数beta函数Ref Sigmoid 值域: 【0,1】 定义域【负无穷,正无穷】 特殊点记忆 经过 [0 , 0.5] 关键点[0,0.5]处的导数是 0.025
相关导数
softplus函数 值域: (0,无穷大】 定义域【负无穷,正无穷】 特殊点记忆 经过 [0 , 1] 关键点[0,1]处的导数是 0.5,是sigmoid函数在x0时的值 其中 相关的导数性质 关键点[0,1]处的导数是 0.5,是sigmoid函数在x0时的值 tanh tanh ( x ) e x − e − x e x e − x \tanh(x) \frac{e^x - e^{-x}}{e^x e^{-x}} tanh(x)exe−xex−e−x
值域: 【-1,1】 定义域【负无穷,正无穷】 特殊点记忆 经过 [0 , 0] 关键点[0,0]处的导数是 1 相关导数 d d x tanh ( x ) 1 − tanh 2 ( x ) \frac{d}{dx}\tanh(x) 1 - \tanh^2(x) dxdtanh(x)1−tanh2(x) 关键点[0,0]处的导数是 1
ReLu(x)
这个很简单 m a x ( 0 , x ) max(0,x) max(0,x) Leaky-Relu m a x ( α ∗ x , x ) max(\alpha * x, x) max(α∗x,x) 当 α 0.1 \alpha 0.1 α0.1时
ELU ELU是结合了sigmoid的左侧软饱和性和ReLU的右侧无饱和性而提出的一种新的激活函数。从上面图中不难看到这一特点。右侧线性部分使得ELU可以缓解梯度消失问题而左侧软饱和性能让ELU对输入变化或噪声更鲁棒。而且ELU的输出均值接近于0所以没有严重的偏移现象所以收敛速度更快。但是计算复杂了些
SiLu/ Swish
SiLUSigmoid Linear Unit函数的 LaTeX 表达式是 S i L U ( x ) x ⋅ σ ( x ) SiLU(x) x \cdot \sigma(x) SiLU(x)x⋅σ(x)
其中 σ ( x ) \sigma(x) σ(x) 表示 sigmoid 函数即 σ ( x ) 1 1 e − x \sigma(x) \frac{1}{1e^{-x}} σ(x)1e−x1。
SiLU 函数的值域是 ( − ∞ , ∞ ) (-\infty, \infty) (−∞,∞)因为该函数在输入值 x x x 的正负范围内都有输出。
SiLU 函数的导数表达式是 ( S i L U ( x ) ) ′ σ ( x ) x ⋅ σ ( x ) ⋅ ( 1 − σ ( x ) ) (SiLU(x)) \sigma(x) x \cdot \sigma(x) \cdot (1 - \sigma(x)) (SiLU(x))′σ(x)x⋅σ(x)⋅(1−σ(x))
这里的导数表达式是基于 SiLU 函数的定义和求导法则计算得出的。
需要注意的是SiLU 函数是一种较为新型的激活函数与传统的 sigmoid 和 ReLU 函数相比它在某些任务上可能具有更好的性能表现。
相对于ReLU函数SiLU函数在接近零时具有更平滑的曲线并且由于其使用了sigmoid函数可以使网络的输出范围在0和1之间。这使得SiLU在一些应用中比ReLU表现更好例如在语音识别中使用SiLU比ReLU可以取得更好的效果。 导数
Mish
Mish激活函数的LaTeX表达式是 M i s h ( x ) x ⋅ tanh ( ln ( 1 e x ) ) Mish(x) x \cdot \tanh(\ln(1 e^x)) Mish(x)x⋅tanh(ln(1ex))
Mish激活函数的值域是 ( − ∞ , ∞ ) (-\infty, \infty) (−∞,∞)与SiLU函数类似它在输入值 x x x的正负范围内都有输出。
关于Mish激活函数的导数其LaTeX表达式相对复杂。根据导数的定义和链式法则我们可以推导出 ( M i s h ( x ) ) ′ tanh ( ln ( 1 e x ) ) 4 e x ( 1 e x ) 2 (Mish(x)) \tanh(\ln(1 e^x)) \frac{4e^x}{(1 e^x)^2} (Mish(x))′tanh(ln(1ex))(1ex)24ex
需要注意的是Mish激活函数是一种相对较新的激活函数被提出用于改善神经网络的性能。它具有一些有趣的特性例如非单调性和自门控性质这使得它在某些任务上可能具有更好的性能表现。与SiLU相比Mish在一些实验中被证明能够取得更好的结果。 导数图 引用原始论文Mish 是“通过系统分析和实验发现并使 Swish 更加有效”。 就目前来说Mish可能是 最好的激活函数但请原始论文仅在计算机视觉任务上对其进行了测试。 伽玛函数 beta函数 Ref
huaxiaozhuan
