Wetts's blog

Stay Hungry, Stay Foolish.

0%

激活函数-softmax

在多元分类的问题中,我们默认采用 softmax 函数,具体表现为将多个神经元的输出,映射到 0~1 的区间中,按概率高低进行分类,各概率之和为 1。

某分类的概率数学表达式为:$y_{i}=e^{i} / \Sigma_{j=1} e^{j}$

具体来说,假设有四个输出单元,分别为:

  • $y_{1}=e^{x 1} /\left(e^{x 1}+e^{x 2}+e^{x 3}+e^{x 4}\right)$,假设其概率为 0.4。
  • $y_{2}=e^{x 2} /\left(e^{x 1}+e^{x 2}+e^{x 3}+e^{x 4}\right)$,假设其概率为 0.15。
  • $y_{3}=e^{x 3} /\left(e^{x 1}+e^{x 2}+e^{x 3}+e^{x 4}\right)$,假设其概率为 0.15。
  • $y_{4}=e^{x 4} /\left(e^{x 1}+e^{x 2}+e^{x 3}+e^{x 4}\right)$,假设其概率为 0.3。