大家好，我是Peter~

最近在reddit上刷到一張非常 形象mó xìng 的圖。圖形表達的是深度學習中常用的激活函數(shù)。

那就讓我們來整理一下深度學習中離不開的激活函數(shù)!

激活函數(shù)

激活函數(shù)(Activation Function)是一種添加到人工神經(jīng)網(wǎng)絡中的函數(shù)，旨在幫助網(wǎng)絡學習數(shù)據(jù)中的復雜模式。類似于人類大腦中基于神經(jīng)元的模型，激活函數(shù)最終決定了要發(fā)射給下一個神經(jīng)元的內容。

在人工神經(jīng)網(wǎng)絡中，一個節(jié)點的激活函數(shù)定義了該節(jié)點在給定的輸入或輸入集合下的輸出。標準的計算機芯片電路可以看作是根據(jù)輸入得到開(1)或關(0)輸出的數(shù)字電路激活函數(shù)。因此，激活函數(shù)是確定神經(jīng)網(wǎng)絡輸出的數(shù)學方程式，本文概述了深度學習中常見的十種激活函數(shù)及其優(yōu)缺點。

首先我們來了解一下人工神經(jīng)元的工作原理，大致如下：

上述過程的數(shù)學可視化過程如下圖所示：

Sigmoid 激活函數(shù)

Sigmoid 函數(shù)的圖像看起來像一個 S 形曲線。函數(shù)表達式如下：

在什么情況下適合使用 Sigmoid 激活函數(shù)呢?

• Sigmoid 函數(shù)的輸出范圍是 0 到 1。由于輸出值限定在 0 到 1，因此它對每個神經(jīng)元的輸出進行了歸一化;
• 用于將預測概率作為輸出的模型。由于概率的取值范圍是 0 到 1，因此 Sigmoid 函數(shù)非常合適;
• 梯度平滑，避免「跳躍」的輸出值;
• 函數(shù)是可微的。這意味著可以找到任意兩個點的 sigmoid 曲線的斜率;
• 明確的預測，即非常接近 1 或 0。

Sigmoid 激活函數(shù)有哪些缺點?

• 傾向于梯度消失;
• 函數(shù)輸出不是以 0 為中心的，這會降低權重更新的效率;
• Sigmoid 函數(shù)執(zhí)行指數(shù)運算，計算機運行得較慢。

Tanh / 雙曲正切激活函數(shù)

tanh 激活函數(shù)的圖像也是 S 形，表達式如下：

tanh 是一個雙曲正切函數(shù)。tanh 函數(shù)和 sigmoid 函數(shù)的曲線相對相似。但是它比 sigmoid 函數(shù)更有一些優(yōu)勢。

首先，當輸入較大或較小時，輸出幾乎是平滑的并且梯度較小，這不利于權重更新。二者的區(qū)別在于輸出間隔，tanh 的輸出間隔為 1，并且整個函數(shù)以 0 為中心，比 sigmoid 函數(shù)更好;

在 tanh 圖中，負輸入將被強映射為負，而零輸入被映射為接近零。

注意：在一般的二元分類問題中，tanh 函數(shù)用于隱藏層，而 sigmoid 函數(shù)用于輸出層，但這并不是固定的，需要根據(jù)特定問題進行調整。

ReLU 激活函數(shù)

ReLU 激活函數(shù)圖像如上圖所示，函數(shù)表達式如下：

ReLU 函數(shù)是深度學習中較為流行的一種激活函數(shù)，相比于 sigmoid 函數(shù)和 tanh 函數(shù)，它具有如下優(yōu)點：

• 當輸入為正時，不存在梯度飽和問題。
• 計算速度快得多。ReLU 函數(shù)中只存在線性關系，因此它的計算速度比 sigmoid 和 tanh 更快。

當然，它也有缺點：

• Dead ReLU 問題。當輸入為負時，ReLU 完全失效，在正向傳播過程中，這不是問題。有些區(qū)域很敏感，有些則不敏感。但是在反向傳播過程中，如果輸入負數(shù)，則梯度將完全為零，sigmoid 函數(shù)和 tanh 函數(shù)也具有相同的問題;
• 我們發(fā)現(xiàn) ReLU 函數(shù)的輸出為 0 或正數(shù)，這意味著 ReLU 函數(shù)不是以 0 為中心的函數(shù)。

Leaky ReLU

它是一種專門設計用于解決 Dead ReLU 問題的激活函數(shù)：

ReLU vs Leaky ReLU

為什么 Leaky ReLU 比 ReLU 更好?

圖片

• Leaky ReLU 通過把 x 的非常小的線性分量給予負輸入(0.01x)來調整負值的零梯度(zero gradients)問題;
• leak 有助于擴大 ReLU 函數(shù)的范圍，通常 a 的值為 0.01 左右;
• Leaky ReLU 的函數(shù)范圍是(負無窮到正無窮)。

注意：從理論上講，Leaky ReLU 具有 ReLU 的所有優(yōu)點，而且 Dead ReLU 不會有任何問題，但在實際操作中，尚未完全證明 Leaky ReLU 總是比 ReLU 更好。

ELU

ELU vs Leaky ReLU vs ReLU

ELU 的提出也解決了 ReLU 的問題。與 ReLU 相比，ELU 有負值，這會使激活的平均值接近零。均值激活接近于零可以使學習更快，因為它們使梯度更接近自然梯度。

顯然，ELU 具有 ReLU 的所有優(yōu)點，并且：

• 沒有 Dead ReLU 問題，輸出的平均值接近 0，以 0 為中心;
• ELU 通過減少偏置偏移的影響，使正常梯度更接近于單位自然梯度，從而使均值向零加速學習;
• ELU 在較小的輸入下會飽和至負值，從而減少前向傳播的變異和信息。

一個小問題是它的計算強度更高。與 Leaky ReLU 類似，盡管理論上比 ReLU 要好，但目前在實踐中沒有充分的證據(jù)表明 ELU 總是比 ReLU 好。

PReLU(Parametric ReLU)

PReLU 也是 ReLU 的改進版本：

看一下 PReLU 的公式：參數(shù)α通常為 0 到 1 之間的數(shù)字，并且通常相對較小。

• 如果 a_i= 0，則 f 變?yōu)?ReLU
• 如果 a_i> 0，則 f 變?yōu)?leaky ReLU
• 如果 a_i 是可學習的參數(shù)，則 f 變?yōu)?PReLU

PReLU 的優(yōu)點如下：

• 在負值域，PReLU 的斜率較小，這也可以避免 Dead ReLU 問題。
• 與 ELU 相比，PReLU 在負值域是線性運算。盡管斜率很小，但不會趨于 0。

Softmax

Softmax 是用于多類分類問題的激活函數(shù)，在多類分類問題中，超過兩個類標簽則需要類成員關系。對于長度為 K 的任意實向量，Softmax 可以將其壓縮為長度為 K，值在(0，1)范圍內，并且向量中元素的總和為 1 的實向量。

Softmax 與正常的 max 函數(shù)不同：max 函數(shù)僅輸出最大值，但 Softmax 確保較小的值具有較小的概率，并且不會直接丟棄。我們可以認為它是 argmax 函數(shù)的概率版本或「soft」版本。

Softmax 函數(shù)的分母結合了原始輸出值的所有因子，這意味著 Softmax 函數(shù)獲得的各種概率彼此相關。

Softmax 激活函數(shù)的主要缺點是：

• 在零點不可微;
• 負輸入的梯度為零，這意味著對于該區(qū)域的激活，權重不會在反向傳播期間更新，因此會產生永不激活的死亡神經(jīng)元。

Swish

函數(shù)表達式：

Swish 的設計受到了 LSTM 和高速網(wǎng)絡中 gating 的 sigmoid 函數(shù)使用的啟發(fā)。我們使用相同的 gating 值來簡化 gating 機制，這稱為 self-gating。

self-gating 的優(yōu)點在于它只需要簡單的標量輸入，而普通的 gating 則需要多個標量輸入。這使得諸如 Swish 之類的 self-gated 激活函數(shù)能夠輕松替換以單個標量為輸入的激活函數(shù)(例如 ReLU)，而無需更改隱藏容量或參數(shù)數(shù)量。

Swish 激活函數(shù)的主要優(yōu)點如下：

• 「無界性」有助于防止慢速訓練期間，梯度逐漸接近 0 并導致飽和;(同時，有界性也是有優(yōu)勢的，因為有界激活函數(shù)可以具有很強的正則化，并且較大的負輸入問題也能解決);
• 導數(shù)恒 > 0;
• 平滑度在優(yōu)化和泛化中起了重要作用。

Maxout

在 Maxout 層，激活函數(shù)是輸入的最大值，因此只有 2 個 maxout 節(jié)點的多層感知機就可以擬合任意的凸函數(shù)。

單個 Maxout 節(jié)點可以解釋為對一個實值函數(shù)進行分段線性近似 (PWL) ，其中函數(shù)圖上任意兩點之間的線段位于圖(凸函數(shù))的上方。

Maxout 也可以對 d 維向量(V)實現(xiàn)：

假設兩個凸函數(shù) h_1(x) 和 h_2(x)，由兩個 Maxout 節(jié)點近似化，函數(shù) g(x) 是連續(xù)的 PWL 函數(shù)。

因此，由兩個 Maxout 節(jié)點組成的 Maxout 層可以很好地近似任何連續(xù)函數(shù)。

Softplus

Softplus 函數(shù)：

Softplus 的導數(shù)為：

也稱為 logistic / sigmoid 函數(shù)。

Softplus 函數(shù)類似于 ReLU 函數(shù)，但是相對較平滑，像 ReLU 一樣是單側抑制。它的接受范圍很廣：(0, + inf)。