一般機器學習使用之神經元如下圖： 輸入有三個x output有一個，這時我們需要一個啟動的機制來讓資訊從輸入傳遞給輸出 這時我們需要一個閥值機制(threshold ) 我們稱這個函數叫激活函數Activation functions。 使用的激活函數、激勵函數為下： 常用的激活函數有： 第一個是Sigmoid： Sigmoid 函數（Sigmoid Function）又稱為 Logistic 函數，是一個在生物學中常見的 S 型函數，也稱為 S 型生長曲線，它將負無窮到正無窮的區間映射到了 0 到 1 中。很容易理解和應用，但他有以下幾個缺點： 1梯度消失問題2它的輸出不是以0為中心。表示它的梯度更新在不同的方向上且走得太遠。 0

= 0，則輸出=輸入。 因此，只看這個函數的數學形式，我們就可以看到它非常簡單、有效。它可以避免梯度消失。現在幾乎所有深度學習模型現在都使用ReLu函數。但它的局限性在於它只能在神經網絡模型的隱藏層中使用。 ReLu函數的另一個問題是，一些梯度在訓練過程中可能很脆弱，甚至可能會死亡。它可以導致權重更新，這將使其永遠不會在任何數據點上激活。簡單地說ReLu可能會導致死亡神經元。 為了解決這個問題，我們引進了另一個被稱為Leaky ReLu的修改函數，讓它來解決死亡神經元的問題。它引入了一個小斜坡從而保持更新值具有活力。 然後，我們還有另一個變體，它形成於ReLu函數和Leaky ReLu函數的結合，我們稱之為Maxout函數。