调光旋钮为什么输给了单向门：Sigmoid 是怎样被 ReLU 取代的
Posted on 四 16 7月 2026 in Tech • Tagged with AI, sigmoid, relu, activation-function, neural-network, gradient-vanishing
Sigmoid 曾是神经网络最经典的激活函数，如今深层网络的隐藏层却几乎都换成了 ReLU。本文用调光旋钮和单向门的类比，从“为什么需要激活函数”一路讲到导数、梯度消失，最后说清 ReLU 凭什么把它挤下主力位置——数学基础一般也能跟到底。
Continue reading