调光旋钮为什么输给了单向门:Sigmoid 是怎样被 ReLU 取代的

Posted on 四 16 7月 2026 in Tech • Tagged with AI, sigmoid, relu, activation-function, neural-network, gradient-vanishing

Sigmoid 曾是神经网络最经典的激活函数,如今深层网络的隐藏层却几乎都换成了 ReLU。本文用调光旋钮和单向门的类比,从“为什么需要激活函数”一路讲到导数、梯度消失,最后说清 ReLU 凭什么把它挤下主力位置——数学基础一般也能跟到底。


Continue reading

风起于青萍之末(上):感知机如何学会画一条线

Posted on 二 14 7月 2026 in Tech • Tagged with AI, perceptron, machine-learning, activation-function, linear-classifier

今天的 LLM 动辄数十亿参数,其思想源头之一却是十几行代码就能实现的感知机。本文用垃圾邮件打分、门卫和画线的类比,讲清输入、权重、偏置、激活函数、学习规则与收敛边界,并给出一个可运行的 NumPy 最简实现。


Continue reading