函数的竞赛:人类试过的所有方法,和神经网络胜出的原因
人类 400 年来发明了无数拟合函数的方法——泰勒级数、傅里叶级数、多项式、样条、核方法。每一种都精妙绝伦。但当任务变成’在万亿维空间中学习生成规律’,只有一个选手能站到终点。这不是选择题,这是淘汰赛。
人类 400 年来发明了无数拟合函数的方法——泰勒级数、傅里叶级数、多项式、样条、核方法。每一种都精妙绝伦。但当任务变成’在万亿维空间中学习生成规律’,只有一个选手能站到终点。这不是选择题,这是淘汰赛。
一个 80 年的真实故事:被一本书判了死刑,被一个算法起死回生,靠改名字重获新生——科技的命运,终究也逃不过人性。
ReLU:一行代码 max(0, x) 让深度学习成为可能。理解激活函数为什么是神经网络不可或缺的非线性魔法。
从损失函数到反向传播:AI 训练的核心算法。理解 microgpt 和 nanoGPT 训练时 loss 为什么会下降。零基础数学系列完结篇。
1956年,十位科学家相信20年就能造出思考的机器。70年后回望,这条路比任何人想象的都要漫长。这是一群异端者的故事——他们在所有人都放弃的年代,选择继续相信。
AI 发展 70 年,本质是两个思想流派的交锋:符号主义相信规则,联结主义相信连接。今天的 ChatGPT 靠的是矩阵乘法加一行激活函数——为什么这么简单的东西就够了?一个 1989 年的数学定理给出了答案。
当我们谈论 AI 时,创业者、投资人、家长和研究者说的可能完全不是同一件事。本文用一张嵌套图理清 AI、机器学习、深度学习、LLM 的层级关系,用一个房价预测的例子让你感受机器学习的范式革命——以及为什么理解这件事,比你想象的更重要。
函数是数学中最核心的概念:给一个输入,得一个输出。自动售货机是函数,体温计是函数,GPT 也是函数——只不过它有几十亿个旋钮。第二幕开篇。
用纯 Python 和 NumPy 从零搭了一个 10 个神经元的神经网络,识别手写数字,然后把它拆开——看清了模板匹配、投票矩阵和每一步计算。从这个最小的网络出发,聊聊 FNN、CNN、RNN、Transformer 的演进,以及可解释性的边界。