神经网络沉浮录:从万众瞩目到无人问津,再到改变世界
一个 80 年的真实故事:被一本书判了死刑,被一个算法起死回生,靠改名字重获新生——科技的命运,终究也逃不过人性。
一个 80 年的真实故事:被一本书判了死刑,被一个算法起死回生,靠改名字重获新生——科技的命运,终究也逃不过人性。
1956年,十位科学家相信20年就能造出思考的机器。70年后回望,这条路比任何人想象的都要漫长。这是一群异端者的故事——他们在所有人都放弃的年代,选择继续相信。
当我们谈论 AI 时,创业者、投资人、家长和研究者说的可能完全不是同一件事。本文用一张嵌套图理清 AI、机器学习、深度学习、LLM 的层级关系,用一个房价预测的例子让你感受机器学习的范式革命——以及为什么理解这件事,比你想象的更重要。
2015 年,何恺明发现了一件诡异的事:56 层的神经网络比 20 层的更差——不是过拟合,是训练误差也更高。深度学习的根基似乎在动摇。然后他加了一个加号:y = F(x) + x。就这一个加号,让网络从 20 层一路堆到 1000 层,让 Transformer 成为可能,让 GPT 能有 96 层。这篇文章讲的就是这个加号的故事。