https://jason-azure.github.io/ai-blog/categories/ai-%E5%9F%BA%E7%A1%80/Recent content in AI 基础 on AI 学习笔记Hugo -- 0.146.0zh-CNThu, 14 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/finetuning-illusion/Sat, 11 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/finetuning-illusion/预训练用了 15 万亿 tokens，微调只用了 1000 条。数据量差了一百亿倍，但行为变化却翻天覆地。更诡异的是，微调和预训练的算法完全一样——同样的反向传播、同样的梯度下降。那凭什么微调能起作用？答案简单到令人不安：因为你停了。https://jason-azure.github.io/ai-blog/posts/why-linearity/Fri, 13 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/why-linearity/线性不是世界的本质，而是大脑的’操作系统’。从认知偏差到万能近似，从傅里叶到 Transformer 位置编码——一根直线如何撬动整个 AI。6 张动图，一篇从认知科学到工程哲学的深度探索。https://jason-azure.github.io/ai-blog/posts/why-gpu/Thu, 12 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/why-gpu/训练 ChatGPT 用的不是什么神秘的 AI 芯片，而是打游戏用的显卡。一块为了让游戏画面更流畅而设计的芯片，为什么成了 AI 革命的引擎？因为游戏画面和语言理解在底层共享了同一个数学本质——矩阵乘法。https://jason-azure.github.io/ai-blog/posts/geometric-intuition/Thu, 12 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/geometric-intuition/GPT 的本质就是矩阵乘法。但矩阵乘法到底在干什么？9 张动图，把 GPT 里最核心的数学拍给你看。维度变了，几何没变——看懂 2D，就看懂了 GPT。https://jason-azure.github.io/ai-blog/posts/hello-world/Tue, 17 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/hello-world/AI 学习笔记博客正式上线！在这里我会分享 AI 基础知识、大语言模型实战经验和实用工具教程。https://jason-azure.github.io/ai-blog/posts/function-competition/Tue, 17 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/function-competition/人类 400 年来发明了无数拟合函数的方法——泰勒级数、傅里叶级数、多项式、样条、核方法。每一种都精妙绝伦。但当任务变成’在万亿维空间中学习生成规律’，只有一个选手能站到终点。这不是选择题，这是淘汰赛。https://jason-azure.github.io/ai-blog/posts/neural-network-history/Thu, 19 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/neural-network-history/一个 80 年的真实故事：被一本书判了死刑，被一个算法起死回生，靠改名字重获新生——科技的命运，终究也逃不过人性。https://jason-azure.github.io/ai-blog/posts/deepseek-r1-thinking/Sat, 21 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/deepseek-r1-thinking/2025 年最大的 AI 突破不是更大的模型，而是一个模型学会了停下来想一想再回答。DeepSeek-R1 登上 Nature，证明了一件事：不需要人类手把手教推理步骤，只需要给对奖励，模型就能自己学会思考。https://jason-azure.github.io/ai-blog/posts/moe-architecture/Mon, 23 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/moe-architecture/DeepSeek-V3 拥有 6710 亿参数，但每个 token 只激活 370 亿——不到总量的 6%。这不是偷懒，这是 AI 架构设计中最精巧的一课：不是所有神经元都需要同时工作。https://jason-azure.github.io/ai-blog/posts/ai-history-1/Tue, 24 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-history-1/1956年，十位科学家相信20年就能造出思考的机器。70年后回望，这条路比任何人想象的都要漫长。这是一群异端者的故事——他们在所有人都放弃的年代，选择继续相信。https://jason-azure.github.io/ai-blog/posts/ai-history-2/Tue, 24 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-history-2/2012年，两块游戏显卡训练出的AlexNet震惊了整个AI领域。五年后，Google的一篇论文彻底终结了循环网络时代。又五年，ChatGPT上线。硬件、算法、数据——三条线索在这十年间完成了历史性的交汇。https://jason-azure.github.io/ai-blog/posts/ai-history-3/Tue, 24 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-history-3/AI会下棋、会写诗、会通过律师考试。但它真的在’思考’吗？从Chomsky的语言天赋论到LeCun的世界模型缺失，从随机鹦鹉到具身认知——这是一场关于智能本质的终极辩论。而70年AI之路的最深启示，也许不在技术之中。https://jason-azure.github.io/ai-blog/posts/universal-approximation/Tue, 10 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/universal-approximation/AI 发展 70 年，本质是两个思想流派的交锋：符号主义相信规则，联结主义相信连接。今天的 ChatGPT 靠的是矩阵乘法加一行激活函数——为什么这么简单的东西就够了？一个 1989 年的数学定理给出了答案。https://jason-azure.github.io/ai-blog/posts/transformer-qkv-demo/Thu, 26 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/transformer-qkv-demo/用一个只有 4192 个参数的 GPT 模型，展示 Transformer 内部每一步的真实数据——Token 嵌入、QKV 投影、多头注意力权重、MLP 稀疏激活，所有数字都来自真实训练。https://jason-azure.github.io/ai-blog/posts/transformer-math/Mon, 02 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/transformer-math/不做证明，只建直觉。从矩阵乘法的三种视角出发，一步步搭建理解 Transformer 的完整数学框架：QKV 投影、多头注意力、残差连接、MLP，以及它们如何协作生成下一个 token。https://jason-azure.github.io/ai-blog/posts/ai-landscape/Sat, 07 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ai-landscape/当我们谈论 AI 时，创业者、投资人、家长和研究者说的可能完全不是同一件事。本文用一张嵌套图理清 AI、机器学习、深度学习、LLM 的层级关系，用一个房价预测的例子让你感受机器学习的范式革命——以及为什么理解这件事，比你想象的更重要。https://jason-azure.github.io/ai-blog/posts/epiplexity/Mon, 30 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/epiplexity/Shannon 说「压缩 = 预测 = 理解」。但他假设观察者有无限算力。2026 年的一篇论文补上了这个前提，提出 epiplexity——衡量有限算力观察者能从数据中学到多少结构的新度量。https://jason-azure.github.io/ai-blog/posts/ascii-to-token/Mon, 30 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/ascii-to-token/Token、Embedding、Encode/Decode——这些 AI 术语听起来很新，但它们和 ASCII、Unicode 是同一件事的不同层次。计算机 200 年来一直在做同一件事：把符号变成数字。https://jason-azure.github.io/ai-blog/posts/cross-entropy-loss/Sat, 28 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/cross-entropy-loss/从 Shannon 1948 年的三条公理出发，理解为什么 GPT 的 loss 必须是 -log(p)：它是满足「信息量」定义的唯一函数，用它做 loss 等价于最大似然估计和最小化 KL 散度——这不是经验选择，是数学必然。https://jason-azure.github.io/ai-blog/posts/mnist-to-chatgpt/Mon, 30 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/mnist-to-chatgpt/用纯 Python 和 NumPy 从零搭了一个 10 个神经元的神经网络，识别手写数字，然后把它拆开——看清了模板匹配、投票矩阵和每一步计算。从这个最小的网络出发，聊聊 FNN、CNN、RNN、Transformer 的演进，以及可解释性的边界。https://jason-azure.github.io/ai-blog/posts/embedding/Wed, 01 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/embedding/A=65, B=66——这些数字是死的。「大漠孤烟直，长河落日圆」——这些文字是活的。从莫尔斯电码到 GPT 的编码史中，有一步跨越改变了一切：数字不再是编号，而是坐标。它们学会了远近、方向和意思。这一步叫 Embedding。https://jason-azure.github.io/ai-blog/posts/positional-encoding/Thu, 02 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/positional-encoding/Transformer 天生是个色盲——它能看清每个词的颜色（语义），却分不清词的位置。‘猫吃鱼’和’鱼吃猫’在它眼中完全等价。为了让模型学会’谁在前谁在后’，研究者发明了一种优雅到不真实的方案：把位置信息编码成波，然后直接加到语义向量上。这一步看似暴力，实则深刻。https://jason-azure.github.io/ai-blog/posts/gates-to-gpt/Mon, 23 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/gates-to-gpt/~5 = -6？从这个小困惑出发，我们穿越 7 层抽象，看见逻辑门如何一步步堆叠成 ChatGPT。这是一篇写给所有人的计算机底层原理科普。https://jason-azure.github.io/ai-blog/posts/residual-connection/Fri, 03 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/residual-connection/2015 年，何恺明发现了一件诡异的事：56 层的神经网络比 20 层的更差——不是过拟合，是训练误差也更高。深度学习的根基似乎在动摇。然后他加了一个加号：y = F(x) + x。就这一个加号，让网络从 20 层一路堆到 1000 层，让 Transformer 成为可能，让 GPT 能有 96 层。这篇文章讲的就是这个加号的故事。https://jason-azure.github.io/ai-blog/posts/eulers-e/Sun, 05 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/eulers-e/2.71828… 这个数字出现在银行复利、放射性衰变、人口增长、Softmax 函数、学习率衰减里。它不是人造的常数——它是自然界「连续变化」的签名。读完这篇，你再看到 e 不会害怕，而会觉得亲切。https://jason-azure.github.io/ai-blog/posts/bayes-not-expected/Mon, 06 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/bayes-not-expected/1763 年，一个英国牧师的遗稿里藏着一条公式。263 年后，这条公式成了 GPT 训练的数学骨架：先验 = 预训练，似然 = 数据，后验 = 微调。贝叶斯定理不只是一个公式——它是一种「带着旧知识拥抱新证据」的思维方式。而这正是 AI 学习的方式。https://jason-azure.github.io/ai-blog/posts/world-model-debate/Fri, 17 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/world-model-debate/AlphaFold 拿了诺贝尔奖，GPT 通过了律师考试——但 Sora 的玻璃穿过了桌子。LLM 到底懂不懂这个世界？LeCun 离开 Meta 创办 AMI Labs，李飞飞押注 World Labs，谢赛宁两次拒绝 Ilya——站在前沿的人给出了截然不同的答案。https://jason-azure.github.io/ai-blog/posts/compression-is-all-you-need/Tue, 21 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/compression-is-all-you-need/2026 年 3 月，菲尔兹奖得主 Michael Freedman 发了一篇只有 30 多页的论文，标题叫《Compression is all you need》。他用一个优雅的代数模型回答了三个古老问题：人类怎么构建数学？人类数学和形式数学的本质区别是什么？未来人类数学家如何和 AI 协作？答案只有两个字——压缩。https://jason-azure.github.io/ai-blog/posts/markov-ghost/Thu, 07 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/markov-ghost/1913 年，俄国数学家马尔可夫翻开普希金的《叶甫盖尼·奥涅金》，开始数元音和辅音。他不是在做文学研究，而是在拆掉一个旧世界：下一个符号不是凭空出现的，它被前一个状态牵引。一个多世纪后，LLM 被训练去预测下一个 token，Agent 被训练去选择下一步行动。这个目标看似无聊，却把语言、知识、推理和行动都压进了一个极密的监督信号里。马尔可夫没有想到 ChatGPT，但他留下了现代 AI 最小的一条语法：状态、转移、下一步。https://jason-azure.github.io/ai-blog/posts/multimodal-llm-architecture/Sat, 11 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/multimodal-llm-architecture/GPT-4 能看图、Gemini 能看视频、Qwen-VL 能看中文文档——但一个语言模型是怎么’看见’图像的？答案藏在三个组件的协作中：视觉编码器把图像切成 token，对齐模块把视觉 token 翻译成语言能懂的格式，LLM 把它们和文字一起处理。本文从 ViT 到 CLIP 到 LLaVA，完整拆解多模态大模型的架构。https://jason-azure.github.io/ai-blog/posts/clip-open-source-story/Sun, 12 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/clip-open-source-story/2021 年 OpenAI 发布 CLIP，让 AI 第一次’看懂’了图片。但它公开了模型权重，却藏起了 4 亿对训练数据。这引发了一场全球性的’造眼睛’军备竞赛——德国非营利组织 LAION 逆向工程出 50 亿对数据，Google 发明了新的训练方法，Meta 证明不需要文字也能学会看……一个模型的开源，如何改变了整个视觉 AI 生态？‘开源’到底意味着什么？https://jason-azure.github.io/ai-blog/posts/vectors-language-of-understanding/Sun, 12 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/vectors-language-of-understanding/多模态 AI 揭示了一个深刻的事实：文字、图片、声音——看似截然不同的信息形式，最终都被转化成了同一种东西——向量。然后由同一个 Transformer 用同一套 Attention 机制处理。这引出一个更根本的问题：理解这个世界，最终都要变成语言吗？还是说，有一种比语言更底层的’表示’在承载真正的理解？https://jason-azure.github.io/ai-blog/posts/boltzmann-legacy/Mon, 13 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/boltzmann-legacy/1906 年，一位被整个学术界否定的物理学家在杜伊诺的度假村永远闭上了眼睛。他的墓碑上只刻了一个公式：S = k ln W。120 年后，这个公式每天在全球数十亿次 AI 推理中被执行——以 Softmax 的名义。https://jason-azure.github.io/ai-blog/posts/feedback-cybernetics/Sat, 09 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/feedback-cybernetics/二战时期，数学家诺伯特·维纳研究一个残酷的问题：飞机一直在动，炮弹也需要时间飞行，防空炮到底该打向哪里？这不是简单地预测飞机下一秒的位置，而是要持续计算拦截点，并在观测误差、动作延迟和敌人机动中不断修正。这个问题把他带向一个更深的概念：反馈。智能不是一次性给出正确答案，而是在行动之后被世界纠正。梯度下降、RLHF、DeepSeek-R1、Agent、自动驾驶，表面上差别很大，底层却都在同一个闭环里运行：行动、观察、误差、修正。https://jason-azure.github.io/ai-blog/posts/continual-learning/Mon, 11 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/continual-learning/我们正在把 AI 越做越像一个带着巨大资料柜的天才：它能查资料、能翻历史、能接工具、能在一个长上下文里表现得很聪明。但查得到不等于学会了。真正的持续学习，不是让上下文窗口无限变大，而是让经验被压缩、抽象，并在未来变成能力。https://jason-azure.github.io/ai-blog/posts/diffusion-models/Tue, 12 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/diffusion-models/AI 画画不是从空白画布开始，也不是脑子里凭空想象出一只猫。扩散模型先学会一万种『猫如何被噪声毁掉』，再把这个毁掉的过程一步步倒放。生成的秘密，不是凭空创造，而是给噪声一个方向。https://jason-azure.github.io/ai-blog/posts/multimodal-image-architecture/Wed, 13 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/multimodal-image-architecture/多模态不是让 LLM 简单长出眼睛。更准确地说，是把文字、图片、声音、视频变成模型能处理的 token 或 embedding，再让 Transformer、扩散模型、Flow、VAE、视觉编码器、音频 codec 和视频生成器协同工作。看图、听音、懂图、画图、生成视频，背后其实是几种不同的数据流。https://jason-azure.github.io/ai-blog/posts/robot-gpt-moment/Thu, 14 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/robot-gpt-moment/ChatGPT 让 AI 学会了聊天，VLA 正在让 AI 学会干活。机器人终于从写死的动作脚本，走向能看、能听、能规划、能动手的通用模型。但物理世界没有撤回键，所以机器人的 GPT 时刻不会是一次突然刷屏，而是一场被数据、安全和工程慢慢推开的黎明。https://jason-azure.github.io/ai-blog/posts/opening-essay/Sun, 01 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/opening-essay/压缩，是用低维形式保存高维信息的方式。大语言模型用向量与矩阵转存了人类语言中的统计规律，在解压时涌现出了我们称之为"智能"的东西。https://jason-azure.github.io/ai-blog/posts/rlhf-alignment-sycophancy/Thu, 14 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/rlhf-alignment-sycophancy/预训练让 AI 学会文字接龙，SFT 让它学会像助手一样接龙，RLHF 让它学会哪种接龙更容易被人类喜欢。但“被喜欢”不是“真实”，“听话”不是“善良”，“安全”也不是没有价值立场。对齐 AI 的过程，表面上是在训练机器，深处是在审问人类：我们到底希望一个更聪明的存在，服从谁的规则，继承谁的偏见，代表谁的文明？