MLP on AI 学习笔记

MLP on AI 学习笔记https://jason-azure.github.io/ai-blog/tags/mlp/Recent content in MLP on AI 学习笔记Hugo -- 0.146.0zh-CNWed, 01 Apr 2026 00:00:00 +0000一看就懂：矩阵乘法到底对 LLM 做了什么？https://jason-azure.github.io/ai-blog/posts/geometric-intuition/Thu, 12 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/geometric-intuition/GPT 的本质就是矩阵乘法。但矩阵乘法到底在干什么？9 张动图，把 GPT 里最核心的数学拍给你看。维度变了，几何没变——看懂 2D，就看懂了 GPT。LLM 的知识藏在哪里？MLP 权重中的加密记忆https://jason-azure.github.io/ai-blog/posts/mlp-knowledge/Wed, 11 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/mlp-knowledge/很多人以为 LLM 只是"鹦鹉学舌"的概率机器。但研究证明，LLM 确实存储了海量知识——就藏在 MLP 的权重矩阵中，以一种只有模型自己能解读的"加密"方式。这篇文章拆开这个秘密。用 4192 个参数看透 Transformer：QKV、多头注意力、MLP 全拆解https://jason-azure.github.io/ai-blog/posts/transformer-qkv-demo/Thu, 26 Feb 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/transformer-qkv-demo/用一个只有 4192 个参数的 GPT 模型，展示 Transformer 内部每一步的真实数据——Token 嵌入、QKV 投影、多头注意力权重、MLP 稀疏激活，所有数字都来自真实训练。当数字学会了远近亲疏——从查表到 Embedding 的一步跨越https://jason-azure.github.io/ai-blog/posts/embedding/Wed, 01 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/embedding/A=65, B=66——这些数字是死的。「大漠孤烟直，长河落日圆」——这些文字是活的。从莫尔斯电码到 GPT 的编码史中，有一步跨越改变了一切：数字不再是编号，而是坐标。它们学会了远近、方向和意思。这一步叫 Embedding。