https://jason-azure.github.io/ai-blog/tags/%E5%BE%AE%E8%B0%83/Recent content in 微调 on AI 学习笔记Hugo -- 0.146.0zh-CNThu, 14 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/finetuning-illusion/Sat, 11 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/finetuning-illusion/预训练用了 15 万亿 tokens，微调只用了 1000 条。数据量差了一百亿倍，但行为变化却翻天覆地。更诡异的是，微调和预训练的算法完全一样——同样的反向传播、同样的梯度下降。那凭什么微调能起作用？答案简单到令人不安：因为你停了。https://jason-azure.github.io/ai-blog/posts/llm-training-stages/Fri, 27 Mar 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/llm-training-stages/你这辈子大概会读 5000 万个字。GPT 在训练时’读’过的量，相当于你读两万辈子。然后它把这些内容装进了一块硬盘里——不仅能回忆大部分内容，还能写出从未存在过的文章。这是压缩吗？是理解吗？如果互联网消失了，能靠 LLM 复原吗？https://jason-azure.github.io/ai-blog/posts/bayes-not-expected/Mon, 06 Apr 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/bayes-not-expected/1763 年，一个英国牧师的遗稿里藏着一条公式。263 年后，这条公式成了 GPT 训练的数学骨架：先验 = 预训练，似然 = 数据，后验 = 微调。贝叶斯定理不只是一个公式——它是一种「带着旧知识拥抱新证据」的思维方式。而这正是 AI 学习的方式。https://jason-azure.github.io/ai-blog/posts/continual-learning/Mon, 11 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/continual-learning/我们正在把 AI 越做越像一个带着巨大资料柜的天才：它能查资料、能翻历史、能接工具、能在一个长上下文里表现得很聪明。但查得到不等于学会了。真正的持续学习，不是让上下文窗口无限变大，而是让经验被压缩、抽象，并在未来变成能力。https://jason-azure.github.io/ai-blog/posts/rlhf-alignment-sycophancy/Thu, 14 May 2026 00:00:00 +0000https://jason-azure.github.io/ai-blog/posts/rlhf-alignment-sycophancy/预训练让 AI 学会文字接龙，SFT 让它学会像助手一样接龙，RLHF 让它学会哪种接龙更容易被人类喜欢。但“被喜欢”不是“真实”，“听话”不是“善良”，“安全”也不是没有价值立场。对齐 AI 的过程，表面上是在训练机器，深处是在审问人类：我们到底希望一个更聪明的存在，服从谁的规则，继承谁的偏见，代表谁的文明？