那些"没用的问题"，是理解 AI 的入场券
Prompt engineering 过时了。Context engineering 也快了。Agent 还能热多久？——你在追的每一个热词，都将被它自己所描述的技术淘汰。但有一类东西永远不会过时：你在深夜想过的那些"没用的问题"。
涌现
你就是一个大模型——AI 给文理分科判了死刑
高考那年你勾了理科，从此再没翻开过一本诗集。二十年后一个 AI 告诉你：去掉诗歌数据，我的数学就变差了。——如果一个模型都需要通识才能涌现智能，你凭什么相信自己可以靠半个世界活一辈子？
Shannon 没有想到的事——当信息论遇上有限算力
Shannon 说「压缩 = 预测 = 理解」。但他假设观察者有无限算力。2026 年的一篇论文补上了这个前提，提出 epiplexity——衡量有限算力观察者能从数据中学到多少结构的新度量。
看见物理（六）：相变——量变到质变的数学
水加热到 99 度还是水，加到 100 度就成了水蒸气——这一度里发生了什么？磁铁加热到居里温度就突然失去磁性，为什么是突然？GPT-3 到 GPT-4 的『涌现能力』像凭空出现，又为什么？物理学用了一个多世纪建立了一套数学描述『量变到质变』——它叫临界现象。今天 AI 研究者在讨论的 emergent abilities，是它的直系后裔。
压缩即智能 — 开篇语
压缩，是用低维形式保存高维信息的方式。大语言模型用向量与矩阵转存了人类语言中的统计规律，在解压时涌现出了我们称之为"智能"的东西。