看见数学（十三）：概率——拥抱不确定

A 只差 1 局就赢。B 还差 2 局。

最多再打 2 局：
  情况 1：A 赢 → A 胜（概率 1/2）
  情况 2：B 赢, A 赢 → A 胜（概率 1/4）
  情况 3：B 赢, B 赢 → B 胜（概率 1/4）

A 获胜的概率 = 3/4，B 获胜的概率 = 1/4

所以赌注应该按 3:1 分配。

早上起来，你觉得今天下雨的概率是 30%（基于天气预报）。
走出门，看到乌云密布 → 你更新信念：概率上升到 70%。
又看到邻居带了伞 → 再更新：概率上升到 80%。

每一条新信息，都让你的判断更准确。

P(堵车 | 周一早高峰) >> P(堵车 | 周日凌晨)
P(迟到 | 没设闹钟)   >> P(迟到 | 设了三个闹钟)

神经网络输出的是"原始分数"（logits）：
  好: 3.2,  不错: 2.1,  差: 0.8,  热: 0.5, ...

softmax 把它们变成概率（加起来等于 1）：
  好: 0.45,  不错: 0.25,  差: 0.10,  热: 0.08, ...

softmax 用的是什么？指数函数 e^x！
→ 分数高的词被指数放大，分数低的词被压缩
→ "赢家通吃"效应

import random

# 简化的"语言模型"：给定前文，预测下一个词的概率分布
model = {
    "今天": {"天气": 0.4, "我": 0.3, "是": 0.2, "很": 0.1},
    "今天天气": {"真": 0.5, "不": 0.3, "很": 0.2},
    "今天天气真": {"好": 0.5, "不错": 0.25, "差": 0.1, "热": 0.15},
}

def sample(probs, temperature=1.0):
    """从概率分布中抽样（带温度控制）"""
    import math
    words = list(probs.keys())
    # 应用温度
    logits = [math.log(p) / temperature for p in probs.values()]
    # softmax
    max_l = max(logits)
    exps = [math.exp(l - max_l) for l in logits]
    total = sum(exps)
    adjusted = [e / total for e in exps]
    # 抽样
    r = random.random()
    cumsum = 0
    for word, prob in zip(words, adjusted):
        cumsum += prob
        if r < cumsum:
            return word
    return words[-1]

# 不同温度的生成效果
for temp in [0.3, 1.0, 2.0]:
    print(f"\n温度 = {temp}:")
    for i in range(5):
        text = "今天"
        while text in model:
            next_word = sample(model[text], temperature=temp)
            text += next_word
        print(f"  {text}")