万亿字节的压缩术：LLM 如何把互联网装进一个模型
你这辈子大概会读 5000 万个字。GPT 在训练时’读’过的量，相当于你读两万辈子。然后它把这些内容装进了一块硬盘里——不仅能回忆大部分内容，还能写出从未存在过的文章。这是压缩吗？是理解吗？如果互联网消失了，能靠 LLM 复原吗？
你这辈子大概会读 5000 万个字。GPT 在训练时’读’过的量，相当于你读两万辈子。然后它把这些内容装进了一块硬盘里——不仅能回忆大部分内容，还能写出从未存在过的文章。这是压缩吗？是理解吗？如果互联网消失了，能靠 LLM 复原吗？