2026年10月6日0 条留言
解码策略（Decoding Strategies）入门：大模型是怎么"选下一个词"的
大模型在补全一句话时，面对的是几万甚至十几万个候选词，它凭什么挑出下一个？同一个问题，为什么有时回答稳定、有时天马行空？这一切都由"解码策略"决定——也就是模型在每一步如何从概率分布里挑出那个词。理解解码，就能理解大模型的输出为什么可控、又为什么难以完全可控。一、模型其实只给了一张"概率表"大语言模型每生成一个位置，输出的不是一个确定的词，而是一整张概率表（对词表里每个候选 token 的分数）。