温度、Top-p 等采样参数详解：控制大模型的「脑洞」

一、模型是如何「选词」的

模型每生成一个词，实际是算出了词表里所有词的「概率分布」。采样参数决定：是选概率最高的那个词，还是允许一定的随机性。

二、Temperature（温度）

温度控制分布的「陡峭程度」：

• 越低（如 0~0.3）：分布越集中，几乎总选最高概率词，输出稳定、确定，适合代码、数学、翻译。
• 越高（如 0.8~1.5）：分布越平坦，更愿意选低概率词，输出多样、有创意，适合写诗、头脑风暴。
• 温度 = 0：等价于贪心，每次必选最高概率词。

三、Top-p（核采样）

Top-p 只从「累计概率达到 p」的最小词集里采样。例如 p=0.9，就只在概率之和刚好超过 90% 的那些词里随机选，其余直接丢弃。它能动态排除「长尾」里的低概率噪声词。

四、Top-k

Top-k 更简单粗暴：只在概率最高的前 k 个词里采样。k 太小会呆板，k 太大会引入噪声。

五、怎么配合使用

• 要「确定性」：temperature 调低（接近 0），配合高 Top-p 或直接不用 Top-p。
• 要「多样性」：temperature 调高（0.7~1.0），Top-p 设 0.9 左右。
• 一般建议：优先调 temperature；Top-p 作为辅助，不必同时大改。

六、小结

Temperature 管「整体随机性」，Top-p/Top-k 管「候选范围」。理解这几个旋钮，你就能按任务类型精准控制输出风格——这是调 Prompt 之外最实用的技巧。