3.1 模型参数设置
无论是本地模型推理,还是API调用大模型进行交互,你都需要通过配置一些参数以获得不同的提示结果。
实际上大部分的API调用平台中模型的参数设置都采用默认参数,也就是最合适大模型生成的模型参数设置,很少需要我们手动调整(默认参数我们采用阿里云百炼模型广场中参数设置默认值)
不过如果对其中某些参数有特殊需求,比如调低`temperature`限制生成的多样性,使得最终输出的结果更固定些,会需要我们对参数做一个简单的调整下面我们展示了比较常见的参数设置以及核心原理👇:
不过如果对其中某些参数有特殊需求,比如调低`temperature`限制生成的多样性,使得最终输出的结果更固定些,会需要我们对参数做一个简单的调整下面我们展示了比较常见的参数设置以及核心原理👇:
参数名称 | 默认值 | 核心原理 |
---|---|---|
max_tokens | 4096 | 本次请求返回的最大Token数,如需提高该参数值(4097~8192范围)。有时发现这个范围可能比开源模型给出的最大生成长度要小是因为资源受限,显存不够 |
temperature | 0.7 | 采样温度,控制模型生成文本的多样性。取值范围:[0, 2)。temperature越高,生成的文本更多样,反之,生成的文本更确定。一般不需要修改,已是最佳值 |
top_p | 0.8 | 核采样的概率阈值,控制模型生成文本的多样性。取值范围:(0, 1.0]。top_p越高,生成的文本更多样。反之,生成的文本更确定。由于temperature与top_p均可以控制生成文本的多样性,因此建议只设置其中一个值。 |
enable_thinking | True | 是否开启思考模式,仅适用于Qwen3模型,其他模型(阿里云百炼)没有这个选项 |
thinking_budget | 4000 | 思考过程的最大长度,只在enable_thinking为true时生效。 |
其他的参数基本不用修改,因此不做参考,其实我们在实际使用的时候大多也就考虑修改生成文本的最大长度或者文本多样性的参数,因此仅展示上述参数了解即可。