1. 从零开始搞定你的第一个大模型API密钥想玩转大模型第一步不是写代码而是去“拿钥匙”。这把钥匙就是API密钥API Key它是你和大模型服务商之间确认身份的凭证每次调用都得带上它。听起来有点复杂别担心这个过程其实跟注册个新App、开通个会员服务差不多只是我们这次的目标是获得一串有魔力的字符。现在国内外的模型服务商非常多选择哪家开始呢我的建议是从提供免费额度或低成本试用的平台入手。这样你可以在不花钱的情况下把整个调用流程跑通踩坑也不心疼。比如国内的硅基流动SiliconFlow、百度智能云千帆、阿里云灵积、智谱AI等都有非常友好的新手指引和免费资源。原始文章里用硅基流动举例因为它确实对新手很友好注册就送体验金还有免费的模型可以用非常适合我们第一步的探索。当然你也可以选择其他任何你感兴趣的厂商核心流程都是大同小异的。具体怎么操作呢我带你走一遍。首先打开硅基流动的官网找到注册入口。通常你需要一个手机号来完成注册和验证。注册过程中如果看到“邀请码”或“推广码”的选项可以试着填一下有时能获得额外的赠送额度比如原文里提到的那个邀请码。注册登录后你会进入一个类似“模型广场”的页面这里陈列着各种可用的模型。为了测试我们最好先选一个免费的、参数量较小的模型比如Qwen2.5-7B-Instruct。选择“Instruct”版本很重要这表示这个模型是经过指令微调的专门用于对话和问答理解你的问题并给出回复的能力更强相当于一个开箱即用的聊天机器人。找到心仪的模型后别急着点“在线体验”去玩网页版。我们的目标是拿到API密钥。通常在网站的个人中心、账户设置或者开发者平台里能找到“API密钥”、“Access Key”之类的管理页面。点进去创建一个新的密钥。这时系统可能会让你给这个密钥起个名字方便你以后管理比如“测试项目专用”。创建成功后那串长得像乱码的字符串例如sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx就是你的宝贝钥匙了千万要立刻把它复制保存到安全的地方比如本地的一个文本文件、密码管理器或者像原文作者那样存到语雀笔记里。因为很多平台为了安全这串密钥只显示一次关闭页面后就再也看不到了只能重新生成。拿到密钥的同时还有另一个关键信息不能忽略API的基础地址Base URL。这个地址就像是你要访问的服务器的门牌号。不同厂商、甚至同一厂商的不同服务区域这个地址都可能不同。它通常能在官方文档的“快速开始”或“API调用”章节找到。对于硅基流动它的Base URL是https://api.siliconflow.cn/v1。这个地址和你的API密钥构成了你调用服务的全部身份凭证接下来所有操作都围绕着它们展开。2. 三种武器命令行、Requests库与OpenAI SDK的实战对比钥匙到手下一步就是开门了。怎么“敲门”跟大模型对话呢主要有三种方式我把它们比作三种不同的武器轻便的瑞士军刀命令行Curl、灵活的自组装工具Python Requests库和专业的集成工具箱OpenAI SDK。每种都有最适合的场景没有绝对的好坏只有合不合适。2.1 瑞士军刀命令行Curl快速验证当你只是想最快速、最直接地测试一下API是否畅通或者验证你的密钥和模型是否有效时命令行工具curl是你的首选。它不需要任何额外的Python环境或依赖安装直接在终端Linux/macOS或命令提示符Windows Cmd里就能运行。它的核心思想是用一行命令构造一个HTTP POST请求发送给指定的API地址。我们来看具体命令。在Linux或Mac的终端里你可以这样写curl https://api.siliconflow.cn/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer sk-你的密钥 \ -d { model: Qwen/Qwen2.5-7B-Instruct, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 你好介绍一下你自己} ], max_tokens: 150 }这里有几个关键点-H参数用来添加请求头我们告诉服务器我们发送的数据格式是JSONContent-Type: application/json并且通过Authorization头携带了我们的密钥注意前面的Bearer是固定格式。-d参数后面跟着的就是请求体data里面用JSON格式指定了我们要用的模型、对话历史messages以及最多生成多少tokenmax_tokens。但这里有个大坑Windows用户要特别注意在Windows的Cmd中命令的写法有区别。你不能直接照抄上面的单引号。在Cmd里整个JSON数据需要用双引号包裹而JSON内部的双引号需要用反斜杠\进行转义。命令的换行连接符也不是反斜杠\而是脱字符^。所以正确的Windows Cmd版本应该是curl https://api.siliconflow.cn/v1/chat/completions ^ -H Content-Type: application/json ^ -H Authorization: Bearer sk-你的密钥 ^ -d {\model\: \Qwen/Qwen2.5-7B-Instruct\, \messages\: [{\role\: \system\, \content\: \You are a helpful assistant.\}, {\role\: \user\, \content\: \你好介绍一下你自己\}], \max_tokens\: 150}是不是看起来有点头疼这正是命令行的局限性——不适合处理复杂的、多层的JSON数据尤其在跨平台时容易遇到语法问题。所以它只适合极简的快速测试。当你看到终端里打印出一大段JSON格式的回复里面包含模型生成的问候语时恭喜你第一步验证成功了2.2 自组装工具Python Requests库的完全控制如果你需要在Python项目里集成大模型能力或者想要更灵活、更清晰地控制请求和响应的每一个细节那么requests库是你的不二之选。它比命令行强大得多就像给你提供了螺丝刀、扳手等各种工具让你可以自己组装出任何你想要的HTTP请求。首先确保安装了requests库pip install requests。然后我们来看一个完整的非流式请求示例。所谓非流式就是模型会思考完整个答案后一次性返回给你。import requests import json url https://api.siliconflow.cn/v1/chat/completions headers { Content-Type: application/json, Authorization: Bearer sk-你的密钥 } data { model: Qwen/Qwen2.5-7B-Instruct, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 你好请用Python写一个快速排序函数} ], max_tokens: 300, stream: False # 关键参数False表示非流式 } response requests.post(url, headersheaders, datajson.dumps(data)) print(response.json())这段代码结构非常清晰定义地址、组装请求头、构造请求体、发送请求、解析响应。json.dumps(data)的作用是将Python字典data序列化成JSON字符串。response.json()则直接将返回的JSON字符串解析成Python字典方便你提取里面的内容比如response.json()[choices][0][message][content]就能拿到模型生成的代码。Requests库的强大之处在于其灵活性。你可以轻松地添加超时控制timeout参数、异常处理try...except、重试逻辑或者自定义代理。它让你对网络请求有了完全的掌控力。但相应地你也需要处理更多底层细节比如手动拼接URL参数、处理不同的状态码如429代表请求过频需要你实现限速等待等。这是追求灵活性和控制力所必须付出的代价。2.3 专业工具箱OpenAI SDK的优雅集成如果你追求的是开发效率希望用最简洁、最符合直觉的代码来调用大模型并且你的目标平台兼容OpenAI的API格式那么直接使用openai这个Python SDK将是体验最好的方式。它就像一个为调用大模型量身定制的专业工具箱把很多繁琐的细节都封装好了。虽然这个库名字叫“openai”但得益于行业逐渐形成的API兼容趋势许多其他厂商包括硅基流动、国内的一些大模型平台也提供了与OpenAI兼容的API接口。这意味着你可以用同一套代码只需更换base_url和api_key就能调用不同厂商的模型极大地降低了切换和测试的成本。安装指定版本推荐与文档一致pip install openai1.77.0。然后看代码你会发现它简洁得令人愉悦from openai import OpenAI client OpenAI( api_keysk-你的密钥, base_urlhttps://api.siliconflow.cn/v1 # 关键指向兼容OpenAI的厂商地址 ) response client.chat.completions.create( modelQwen/Qwen2.5-7B-Instruct, messages[ {role: system, content: You are a helpful assistant.}, {role: user, content: 你好请用Python写一个快速排序函数} ], max_tokens300, temperature0.8, # 控制创造性 streamFalse # 非流式 ) print(response.choices[0].message.content)看不需要你手动设置Content-Type不需要你用json.dumps甚至请求地址都只需要给base_urlSDK会自动帮你补全/chat/completions这个路径。返回的response是一个结构化的对象你可以用response.choices[0].message.content这种点号操作符直接访问结果比字典取值更直观IDE还能提供代码提示。SDK的最大优势是“开箱即用”和“生态丰富”。除了基本的对话它通常还封装了文件上传、微调任务管理、异步调用等高级功能。更重要的是许多优秀的开源项目如LangChain、LlamaIndex默认就集成了OpenAI SDK你用这个库可以无缝接入这些更强大的AI应用开发框架。当然它的缺点是对底层细节的封装太深如果你想做一些非常定制化的HTTP行为可能反而会觉得束手束脚。3. 流式与非流式体验与性能的抉择当你成功调通API收到第一句模型回复后下一个重要的技术选择就来了你是希望模型“想好了再说”非流式还是“边想边说”流式这不仅仅是用户体验的差异更关系到你的应用场景和性能考量。非流式响应streamFalse就像传统的电子邮件。你发送一个问题模型在服务器端进行完整的计算和推理生成全部回答后打包成一个完整的JSON数据包一次性通过网络传回给你的程序。它的优点是逻辑简单、处理方便。你收到响应后直接解析JSON取出完整的答案即可。对于生成内容较短、或者不需要实时反馈的后台任务比如批量生成文案、摘要非常合适。代码处理上就像我们前面用Requests库和OpenAI SDK的非流式示例那样一个请求一个完整的响应干净利落。但是如果模型需要生成一段很长的文本比如写一篇千字文章非流式的问题就暴露了。用户会面对一个漫长的等待期屏幕一片空白不知道是程序卡死了还是在运行体验很差。这时就需要流式响应streamTrue。流式响应的原理是服务器每生成一个词元token可以理解为一个词或字就立刻把这一小段数据推送给客户端像流水一样源源不断。在代码实现上无论是用Requests库还是OpenAI SDK核心都是迭代地iteratively从网络连接中读取数据块。用Requests库实现流式响应需要用到response.iter_content方法import requests import json url https://api.siliconflow.cn/v1/chat/completions headers {Content-Type: application/json, Authorization: Bearer sk-你的密钥} data { model: Qwen/Qwen2.5-7B-Instruct, messages: [{role: user, content: 请写一个关于春天的童话故事300字左右。}], max_tokens: 500, stream: True # 开启流式 } response requests.post(url, headersheaders, datajson.dumps(data), streamTrue) if response.status_code 200: for chunk in response.iter_content(chunk_sizeNone): if chunk: # 每个chunk是一个字节串需要解码。注意流式返回的数据不是完整JSON而是一行行以data: 开头的文本 decoded_line chunk.decode(utf-8).strip() if decoded_line.startswith(data: ): json_str decoded_line[6:] # 去掉data: 前缀 if json_str ! [DONE]: # 流结束的标记 try: data json.loads(json_str) # 提取当前生成的文本增量 delta_content data[choices][0][delta].get(content, ) if delta_content: print(delta_content, end, flushTrue) # 逐词打印不换行 except json.JSONDecodeError: pass else: print(请求失败:, response.status_code)这段代码的关键在于streamTrue参数和循环读取chunk。服务器返回的不是一个整体而是一系列以data:开头的行最后一行是data: [DONE]。我们需要解析每一行提取出delta字段中的内容增量并实时打印或展示给用户。这样用户就能看到故事一个字一个字“生长”出来的过程体验立刻变得生动起来。而使用OpenAI SDK流式调用则更加优雅和简单from openai import OpenAI client OpenAI(api_keysk-你的密钥, base_urlhttps://api.siliconflow.cn/v1) stream client.chat.completions.create( modelQwen/Qwen2.5-7B-Instruct, messages[{role: user, content: 请写一个关于春天的童话故事}], max_tokens500, streamTrue # 开启流式 ) for chunk in stream: if chunk.choices[0].delta.content is not None: print(chunk.choices[0].delta.content, end, flushTrue)SDK帮你处理了所有底层的协议解析你直接在一个for循环里就能拿到一个个包含delta内容的chunk对象直接取出文本即可。选择流式还是非流式取决于你的产品需求。聊天机器人、实时翻译、代码补全等强调即时反馈的场景流式是必选项。而数据分析、报告生成等离线或后台任务非流式则更简单可靠。还要注意流式响应会保持一个长时间的HTTP连接对网络稳定性要求更高在编写生产代码时需要加入更完善的连接超时、断线重连等容错机制。4. 进阶调优参数解析与响应处理实战成功调用并收到回复只是第一步。要让大模型真正听你的话产出符合预期的内容你必须学会“调教”它而“调教”的工具就是API调用时的各种参数。这些参数就像是给模型的指令集告诉它该以何种风格、何种限制来工作。max_tokens是最直接的长度控制器。它限制了模型回答的最大长度以token计。注意这个数量是输入和输出共享的总预算的一部分。如果你输入的问题很长消耗了大量prompt tokens那么留给回答的tokenscompletion tokens就会相应减少。设置太小回答可能被截断设置太大可能浪费资源并生成冗余内容。一个经验是对于简单问答150-300足够对于创作类任务可能需要500-1000甚至更多。temperature温度和top_p核采样是控制输出随机性的两大神器。你可以把它们想象成控制模型“想象力”的旋钮。temperature值越高接近1.0模型的选择就越随机、越有创意可能会给出一些意想不到但有趣的回答值越低接近0模型就越保守、越确定总是选择概率最高的那个词回答会非常稳定甚至重复。top_p是另一种采样方式它设定一个概率累积阈值比如0.9只从概率最高、累积和达到90%的那些候选词中随机选择。通常temperature和top_p不建议同时大幅度调整选一个用就行。创作诗歌、故事时可以调高温度如0.8-0.9做事实性问答、代码生成时调低温度如0.2-0.3效果更好。system角色消息是塑造模型行为的强大工具。在messages列表的开头加入一个{role: system, content: ...}的消息可以给模型设定一个身份、一种行为风格或一些必须遵守的规则。比如你可以设定“你是一位严谨的数学老师回答要步步推导”或者“你是一位幽默的脱口秀演员用搞笑的方式回答问题”。这个系统提示词system prompt对模型的输出风格有深远影响。当模型返回结果后我们需要从响应体中提取有用信息。响应是一个标准的JSON结构。最核心的部分在choices数组里。通常我们取choices[0].message.content就是助理的完整回复。finish_reason字段告诉我们生成停止的原因常见的有stop遇到停止标记、length达到max_tokens限制、content_filter内容被过滤等这在调试时非常有用。usage字段是你控制成本的仪表盘。它详细列出了本次调用消耗的token数量prompt_tokens输入、completion_tokens输出和total_tokens总计。所有云服务都按token计费密切监控这里的数据能帮助你优化提示词减少不必要的输入和调整参数控制输出长度从而有效降低成本。你可以写个简单的函数在每次调用后打印或记录这些用量信息。最后错误处理是生产环境必须考虑的一环。网络可能超时API可能暂时过载返回429状态码密钥可能过期。一个健壮的程序不能假设每次调用都成功。你应该用try...except块包裹你的API调用代码捕获requests.exceptions.RequestException或openai.APIError等异常。对于429错误可以实现一个带有指数退避的等待重试机制。记录日志方便问题追踪。这些看似繁琐的工作是确保你的应用稳定可靠的关键。
大模型API实战指南：从密钥申请到流式响应，一站式打通模型调用
发布时间：2026/6/6 15:59:52
1. 从零开始搞定你的第一个大模型API密钥想玩转大模型第一步不是写代码而是去“拿钥匙”。这把钥匙就是API密钥API Key它是你和大模型服务商之间确认身份的凭证每次调用都得带上它。听起来有点复杂别担心这个过程其实跟注册个新App、开通个会员服务差不多只是我们这次的目标是获得一串有魔力的字符。现在国内外的模型服务商非常多选择哪家开始呢我的建议是从提供免费额度或低成本试用的平台入手。这样你可以在不花钱的情况下把整个调用流程跑通踩坑也不心疼。比如国内的硅基流动SiliconFlow、百度智能云千帆、阿里云灵积、智谱AI等都有非常友好的新手指引和免费资源。原始文章里用硅基流动举例因为它确实对新手很友好注册就送体验金还有免费的模型可以用非常适合我们第一步的探索。当然你也可以选择其他任何你感兴趣的厂商核心流程都是大同小异的。具体怎么操作呢我带你走一遍。首先打开硅基流动的官网找到注册入口。通常你需要一个手机号来完成注册和验证。注册过程中如果看到“邀请码”或“推广码”的选项可以试着填一下有时能获得额外的赠送额度比如原文里提到的那个邀请码。注册登录后你会进入一个类似“模型广场”的页面这里陈列着各种可用的模型。为了测试我们最好先选一个免费的、参数量较小的模型比如Qwen2.5-7B-Instruct。选择“Instruct”版本很重要这表示这个模型是经过指令微调的专门用于对话和问答理解你的问题并给出回复的能力更强相当于一个开箱即用的聊天机器人。找到心仪的模型后别急着点“在线体验”去玩网页版。我们的目标是拿到API密钥。通常在网站的个人中心、账户设置或者开发者平台里能找到“API密钥”、“Access Key”之类的管理页面。点进去创建一个新的密钥。这时系统可能会让你给这个密钥起个名字方便你以后管理比如“测试项目专用”。创建成功后那串长得像乱码的字符串例如sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx就是你的宝贝钥匙了千万要立刻把它复制保存到安全的地方比如本地的一个文本文件、密码管理器或者像原文作者那样存到语雀笔记里。因为很多平台为了安全这串密钥只显示一次关闭页面后就再也看不到了只能重新生成。拿到密钥的同时还有另一个关键信息不能忽略API的基础地址Base URL。这个地址就像是你要访问的服务器的门牌号。不同厂商、甚至同一厂商的不同服务区域这个地址都可能不同。它通常能在官方文档的“快速开始”或“API调用”章节找到。对于硅基流动它的Base URL是https://api.siliconflow.cn/v1。这个地址和你的API密钥构成了你调用服务的全部身份凭证接下来所有操作都围绕着它们展开。2. 三种武器命令行、Requests库与OpenAI SDK的实战对比钥匙到手下一步就是开门了。怎么“敲门”跟大模型对话呢主要有三种方式我把它们比作三种不同的武器轻便的瑞士军刀命令行Curl、灵活的自组装工具Python Requests库和专业的集成工具箱OpenAI SDK。每种都有最适合的场景没有绝对的好坏只有合不合适。2.1 瑞士军刀命令行Curl快速验证当你只是想最快速、最直接地测试一下API是否畅通或者验证你的密钥和模型是否有效时命令行工具curl是你的首选。它不需要任何额外的Python环境或依赖安装直接在终端Linux/macOS或命令提示符Windows Cmd里就能运行。它的核心思想是用一行命令构造一个HTTP POST请求发送给指定的API地址。我们来看具体命令。在Linux或Mac的终端里你可以这样写curl https://api.siliconflow.cn/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer sk-你的密钥 \ -d { model: Qwen/Qwen2.5-7B-Instruct, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 你好介绍一下你自己} ], max_tokens: 150 }这里有几个关键点-H参数用来添加请求头我们告诉服务器我们发送的数据格式是JSONContent-Type: application/json并且通过Authorization头携带了我们的密钥注意前面的Bearer是固定格式。-d参数后面跟着的就是请求体data里面用JSON格式指定了我们要用的模型、对话历史messages以及最多生成多少tokenmax_tokens。但这里有个大坑Windows用户要特别注意在Windows的Cmd中命令的写法有区别。你不能直接照抄上面的单引号。在Cmd里整个JSON数据需要用双引号包裹而JSON内部的双引号需要用反斜杠\进行转义。命令的换行连接符也不是反斜杠\而是脱字符^。所以正确的Windows Cmd版本应该是curl https://api.siliconflow.cn/v1/chat/completions ^ -H Content-Type: application/json ^ -H Authorization: Bearer sk-你的密钥 ^ -d {\model\: \Qwen/Qwen2.5-7B-Instruct\, \messages\: [{\role\: \system\, \content\: \You are a helpful assistant.\}, {\role\: \user\, \content\: \你好介绍一下你自己\}], \max_tokens\: 150}是不是看起来有点头疼这正是命令行的局限性——不适合处理复杂的、多层的JSON数据尤其在跨平台时容易遇到语法问题。所以它只适合极简的快速测试。当你看到终端里打印出一大段JSON格式的回复里面包含模型生成的问候语时恭喜你第一步验证成功了2.2 自组装工具Python Requests库的完全控制如果你需要在Python项目里集成大模型能力或者想要更灵活、更清晰地控制请求和响应的每一个细节那么requests库是你的不二之选。它比命令行强大得多就像给你提供了螺丝刀、扳手等各种工具让你可以自己组装出任何你想要的HTTP请求。首先确保安装了requests库pip install requests。然后我们来看一个完整的非流式请求示例。所谓非流式就是模型会思考完整个答案后一次性返回给你。import requests import json url https://api.siliconflow.cn/v1/chat/completions headers { Content-Type: application/json, Authorization: Bearer sk-你的密钥 } data { model: Qwen/Qwen2.5-7B-Instruct, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 你好请用Python写一个快速排序函数} ], max_tokens: 300, stream: False # 关键参数False表示非流式 } response requests.post(url, headersheaders, datajson.dumps(data)) print(response.json())这段代码结构非常清晰定义地址、组装请求头、构造请求体、发送请求、解析响应。json.dumps(data)的作用是将Python字典data序列化成JSON字符串。response.json()则直接将返回的JSON字符串解析成Python字典方便你提取里面的内容比如response.json()[choices][0][message][content]就能拿到模型生成的代码。Requests库的强大之处在于其灵活性。你可以轻松地添加超时控制timeout参数、异常处理try...except、重试逻辑或者自定义代理。它让你对网络请求有了完全的掌控力。但相应地你也需要处理更多底层细节比如手动拼接URL参数、处理不同的状态码如429代表请求过频需要你实现限速等待等。这是追求灵活性和控制力所必须付出的代价。2.3 专业工具箱OpenAI SDK的优雅集成如果你追求的是开发效率希望用最简洁、最符合直觉的代码来调用大模型并且你的目标平台兼容OpenAI的API格式那么直接使用openai这个Python SDK将是体验最好的方式。它就像一个为调用大模型量身定制的专业工具箱把很多繁琐的细节都封装好了。虽然这个库名字叫“openai”但得益于行业逐渐形成的API兼容趋势许多其他厂商包括硅基流动、国内的一些大模型平台也提供了与OpenAI兼容的API接口。这意味着你可以用同一套代码只需更换base_url和api_key就能调用不同厂商的模型极大地降低了切换和测试的成本。安装指定版本推荐与文档一致pip install openai1.77.0。然后看代码你会发现它简洁得令人愉悦from openai import OpenAI client OpenAI( api_keysk-你的密钥, base_urlhttps://api.siliconflow.cn/v1 # 关键指向兼容OpenAI的厂商地址 ) response client.chat.completions.create( modelQwen/Qwen2.5-7B-Instruct, messages[ {role: system, content: You are a helpful assistant.}, {role: user, content: 你好请用Python写一个快速排序函数} ], max_tokens300, temperature0.8, # 控制创造性 streamFalse # 非流式 ) print(response.choices[0].message.content)看不需要你手动设置Content-Type不需要你用json.dumps甚至请求地址都只需要给base_urlSDK会自动帮你补全/chat/completions这个路径。返回的response是一个结构化的对象你可以用response.choices[0].message.content这种点号操作符直接访问结果比字典取值更直观IDE还能提供代码提示。SDK的最大优势是“开箱即用”和“生态丰富”。除了基本的对话它通常还封装了文件上传、微调任务管理、异步调用等高级功能。更重要的是许多优秀的开源项目如LangChain、LlamaIndex默认就集成了OpenAI SDK你用这个库可以无缝接入这些更强大的AI应用开发框架。当然它的缺点是对底层细节的封装太深如果你想做一些非常定制化的HTTP行为可能反而会觉得束手束脚。3. 流式与非流式体验与性能的抉择当你成功调通API收到第一句模型回复后下一个重要的技术选择就来了你是希望模型“想好了再说”非流式还是“边想边说”流式这不仅仅是用户体验的差异更关系到你的应用场景和性能考量。非流式响应streamFalse就像传统的电子邮件。你发送一个问题模型在服务器端进行完整的计算和推理生成全部回答后打包成一个完整的JSON数据包一次性通过网络传回给你的程序。它的优点是逻辑简单、处理方便。你收到响应后直接解析JSON取出完整的答案即可。对于生成内容较短、或者不需要实时反馈的后台任务比如批量生成文案、摘要非常合适。代码处理上就像我们前面用Requests库和OpenAI SDK的非流式示例那样一个请求一个完整的响应干净利落。但是如果模型需要生成一段很长的文本比如写一篇千字文章非流式的问题就暴露了。用户会面对一个漫长的等待期屏幕一片空白不知道是程序卡死了还是在运行体验很差。这时就需要流式响应streamTrue。流式响应的原理是服务器每生成一个词元token可以理解为一个词或字就立刻把这一小段数据推送给客户端像流水一样源源不断。在代码实现上无论是用Requests库还是OpenAI SDK核心都是迭代地iteratively从网络连接中读取数据块。用Requests库实现流式响应需要用到response.iter_content方法import requests import json url https://api.siliconflow.cn/v1/chat/completions headers {Content-Type: application/json, Authorization: Bearer sk-你的密钥} data { model: Qwen/Qwen2.5-7B-Instruct, messages: [{role: user, content: 请写一个关于春天的童话故事300字左右。}], max_tokens: 500, stream: True # 开启流式 } response requests.post(url, headersheaders, datajson.dumps(data), streamTrue) if response.status_code 200: for chunk in response.iter_content(chunk_sizeNone): if chunk: # 每个chunk是一个字节串需要解码。注意流式返回的数据不是完整JSON而是一行行以data: 开头的文本 decoded_line chunk.decode(utf-8).strip() if decoded_line.startswith(data: ): json_str decoded_line[6:] # 去掉data: 前缀 if json_str ! [DONE]: # 流结束的标记 try: data json.loads(json_str) # 提取当前生成的文本增量 delta_content data[choices][0][delta].get(content, ) if delta_content: print(delta_content, end, flushTrue) # 逐词打印不换行 except json.JSONDecodeError: pass else: print(请求失败:, response.status_code)这段代码的关键在于streamTrue参数和循环读取chunk。服务器返回的不是一个整体而是一系列以data:开头的行最后一行是data: [DONE]。我们需要解析每一行提取出delta字段中的内容增量并实时打印或展示给用户。这样用户就能看到故事一个字一个字“生长”出来的过程体验立刻变得生动起来。而使用OpenAI SDK流式调用则更加优雅和简单from openai import OpenAI client OpenAI(api_keysk-你的密钥, base_urlhttps://api.siliconflow.cn/v1) stream client.chat.completions.create( modelQwen/Qwen2.5-7B-Instruct, messages[{role: user, content: 请写一个关于春天的童话故事}], max_tokens500, streamTrue # 开启流式 ) for chunk in stream: if chunk.choices[0].delta.content is not None: print(chunk.choices[0].delta.content, end, flushTrue)SDK帮你处理了所有底层的协议解析你直接在一个for循环里就能拿到一个个包含delta内容的chunk对象直接取出文本即可。选择流式还是非流式取决于你的产品需求。聊天机器人、实时翻译、代码补全等强调即时反馈的场景流式是必选项。而数据分析、报告生成等离线或后台任务非流式则更简单可靠。还要注意流式响应会保持一个长时间的HTTP连接对网络稳定性要求更高在编写生产代码时需要加入更完善的连接超时、断线重连等容错机制。4. 进阶调优参数解析与响应处理实战成功调用并收到回复只是第一步。要让大模型真正听你的话产出符合预期的内容你必须学会“调教”它而“调教”的工具就是API调用时的各种参数。这些参数就像是给模型的指令集告诉它该以何种风格、何种限制来工作。max_tokens是最直接的长度控制器。它限制了模型回答的最大长度以token计。注意这个数量是输入和输出共享的总预算的一部分。如果你输入的问题很长消耗了大量prompt tokens那么留给回答的tokenscompletion tokens就会相应减少。设置太小回答可能被截断设置太大可能浪费资源并生成冗余内容。一个经验是对于简单问答150-300足够对于创作类任务可能需要500-1000甚至更多。temperature温度和top_p核采样是控制输出随机性的两大神器。你可以把它们想象成控制模型“想象力”的旋钮。temperature值越高接近1.0模型的选择就越随机、越有创意可能会给出一些意想不到但有趣的回答值越低接近0模型就越保守、越确定总是选择概率最高的那个词回答会非常稳定甚至重复。top_p是另一种采样方式它设定一个概率累积阈值比如0.9只从概率最高、累积和达到90%的那些候选词中随机选择。通常temperature和top_p不建议同时大幅度调整选一个用就行。创作诗歌、故事时可以调高温度如0.8-0.9做事实性问答、代码生成时调低温度如0.2-0.3效果更好。system角色消息是塑造模型行为的强大工具。在messages列表的开头加入一个{role: system, content: ...}的消息可以给模型设定一个身份、一种行为风格或一些必须遵守的规则。比如你可以设定“你是一位严谨的数学老师回答要步步推导”或者“你是一位幽默的脱口秀演员用搞笑的方式回答问题”。这个系统提示词system prompt对模型的输出风格有深远影响。当模型返回结果后我们需要从响应体中提取有用信息。响应是一个标准的JSON结构。最核心的部分在choices数组里。通常我们取choices[0].message.content就是助理的完整回复。finish_reason字段告诉我们生成停止的原因常见的有stop遇到停止标记、length达到max_tokens限制、content_filter内容被过滤等这在调试时非常有用。usage字段是你控制成本的仪表盘。它详细列出了本次调用消耗的token数量prompt_tokens输入、completion_tokens输出和total_tokens总计。所有云服务都按token计费密切监控这里的数据能帮助你优化提示词减少不必要的输入和调整参数控制输出长度从而有效降低成本。你可以写个简单的函数在每次调用后打印或记录这些用量信息。最后错误处理是生产环境必须考虑的一环。网络可能超时API可能暂时过载返回429状态码密钥可能过期。一个健壮的程序不能假设每次调用都成功。你应该用try...except块包裹你的API调用代码捕获requests.exceptions.RequestException或openai.APIError等异常。对于429错误可以实现一个带有指数退避的等待重试机制。记录日志方便问题追踪。这些看似繁琐的工作是确保你的应用稳定可靠的关键。
