千问3.5-27B基础教程：FastAPI路由设计/generate与/chat_stream区别

千问3.5-27B基础教程FastAPI路由设计/generate与/chat_stream区别1. 快速了解Qwen3.5-27B模型Qwen3.5-27B是阿里巴巴开源的多模态大语言模型支持文本对话与图片理解能力。这个模型特别适合需要同时处理文字和图像的应用场景比如智能客服、内容创作辅助等。模型部署在4张RTX 4090 D 24GB显卡上提供了三种主要接口中文Web对话界面适合普通用户流式文本对话API适合开发者集成图片理解API支持图像内容分析2. FastAPI路由设计概览2.1 核心API接口Qwen3.5-27B的FastAPI服务提供了三个主要路由端点/generate- 标准文本生成接口/chat_stream- 流式对话接口/generate_with_image- 带图片理解的生成接口2.2 接口对比表接口路径请求方式内容类型返回格式适用场景/generatePOSTapplication/jsonJSON一次性获取完整回复/chat_streamPOSTapplication/json流式文本实时显示生成过程/generate_with_imagePOSTmultipart/form-dataJSON结合图片内容生成文本3. /generate接口详解3.1 基本使用方法/generate是最基础的文本生成接口它会一次性返回完整的生成结果。这个接口适合不需要实时显示生成过程的场景。import requests url http://127.0.0.1:7860/generate headers {Content-Type: application/json} data { prompt: 请用中文介绍一下你自己, max_new_tokens: 128 } response requests.post(url, headersheaders, jsondata) print(response.json())3.2 参数说明prompt: 输入的提示文本必填max_new_tokens: 最大生成token数默认128temperature: 控制生成随机性的参数可选top_p: 核采样参数可选4. /chat_stream接口详解4.1 流式接口特点/chat_stream接口与/generate的主要区别在于返回方式。它会以流式(streaming)方式逐步返回生成结果适合需要实时显示生成过程的场景。import requests url http://127.0.0.1:7860/chat_stream headers {Content-Type: application/json} data { prompt: 请用中文介绍一下你自己, max_new_tokens: 128 } with requests.post(url, headersheaders, jsondata, streamTrue) as response: for chunk in response.iter_content(chunk_sizeNone): if chunk: print(chunk.decode(utf-8), end, flushTrue)4.2 流式接口优势用户体验更好用户可以实时看到生成过程响应更快不需要等待全部生成完成节省带宽可以提前终止不需要的生成5. 接口选择建议5.1 何时使用/generate需要完整结果后再处理生成内容较短100 tokens不需要实时显示给用户后端处理场景5.2 何时使用/chat_stream需要实时显示生成过程生成内容较长100 tokens前端交互场景需要提供停止生成功能6. 实际应用示例6.1 构建简单聊天机器人from fastapi import FastAPI import requests app FastAPI() app.post(/chat) async def chat(prompt: str): url http://127.0.0.1:7860/chat_stream headers {Content-Type: application/json} data {prompt: prompt, max_new_tokens: 256} def generate(): with requests.post(url, headersheaders, jsondata, streamTrue) as response: for chunk in response.iter_content(chunk_sizeNone): if chunk: yield chunk.decode(utf-8) return StreamingResponse(generate(), media_typetext/plain)6.2 批量处理文本def batch_process(prompts): results [] for prompt in prompts: response requests.post( http://127.0.0.1:7860/generate, json{prompt: prompt, max_new_tokens: 128} ) results.append(response.json()[response]) return results7. 总结Qwen3.5-27B提供的/generate和/chat_stream接口各有优势/generate适合需要完整结果的场景后端处理任务短文本生成/chat_stream适合需要实时交互的场景前端展示长文本生成在实际应用中可以根据具体需求选择合适的接口。对于大多数聊天应用推荐使用/chat_stream以获得更好的用户体验而对于后台处理任务/generate可能是更高效的选择。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。