最近这几个月多模态 AI 的工具和模型更新得实在太密了。但一个很有意思的现象是很多开发者的困惑并不是“不知道谁家模型强”而是“我到底该怎么把它接进自己的项目里”。文本生成看起来很好用可一旦要把它和图像生成、视频生成串成一条完整链路就总会在某个环节卡住——要么是接口不一致要么是免费额度不够要么是生成的视频又短又崩。这篇文章的主角是通义千问 3.x/3.8 这一波更新里的多模态能力重点不是去背模型参数而是把“文本生成、图像生成、视频生成”这三条线分别跑通再告诉你它们之间怎么协作。标题里说的“免费”指的是官方提供的免费/试用配额范围内的调用方式具体规模以你账号页面为准。我想先给一个明确判断对大多数个人开发者和中小团队来说通义千问多模态能力真正的价值不在于某一个模型比别家强多少而在于你能用一套相对统一的 API 体系把“写文案 → 出图 → 出视频”这件事变成可复用、可上线的流程。文章会按照“实测思路 → 基础概念 → 环境准备 → 三线生成实测 → 排错 → 最佳实践”的顺序展开。你可以直接复制代码去验证也可以把它当作一套验收标准用来判断这类多模态 AI 工具到底适不适合你自己的业务场景。1. 这篇实测到底要解决什么问题先说一个在实际开发中很常见的场景。假设你要做一个短视频批量生产工具需求本身并不复杂先由 LLM 生成分镜脚本再为每个分镜生成一张画面最后把关键画面变成几秒钟的动态视频。听上去很标准但落到工程上起码有四个问题等着你回答。第一文本生成这一步模型能不能稳定输出结构化的分镜数据如果你要做批量任务返回的必须是 JSON 或者约定好的 Markdown 结构而不是一段散文。第二图像生成时提示词怎么从“让用户输入一句话”变成“适合图像模型的详细提示词”这个转换要不要再做一次模型调用第三视频生成接口基本都是异步任务提交后要轮询你知不知道任务状态怎么查询、失败怎么重试第四免费额度和算力成本怎么控制这四个问题正是本文“实测”要覆盖的。再往深一层看很多文章讲到多模态 AI 时会把文本、图像、视频拆开讲成三个独立功能但实际项目里根本不是这样。一个短视频生产工具用户的指令是文本中间产物是分镜和图片最终交付是视频。谁能让这三个环节之间的“接缝”更小谁才真正解决了问题。这也是我在这篇文章里反复强调的不要只看“某一个模型能不能生成一张好看的图”要看“你能不能把一条多模态生成链路稳定地跑起来”。基于这个判断下面每一节都会先给结论再给代码和验收方式。测试环境不需要高端 GPU普通开发机、通过云端 API 调用即可这正是“中配”二字的含义——你不必先买一张昂贵的显卡也能把多模态 AI 的能力用起来。2. 多模态 AI 基础概念与通义千问能力版图在开始调用之前有必要把概念边界说清楚。所谓多模态 AI简单说就是模型能同时处理或生成多种类型的信息文字、图片、视频、音频等。过去我们分别叫“大语言模型”“文生图模型”“文生视频模型”而多模态 AI 强调的是能力整合在一个平台、一套体系里让开发者不需要分别对接三套完全不同的技术栈。通义千问生态的能力版图可以大致分成三层。第一层是文本与语言理解代表性模型包括 qwen-turbo、qwen-plus、qwen-max 等。它们负责对话、写作、代码生成、信息抽取也负责“指挥”后面的图像和视频模型。第二层是视觉理解与图像生成。视觉理解对应 qwen-vl 系列能读取图片内容图像生成则对应通义万相的文生图能力输入提示词输出图片。注意这里要区分“看懂图片”和“生成图片”它们是两种能力虽然都被装进“多模态”这个大筐里。第三层是视频生成也是目前门槛最高、最容易被吐槽的一层。视频生成通常不是一次调用直接返回文件而是异步任务提交提示词后服务端开始计算你再通过任务 ID 轮询结果。这个流程天然适合批处理和队列化但也意味着代码要比文本生成多写几行。至于标题里提到的“3.8”我的看法是这更像是一次版本迭代的代称。如果你只盯着某一个指标比如长文本能力或者单张图片质量可能感觉不到翻天覆地的变化。但如果你把“文本→图像→视频”放到同一条流程里迭代带来的收益就会变得明显——接口更稳、提示词理解更准、视频连贯性更好。所以本文不打算陷入模型卡参数而是帮你把能直接上手的流程跑通。用一句话概括通义千问的多模态能力本质上是一个“文案生成器 画面生成器 视频生成器”的组合而你需要学会的是如何编排它们。3. 环境准备账号、API Key 与 Python 环境要调用通义千问的多模态能力最直接的入口是阿里云百炼平台和 DashScope 模型服务平台。学习阶段不需要本地 GPU只需要一个 Python 环境和一个 API Key。3.1 开通服务并获取 API Key操作路径比较直接注册并登录阿里云账号进入百炼控制台或 DashScope 控制台在“API-KEY 管理”页面创建属于你自己的密钥。需要提醒的是不同模型服务的开通方式可能不一样。文本模型通常默认可用而图像生成、视频生成可能需要单独点击“开通服务”。如果你的账号提示“模型不存在”或“未开通”先去控制台检查一下有没有完成服务开通。这里必须说实话所谓“免费”通常指免费试用额度、限时免费调用或者较低频次的免费套餐。具体到每天能调用多少次、哪些模型在免费范围内、视频生成是否参与免费额度都以你控制台页面展示为准。不要看到标题里“免费”两个字就默认所有功能都可以无限调用。3.2 安装 Python 依赖建议新建一个虚拟环境然后安装两个库python -m venv venv source venv/bin/activate # Windows 下执行 venv\Scripts\activate pip install -U dashscope pip install -U openai其中 dashscope 是阿里云模型的官方 Python SDKopenai 则用来走 OpenAI 兼容接口。通义千问文本模型提供了 OpenAI 兼容模式这对很多已经有 OpenAI 调用习惯的开发者来说非常友好。3.3 配置环境变量密钥不要写在代码里更不要提交到 Git 仓库。建议放到系统环境变量中export DASHSCOPE_API_KEYsk-你的APIKeyWindows 用户可以在系统环境变量里新增DASHSCOPE_API_KEY。后续代码里统一通过os.getenv(DASHSCOPE_API_KEY)读取。配置完成后可以先跑一个小脚本检查 API Key 是否有效import os from openai import OpenAI client OpenAI( api_keyos.getenv(DASHSCOPE_API_KEY), base_urlhttps://dashscope.aliyuncs.com/compatible-mode/v1 ) resp client.chat.completions.create( modelqwen-plus, messages[{role: user, content: 你好请回复一句测试语句。}] ) print(resp.choices[0].message.content)如果控制台打印出正常回复说明环境和密钥都没问题。4. 文本生成实测从对话到结构化脚本文本生成是一切多模态工作流的第一环。你可以让它写文章、写代码也可以让它生成“适合图像模型使用的提示词”和“适合视频模型使用的分镜脚本”。4.1 用 OpenAI 兼容方式调用文本模型下面的代码演示了如何用 qwen-plus 完成一次对话生成并把输出规范为 JSON 结构。为了让模型返回可解析的数据我建议在 system 消息里明确指定输出格式。# 文件路径text_generation_demo.py import os import json from openai import OpenAI client OpenAI( api_keyos.getenv(DASHSCOPE_API_KEY), base_urlhttps://dashscope.aliyuncs.com/compatible-mode/v1 ) resp client.chat.completions.create( modelqwen-plus, messages[ { role: system, content: ( 你是短视频编剧。请根据用户给出的主题输出分镜脚本。 必须使用 JSON 格式字段包括scene_id,shot_description,image_prompt,voiceover。 不要输出多余的文字。 ) }, { role: user, content: 主题一个程序员在深夜修复线上 Bug最终成功发布新版本。 } ], temperature0.7 ) content resp.choices[0].message.content print(content) # 尝试解析为 JSON try: data json.loads(content) print(分镜数量, len(data)) except json.JSONDecodeError as e: print(模型没有输出合法 JSON请检查提示词或增加 few-shot 示例。)这段代码有三个关键点。第一model 参数可以用qwen-turbo、qwen-plus、qwen-max。前两个更适合日常测试和成本敏感场景qwen-max 通常更聪明但价格也更高。第二system 消息中的“必须使用 JSON 格式”是一种约束技巧。虽然不能保证模型 100% 输出合法 JSON但配合 few-shot 示例后稳定性会明显提升。第三我在提示词里设计了image_prompt这个字段。它不是给用户看的而是给图像生成模型用的。先让文本模型生成一个适合图像模型的提示词再把它传给下一步是当前最实用的“文本到图像”协作方式。4.2 文本生成效果的验收标准文本生成好不好不要只凭感觉。建议用四个维度验收维度说明不达标的信号指令遵循度是否严格按 system 消息输出混入解释、忘记 JSON 格式结构化程度是否容易被程序解析JSON 解析失败、字段缺失内容相关性是否偏离用户主题稻草人、空泛套话可迁移性输出能否直接喂给下游模型image_prompt 太短、和镜头无关如果你发现模型的 JSON 输出不稳定常见的解决方案是在请求里多给一个输出示例也就是 few-shot。不要指望只靠一句“必须使用 JSON”就解决所有问题。5. 图像生成实测文生图的接入方式与提示词技巧文本模型生成分镜和 image_prompt 之后下一步就是图像生成。图像生成的核心任务是把上一步的文本提示词变成真正的画面。5.1 通过 DashScope 调用通义万相文生图DashScope SDK 提供了图像生成接口。下面是一个最小可运行的示例# 文件路径image_generation_demo.py import os import time import requests import dashscope from dashscope import ImageSynthesis dashscope.api_key os.getenv(DASHSCOPE_API_KEY) rsp ImageSynthesis.call( # 模型名称请以当前控制台可选列表为准 modelwanx2.1-t2i-turbo, prompt一位戴着眼镜的程序员坐在深夜办公室窗外是城市夜景屏幕发出蓝光电影感构图细节丰富, n1, size1024*1024 ) if rsp.status_code 200: # 不同版本的 SDK 返回字段会有差异通常输出中包含图片 URL print(rsp.output) else: print(生成失败, rsp.code, rsp.message)如果你不想写代码也可以直接在百炼控制台的图像生成页面测试模型效果。控制台的好处是能快速肉眼观察不同提示词带来的差异但要做批量处理或者接入业务系统最终还是要回到 API。5.2 提示词工程从一句话到高质量画面很多人用文生图模型时只会写“一只猫”然后抱怨效果一般。实际上图像模型的提示词质量直接决定了生成结果的可用性。一个有效的文生图提示词通常包含以下要素要素示例主体一个穿连帽卫衣的年轻程序员环境深夜办公室窗外城市霓虹构图电影感构图镜头从侧面拍摄光影屏幕冷光打在脸上窗外暖光对比风格写实风格细节丰富略带赛博朋克负面提示词模糊低分辨率多余手指变形如果你发现生成结果不够稳定还可以把上一步的文本模型利用起来让它自动扩写提示词。示例如下system_prompt ( 你是一个文生图提示词优化器。把用户的一句话扩展为三段式提示词 主体描述、环境氛围、风格参数。每一段控制在30字以内。 )这其实就是文本生成能力与图像生成能力的一种协作方式也是多模态工作流最基本的样貌。5.3 关于生成图片的水印与版权有一个问题我必须单独说网上经常有人搜“如何去除豆包生成图像里的水印”这类做法存在明显的版权和合规风险。如果你使用的是平台生成能力请先确认你是否有权对生成结果进行二次修改和商用。更稳妥的做法是使用有正规授权的官方 API 并保留生成记录或者选择明确允许商用的方案。不要把“去水印”当成默认操作这会让你在业务上线后承担不必要的风险。6. 视频生成实测异步任务与图像到视频工作流视频生成是三条链路里最“重”的一环也是很多开发者最容易踩坑的地方。6.1 视频生成的异步流程和文本生成不同视频生成几乎不会采用“同步请求直接返回文件”的模式。原因是视频生成的推理时间更长服务端通常会把任务放到队列里异步执行。你在代码里必须做三件事提交任务、轮询状态、获取结果。下面是一个异步任务流程的示意代码# 文件路径video_generation_demo.py示意代码具体请求体以官方文档为准 import os import time API_KEY os.getenv(DASHSCOPE_API_KEY) def submit_video_task(prompt, image_urlNone): 提交视频生成任务返回 task_id # 这里调用视频生成的创建任务接口传入模型名、提示词 # 如果模型支持图生视频可以把 image_url 作为首帧输入 # 实际代码中的请求 URL、请求体字段以百炼控制台当日文档为准 task_id create_video_task( api_keyAPI_KEY, modelwanx2.1-video, # 以控制台可选模型为准 promptprompt, image_urlimage_url ) return task_id def wait_video_result(task_id, timeout300): 轮询任务结果 start time.time() while time.time() - start timeout: status, result query_video_task(task_id) if status in (SUCCEEDED, FAILED): return status, result time.sleep(5) # 每次轮询间隔 5 秒避免频繁请求 raise TimeoutError(视频生成任务超时) # 第一步用上一节生成的图片作为首帧 task_id submit_video_task( prompt镜头缓慢推近屏幕上的代码逐渐变成烟花人物露出微笑, image_urlhttps://example.com/frame.png ) # 第二步等待结果 status, result wait_video_result(task_id) if status SUCCEEDED: print(视频生成成功, result.video_url) else: print(视频生成失败, result.message)这里必须强调代码里create_video_task和query_video_task是函数占位具体接口模型名和请求字段要以你开通服务时看到的官方文档为准。原因是视频生成接口演进速度太快一个具体的 model 名字可能几周后就变了。如果你不想在第一步就写这些异步代码可以直接去百炼控制台的视频生成页面体验。控制台提交时已经帮你处理了任务状态你在页面上能看到“排队中”“生成中”“已完成”等状态这能帮助你建立对视频生成流程的直观认识。6.2 从“文本到视频”还是“图片到视频”视频生成有两种常见输入方式务必区分清楚。输入方式工作流优势劣势文本到视频prompt 直接生成视频上手最快无需前期图片画面可控性较弱图片到视频首帧图片 prompt角色和场景更一致需要先产出高质量图片在实际的短剧生产链路里我更推荐“图片到视频”。因为文本直接生成视频时画面里的角色长相、服装、环境风格经常在镜头切换时“漂移”。如果你先用图像生成一个稳定角色再让视频模型以这张图作为首帧角色一致性问题会改善很多。6.3 视频生成最容易遇到的问题根据社区反馈视频生成最常见的两个问题是“视频只有 1 秒”和“动作不一致”。这两个问题往往不是单纯某个模型的缺陷而是参数配置和使用方式的问题。“只有 1 秒”通常意味着你使用的档位或配额限制了视频时长或者免费额度只允许生成极短视频。解决办法是检查任务参数里有没有 duration、frame_count 这类配置以及当前账号是否有更高档位的权限。“动作不一致”则更多来自提示词描述不够具体。比如你写“一个人走进房间”模型不知道这个人长什么样、穿什么衣服、镜头怎么运动。更好的描述是“一个穿黑色卫衣的年轻男人从画面左侧走入房间镜头缓慢跟随房间灯光为暖黄色”。提供足够多锚点模型才能保持动作连贯性。7. 常见问题与排查思路把三条链路放在一起看我整理了一份高频问题和排查清单建议收藏备用。问题现象可能原因排查方式解决方案文本接口返回 InvalidApiKeyAPI Key 错误或未开通对应模型检查环境变量、控制台密钥是否复制完整重新生成 API Key确认模型已开通调用报错 429 或配额超限免费额度用完查看控制台配额和账单更换更低成本的模型或购买正式套餐图像生成提示模型不存在模型名称过时到控制台查看当前可选模型列表替换为新模型名以控制台为准视频生成任务一直排队高峰期算力紧张查询任务状态和排队信息错峰调用或调整生成参数生成视频只有 1 秒默认档位限制视频时长检查 duration/frame_count 参数使用支持更长时长的档位或服务生成视频动作不一致提示词缺乏角色/镜头锚点重看首帧和 prompt 描述使用图片到视频锁定首帧本地 ComfyUI 生成视频失败依赖冲突、显存不足、模型版本不匹配查看完整日志和依赖树升级驱动、降低分辨率、统一依赖版本生成图片带水印或版权不明确平台默认机制或授权范围限制阅读平台版权说明通过官方 API 合规接入不要滥用“去水印”这里特别说明一下 ComfyUI。它本身是一个本地开源工作流工具适合希望把生成流程完全掌控在自己手里的团队。它的优势是可控性强、可以任意组合节点缺点是需要自己维护环境、模型和显存。热词里能看到大量“ComfyUI 生成视频”的讨论说明这条路径已经有很多人在尝试。但如果你是为了快速上线业务云 API 的稳定性会更高。8. 最佳实践与工程建议跑通三条链路只是第一步。真正让这套多模态 AI 能力产生业务价值需要从工程角度做几件事。8.1 提示词模板与参数管理不要把你的提示词散落在业务代码里。建议把提示词模板统一维护在一个目录或配置中心。例如templates/ ├── text_scene_generation.txt ├── image_prompt_expand.txt └── video_motion_prompt.txt模板内部可以使用变量占位运行时替换参数。这样当模型提示词策略迭代时你只需要改模板不需要改代码。8.2 异步任务管理是生产级视频应用的地基视频生成是异步任务这意味着生产环境必须考虑三件事任务持久化、幂等重试、状态回调。你在数据库里建一张任务表记录 prompt、任务状态、task_id、结果 URL 和错误信息。提交任务后用一个后台 Worker 持续轮询未完成任务更新状态。用户端只需要查询任务表即可了解进度。8.3 成本控制策略通义千问文本模型里qwen-turbo 的成本通常低于 qwen-max适合做结构化和格式化任务。图像和视频生成的成本相对更高所以一定要做预算控制。常见做法是批量任务预估每日调用量设置预算告警。对同一个生成结果做缓存避免重复调用。文本扩写提示词时严格控制输出长度减少 token 消耗。免费额度只用于测试和技术验证不要压在生产链路上。8.4 内容安全与审核多模态生成的内容安全风险比纯文本更高。无论是文本、图片还是视频都应该在交付用户之前过一道审核。平台侧通常有自己的安全审核机制但业务侧也不能完全依赖平台。建议在调用之前加入敏感词过滤和业务规则校验在调用之后加入人工抽检机制。内容审核不是可选项是生产上线的必要条件。8.5 技术选型云 API 与本地工作流的取舍最后说一个架构层面的建议。如果你的团队已经有较强的工程能力和 GPU 资源ComfyUI 加上开源视频模型是可选路径。它的优势是数据不出内网、不按调用次数付费适合高频、大规模、场景固定的生成任务。而如果你追求上线速度和稳定性通义千问这类云 API 更适合。特别是在多模态能力快速迭代的阶段云平台会替你维护模型版本和算力资源你只需要跟着控制台更新模型名即可。两者也可以混合使用文本走云 API图片和视频在本地工作流执行。关键是画清边界别让一条链路里的不确定性扩散到整个系统。9. 总结与下一步实践方向这篇文章围绕通义千问多模态能力拆开了文本生成、图像生成、视频生成三条链路并给了可以直接运行的示例代码和验收标准。核心判断有三个。第一多模态 AI 的价值不是单个模型有多强而是你能不能在文本、图像、视频之间建立起一条可复用的生成链路。第二免费配额适合做验证和测试但生产环境必须做好成本预估和任务管理。第三视频生成的成功率很大程度上取决于前期工作流是否扎实——首帧图片、提示词锚点、异步任务轮询每一步都不能省。如果你今天只做一件事建议先把文末最小文本示例跑通然后试试用文本模型生成一段结构化分镜再用控制台把其中一帧图片生成出来。等你感受到“文本生成 → 图像生成”的联动再考虑把视频生成接进来。后续值得深入的方向包括多模态输出质量的自动化评测、视频生成任务的高并发调度、以及基于 ComfyUI 的本地工作流和云 API 的混合架构。通义千问的多模态能力还在快速迭代与其等到工具完全成熟再进场不如现在就把你自己的“文本 图像 视频”链路跑起来积累起真正属于这个时代的工程经验。 通义千问多模态AI免费实测：打通文本图像视频生成链路
最近这几个月多模态 AI 的工具和模型更新得实在太密了。但一个很有意思的现象是很多开发者的困惑并不是“不知道谁家模型强”而是“我到底该怎么把它接进自己的项目里”。文本生成看起来很好用可一旦要把它和图像生成、视频生成串成一条完整链路就总会在某个环节卡住——要么是接口不一致要么是免费额度不够要么是生成的视频又短又崩。这篇文章的主角是通义千问 3.x/3.8 这一波更新里的多模态能力重点不是去背模型参数而是把“文本生成、图像生成、视频生成”这三条线分别跑通再告诉你它们之间怎么协作。标题里说的“免费”指的是官方提供的免费/试用配额范围内的调用方式具体规模以你账号页面为准。我想先给一个明确判断对大多数个人开发者和中小团队来说通义千问多模态能力真正的价值不在于某一个模型比别家强多少而在于你能用一套相对统一的 API 体系把“写文案 → 出图 → 出视频”这件事变成可复用、可上线的流程。文章会按照“实测思路 → 基础概念 → 环境准备 → 三线生成实测 → 排错 → 最佳实践”的顺序展开。你可以直接复制代码去验证也可以把它当作一套验收标准用来判断这类多模态 AI 工具到底适不适合你自己的业务场景。1. 这篇实测到底要解决什么问题先说一个在实际开发中很常见的场景。假设你要做一个短视频批量生产工具需求本身并不复杂先由 LLM 生成分镜脚本再为每个分镜生成一张画面最后把关键画面变成几秒钟的动态视频。听上去很标准但落到工程上起码有四个问题等着你回答。第一文本生成这一步模型能不能稳定输出结构化的分镜数据如果你要做批量任务返回的必须是 JSON 或者约定好的 Markdown 结构而不是一段散文。第二图像生成时提示词怎么从“让用户输入一句话”变成“适合图像模型的详细提示词”这个转换要不要再做一次模型调用第三视频生成接口基本都是异步任务提交后要轮询你知不知道任务状态怎么查询、失败怎么重试第四免费额度和算力成本怎么控制这四个问题正是本文“实测”要覆盖的。再往深一层看很多文章讲到多模态 AI 时会把文本、图像、视频拆开讲成三个独立功能但实际项目里根本不是这样。一个短视频生产工具用户的指令是文本中间产物是分镜和图片最终交付是视频。谁能让这三个环节之间的“接缝”更小谁才真正解决了问题。这也是我在这篇文章里反复强调的不要只看“某一个模型能不能生成一张好看的图”要看“你能不能把一条多模态生成链路稳定地跑起来”。基于这个判断下面每一节都会先给结论再给代码和验收方式。测试环境不需要高端 GPU普通开发机、通过云端 API 调用即可这正是“中配”二字的含义——你不必先买一张昂贵的显卡也能把多模态 AI 的能力用起来。2. 多模态 AI 基础概念与通义千问能力版图在开始调用之前有必要把概念边界说清楚。所谓多模态 AI简单说就是模型能同时处理或生成多种类型的信息文字、图片、视频、音频等。过去我们分别叫“大语言模型”“文生图模型”“文生视频模型”而多模态 AI 强调的是能力整合在一个平台、一套体系里让开发者不需要分别对接三套完全不同的技术栈。通义千问生态的能力版图可以大致分成三层。第一层是文本与语言理解代表性模型包括 qwen-turbo、qwen-plus、qwen-max 等。它们负责对话、写作、代码生成、信息抽取也负责“指挥”后面的图像和视频模型。第二层是视觉理解与图像生成。视觉理解对应 qwen-vl 系列能读取图片内容图像生成则对应通义万相的文生图能力输入提示词输出图片。注意这里要区分“看懂图片”和“生成图片”它们是两种能力虽然都被装进“多模态”这个大筐里。第三层是视频生成也是目前门槛最高、最容易被吐槽的一层。视频生成通常不是一次调用直接返回文件而是异步任务提交提示词后服务端开始计算你再通过任务 ID 轮询结果。这个流程天然适合批处理和队列化但也意味着代码要比文本生成多写几行。至于标题里提到的“3.8”我的看法是这更像是一次版本迭代的代称。如果你只盯着某一个指标比如长文本能力或者单张图片质量可能感觉不到翻天覆地的变化。但如果你把“文本→图像→视频”放到同一条流程里迭代带来的收益就会变得明显——接口更稳、提示词理解更准、视频连贯性更好。所以本文不打算陷入模型卡参数而是帮你把能直接上手的流程跑通。用一句话概括通义千问的多模态能力本质上是一个“文案生成器 画面生成器 视频生成器”的组合而你需要学会的是如何编排它们。3. 环境准备账号、API Key 与 Python 环境要调用通义千问的多模态能力最直接的入口是阿里云百炼平台和 DashScope 模型服务平台。学习阶段不需要本地 GPU只需要一个 Python 环境和一个 API Key。3.1 开通服务并获取 API Key操作路径比较直接注册并登录阿里云账号进入百炼控制台或 DashScope 控制台在“API-KEY 管理”页面创建属于你自己的密钥。需要提醒的是不同模型服务的开通方式可能不一样。文本模型通常默认可用而图像生成、视频生成可能需要单独点击“开通服务”。如果你的账号提示“模型不存在”或“未开通”先去控制台检查一下有没有完成服务开通。这里必须说实话所谓“免费”通常指免费试用额度、限时免费调用或者较低频次的免费套餐。具体到每天能调用多少次、哪些模型在免费范围内、视频生成是否参与免费额度都以你控制台页面展示为准。不要看到标题里“免费”两个字就默认所有功能都可以无限调用。3.2 安装 Python 依赖建议新建一个虚拟环境然后安装两个库python -m venv venv source venv/bin/activate # Windows 下执行 venv\Scripts\activate pip install -U dashscope pip install -U openai其中 dashscope 是阿里云模型的官方 Python SDKopenai 则用来走 OpenAI 兼容接口。通义千问文本模型提供了 OpenAI 兼容模式这对很多已经有 OpenAI 调用习惯的开发者来说非常友好。3.3 配置环境变量密钥不要写在代码里更不要提交到 Git 仓库。建议放到系统环境变量中export DASHSCOPE_API_KEYsk-你的APIKeyWindows 用户可以在系统环境变量里新增DASHSCOPE_API_KEY。后续代码里统一通过os.getenv(DASHSCOPE_API_KEY)读取。配置完成后可以先跑一个小脚本检查 API Key 是否有效import os from openai import OpenAI client OpenAI( api_keyos.getenv(DASHSCOPE_API_KEY), base_urlhttps://dashscope.aliyuncs.com/compatible-mode/v1 ) resp client.chat.completions.create( modelqwen-plus, messages[{role: user, content: 你好请回复一句测试语句。}] ) print(resp.choices[0].message.content)如果控制台打印出正常回复说明环境和密钥都没问题。4. 文本生成实测从对话到结构化脚本文本生成是一切多模态工作流的第一环。你可以让它写文章、写代码也可以让它生成“适合图像模型使用的提示词”和“适合视频模型使用的分镜脚本”。4.1 用 OpenAI 兼容方式调用文本模型下面的代码演示了如何用 qwen-plus 完成一次对话生成并把输出规范为 JSON 结构。为了让模型返回可解析的数据我建议在 system 消息里明确指定输出格式。# 文件路径text_generation_demo.py import os import json from openai import OpenAI client OpenAI( api_keyos.getenv(DASHSCOPE_API_KEY), base_urlhttps://dashscope.aliyuncs.com/compatible-mode/v1 ) resp client.chat.completions.create( modelqwen-plus, messages[ { role: system, content: ( 你是短视频编剧。请根据用户给出的主题输出分镜脚本。 必须使用 JSON 格式字段包括scene_id,shot_description,image_prompt,voiceover。 不要输出多余的文字。 ) }, { role: user, content: 主题一个程序员在深夜修复线上 Bug最终成功发布新版本。 } ], temperature0.7 ) content resp.choices[0].message.content print(content) # 尝试解析为 JSON try: data json.loads(content) print(分镜数量, len(data)) except json.JSONDecodeError as e: print(模型没有输出合法 JSON请检查提示词或增加 few-shot 示例。)这段代码有三个关键点。第一model 参数可以用qwen-turbo、qwen-plus、qwen-max。前两个更适合日常测试和成本敏感场景qwen-max 通常更聪明但价格也更高。第二system 消息中的“必须使用 JSON 格式”是一种约束技巧。虽然不能保证模型 100% 输出合法 JSON但配合 few-shot 示例后稳定性会明显提升。第三我在提示词里设计了image_prompt这个字段。它不是给用户看的而是给图像生成模型用的。先让文本模型生成一个适合图像模型的提示词再把它传给下一步是当前最实用的“文本到图像”协作方式。4.2 文本生成效果的验收标准文本生成好不好不要只凭感觉。建议用四个维度验收维度说明不达标的信号指令遵循度是否严格按 system 消息输出混入解释、忘记 JSON 格式结构化程度是否容易被程序解析JSON 解析失败、字段缺失内容相关性是否偏离用户主题稻草人、空泛套话可迁移性输出能否直接喂给下游模型image_prompt 太短、和镜头无关如果你发现模型的 JSON 输出不稳定常见的解决方案是在请求里多给一个输出示例也就是 few-shot。不要指望只靠一句“必须使用 JSON”就解决所有问题。5. 图像生成实测文生图的接入方式与提示词技巧文本模型生成分镜和 image_prompt 之后下一步就是图像生成。图像生成的核心任务是把上一步的文本提示词变成真正的画面。5.1 通过 DashScope 调用通义万相文生图DashScope SDK 提供了图像生成接口。下面是一个最小可运行的示例# 文件路径image_generation_demo.py import os import time import requests import dashscope from dashscope import ImageSynthesis dashscope.api_key os.getenv(DASHSCOPE_API_KEY) rsp ImageSynthesis.call( # 模型名称请以当前控制台可选列表为准 modelwanx2.1-t2i-turbo, prompt一位戴着眼镜的程序员坐在深夜办公室窗外是城市夜景屏幕发出蓝光电影感构图细节丰富, n1, size1024*1024 ) if rsp.status_code 200: # 不同版本的 SDK 返回字段会有差异通常输出中包含图片 URL print(rsp.output) else: print(生成失败, rsp.code, rsp.message)如果你不想写代码也可以直接在百炼控制台的图像生成页面测试模型效果。控制台的好处是能快速肉眼观察不同提示词带来的差异但要做批量处理或者接入业务系统最终还是要回到 API。5.2 提示词工程从一句话到高质量画面很多人用文生图模型时只会写“一只猫”然后抱怨效果一般。实际上图像模型的提示词质量直接决定了生成结果的可用性。一个有效的文生图提示词通常包含以下要素要素示例主体一个穿连帽卫衣的年轻程序员环境深夜办公室窗外城市霓虹构图电影感构图镜头从侧面拍摄光影屏幕冷光打在脸上窗外暖光对比风格写实风格细节丰富略带赛博朋克负面提示词模糊低分辨率多余手指变形如果你发现生成结果不够稳定还可以把上一步的文本模型利用起来让它自动扩写提示词。示例如下system_prompt ( 你是一个文生图提示词优化器。把用户的一句话扩展为三段式提示词 主体描述、环境氛围、风格参数。每一段控制在30字以内。 )这其实就是文本生成能力与图像生成能力的一种协作方式也是多模态工作流最基本的样貌。5.3 关于生成图片的水印与版权有一个问题我必须单独说网上经常有人搜“如何去除豆包生成图像里的水印”这类做法存在明显的版权和合规风险。如果你使用的是平台生成能力请先确认你是否有权对生成结果进行二次修改和商用。更稳妥的做法是使用有正规授权的官方 API 并保留生成记录或者选择明确允许商用的方案。不要把“去水印”当成默认操作这会让你在业务上线后承担不必要的风险。6. 视频生成实测异步任务与图像到视频工作流视频生成是三条链路里最“重”的一环也是很多开发者最容易踩坑的地方。6.1 视频生成的异步流程和文本生成不同视频生成几乎不会采用“同步请求直接返回文件”的模式。原因是视频生成的推理时间更长服务端通常会把任务放到队列里异步执行。你在代码里必须做三件事提交任务、轮询状态、获取结果。下面是一个异步任务流程的示意代码# 文件路径video_generation_demo.py示意代码具体请求体以官方文档为准 import os import time API_KEY os.getenv(DASHSCOPE_API_KEY) def submit_video_task(prompt, image_urlNone): 提交视频生成任务返回 task_id # 这里调用视频生成的创建任务接口传入模型名、提示词 # 如果模型支持图生视频可以把 image_url 作为首帧输入 # 实际代码中的请求 URL、请求体字段以百炼控制台当日文档为准 task_id create_video_task( api_keyAPI_KEY, modelwanx2.1-video, # 以控制台可选模型为准 promptprompt, image_urlimage_url ) return task_id def wait_video_result(task_id, timeout300): 轮询任务结果 start time.time() while time.time() - start timeout: status, result query_video_task(task_id) if status in (SUCCEEDED, FAILED): return status, result time.sleep(5) # 每次轮询间隔 5 秒避免频繁请求 raise TimeoutError(视频生成任务超时) # 第一步用上一节生成的图片作为首帧 task_id submit_video_task( prompt镜头缓慢推近屏幕上的代码逐渐变成烟花人物露出微笑, image_urlhttps://example.com/frame.png ) # 第二步等待结果 status, result wait_video_result(task_id) if status SUCCEEDED: print(视频生成成功, result.video_url) else: print(视频生成失败, result.message)这里必须强调代码里create_video_task和query_video_task是函数占位具体接口模型名和请求字段要以你开通服务时看到的官方文档为准。原因是视频生成接口演进速度太快一个具体的 model 名字可能几周后就变了。如果你不想在第一步就写这些异步代码可以直接去百炼控制台的视频生成页面体验。控制台提交时已经帮你处理了任务状态你在页面上能看到“排队中”“生成中”“已完成”等状态这能帮助你建立对视频生成流程的直观认识。6.2 从“文本到视频”还是“图片到视频”视频生成有两种常见输入方式务必区分清楚。输入方式工作流优势劣势文本到视频prompt 直接生成视频上手最快无需前期图片画面可控性较弱图片到视频首帧图片 prompt角色和场景更一致需要先产出高质量图片在实际的短剧生产链路里我更推荐“图片到视频”。因为文本直接生成视频时画面里的角色长相、服装、环境风格经常在镜头切换时“漂移”。如果你先用图像生成一个稳定角色再让视频模型以这张图作为首帧角色一致性问题会改善很多。6.3 视频生成最容易遇到的问题根据社区反馈视频生成最常见的两个问题是“视频只有 1 秒”和“动作不一致”。这两个问题往往不是单纯某个模型的缺陷而是参数配置和使用方式的问题。“只有 1 秒”通常意味着你使用的档位或配额限制了视频时长或者免费额度只允许生成极短视频。解决办法是检查任务参数里有没有 duration、frame_count 这类配置以及当前账号是否有更高档位的权限。“动作不一致”则更多来自提示词描述不够具体。比如你写“一个人走进房间”模型不知道这个人长什么样、穿什么衣服、镜头怎么运动。更好的描述是“一个穿黑色卫衣的年轻男人从画面左侧走入房间镜头缓慢跟随房间灯光为暖黄色”。提供足够多锚点模型才能保持动作连贯性。7. 常见问题与排查思路把三条链路放在一起看我整理了一份高频问题和排查清单建议收藏备用。问题现象可能原因排查方式解决方案文本接口返回 InvalidApiKeyAPI Key 错误或未开通对应模型检查环境变量、控制台密钥是否复制完整重新生成 API Key确认模型已开通调用报错 429 或配额超限免费额度用完查看控制台配额和账单更换更低成本的模型或购买正式套餐图像生成提示模型不存在模型名称过时到控制台查看当前可选模型列表替换为新模型名以控制台为准视频生成任务一直排队高峰期算力紧张查询任务状态和排队信息错峰调用或调整生成参数生成视频只有 1 秒默认档位限制视频时长检查 duration/frame_count 参数使用支持更长时长的档位或服务生成视频动作不一致提示词缺乏角色/镜头锚点重看首帧和 prompt 描述使用图片到视频锁定首帧本地 ComfyUI 生成视频失败依赖冲突、显存不足、模型版本不匹配查看完整日志和依赖树升级驱动、降低分辨率、统一依赖版本生成图片带水印或版权不明确平台默认机制或授权范围限制阅读平台版权说明通过官方 API 合规接入不要滥用“去水印”这里特别说明一下 ComfyUI。它本身是一个本地开源工作流工具适合希望把生成流程完全掌控在自己手里的团队。它的优势是可控性强、可以任意组合节点缺点是需要自己维护环境、模型和显存。热词里能看到大量“ComfyUI 生成视频”的讨论说明这条路径已经有很多人在尝试。但如果你是为了快速上线业务云 API 的稳定性会更高。8. 最佳实践与工程建议跑通三条链路只是第一步。真正让这套多模态 AI 能力产生业务价值需要从工程角度做几件事。8.1 提示词模板与参数管理不要把你的提示词散落在业务代码里。建议把提示词模板统一维护在一个目录或配置中心。例如templates/ ├── text_scene_generation.txt ├── image_prompt_expand.txt └── video_motion_prompt.txt模板内部可以使用变量占位运行时替换参数。这样当模型提示词策略迭代时你只需要改模板不需要改代码。8.2 异步任务管理是生产级视频应用的地基视频生成是异步任务这意味着生产环境必须考虑三件事任务持久化、幂等重试、状态回调。你在数据库里建一张任务表记录 prompt、任务状态、task_id、结果 URL 和错误信息。提交任务后用一个后台 Worker 持续轮询未完成任务更新状态。用户端只需要查询任务表即可了解进度。8.3 成本控制策略通义千问文本模型里qwen-turbo 的成本通常低于 qwen-max适合做结构化和格式化任务。图像和视频生成的成本相对更高所以一定要做预算控制。常见做法是批量任务预估每日调用量设置预算告警。对同一个生成结果做缓存避免重复调用。文本扩写提示词时严格控制输出长度减少 token 消耗。免费额度只用于测试和技术验证不要压在生产链路上。8.4 内容安全与审核多模态生成的内容安全风险比纯文本更高。无论是文本、图片还是视频都应该在交付用户之前过一道审核。平台侧通常有自己的安全审核机制但业务侧也不能完全依赖平台。建议在调用之前加入敏感词过滤和业务规则校验在调用之后加入人工抽检机制。内容审核不是可选项是生产上线的必要条件。8.5 技术选型云 API 与本地工作流的取舍最后说一个架构层面的建议。如果你的团队已经有较强的工程能力和 GPU 资源ComfyUI 加上开源视频模型是可选路径。它的优势是数据不出内网、不按调用次数付费适合高频、大规模、场景固定的生成任务。而如果你追求上线速度和稳定性通义千问这类云 API 更适合。特别是在多模态能力快速迭代的阶段云平台会替你维护模型版本和算力资源你只需要跟着控制台更新模型名即可。两者也可以混合使用文本走云 API图片和视频在本地工作流执行。关键是画清边界别让一条链路里的不确定性扩散到整个系统。9. 总结与下一步实践方向这篇文章围绕通义千问多模态能力拆开了文本生成、图像生成、视频生成三条链路并给了可以直接运行的示例代码和验收标准。核心判断有三个。第一多模态 AI 的价值不是单个模型有多强而是你能不能在文本、图像、视频之间建立起一条可复用的生成链路。第二免费配额适合做验证和测试但生产环境必须做好成本预估和任务管理。第三视频生成的成功率很大程度上取决于前期工作流是否扎实——首帧图片、提示词锚点、异步任务轮询每一步都不能省。如果你今天只做一件事建议先把文末最小文本示例跑通然后试试用文本模型生成一段结构化分镜再用控制台把其中一帧图片生成出来。等你感受到“文本生成 → 图像生成”的联动再考虑把视频生成接进来。后续值得深入的方向包括多模态输出质量的自动化评测、视频生成任务的高并发调度、以及基于 ComfyUI 的本地工作流和云 API 的混合架构。通义千问的多模态能力还在快速迭代与其等到工具完全成熟再进场不如现在就把你自己的“文本 图像 视频”链路跑起来积累起真正属于这个时代的工程经验。