一、阿里百炼平台是什么核心定位阿里云百炼Model Studio是阿里云推出的一站式企业级大模型与多模态AI开发平台是阿里云承载「云AI」战略的核心载体面向个人开发者、中小企业、大型企业提供从模型调用、微调、RAG知识库、智能体搭建到多模态内容生成的全链路托管能力。区别于单一对话大模型百炼不只是一个模型而是一整套AI应用生产工具平台兼容通义千问全系模型同时接入DeepSeek、GLM、Yi等上百款第三方优质模型支持文本、图像、语音、视频全模态生成与理解是目前国内生态最开放、落地成本最低的商用多模态AI平台之一。二、百炼平台诞生背景与发展历程2.1 诞生背景在大模型爆发初期企业和开发者落地AI普遍面临三大痛点1、模型碎片化文本、图片、语音、视频模型分属不同厂商接入接口、SDK、鉴权规则完全不统一开发成本极高2、落地门槛高私有化部署、算力适配、模型微调、业务集成需要极强的AI专业能力传统业务开发团队无法快速上手3、生态封闭、选型受限单一厂商模型能力固化无法根据业务场景灵活替换最优模型难以适配复杂多模态业务。基于以上行业痛点阿里云依托自身云计算底座与通义大模型技术积累推出百炼一站式大模型平台核心目标统一多模态AI入口降低企业AI落地门槛打造AI时代的“安卓生态”让开发者像搭积木一样快速搭建AI应用。2.2 关键发展迭代历程2023年10月百炼平台正式上线初期主打通义千问文本大模型能力提供基础对话、文本生成、向量检索、简单RAG能力聚焦企业文本AI场景落地补齐阿里云大模型商用短板。2024年中百炼2.0 全面生态升级从单一模型服务升级为全链路AI应用平台开放第三方模型生态兼容LlamaIndex等开源框架5-10行代码即可快速搭建RAG应用同时初步落地图像、语音多模态能力平台客户数实现翻倍增长。2025年全模态能力成熟 智能体生态完善全面补齐文生图、文生语音、文生视频、多模态理解全场景能力迭代Qwen3系列旗舰模型强化Agent自主规划、工具调用能力同时开放低代码可视化搭建、全托管部署覆盖个人创作、企业业务智能化、AI内容生产全场景。2.3 平台核心优势全模态统一入口文本、图片、语音、视频能力一站式调用统一鉴权、统一SDK、统一接口规范极致低门槛支持在线可视化调试、零代码应用搭建、极简API接入新手也能快速落地生态开放兼容自研模型第三方主流模型全覆盖支持灵活选型、无感切换云原生稳定可靠依托阿里云算力底座高并发、低延迟、数据合规可控支持企业私有化部署成本可控新用户赠送免费额度按量计费多场景轻量化模型性价比极高。三、百炼多模态核心能力总览多模态AI核心是打破单一文本限制实现文字、图片、语音、视频的相互转化与理解。百炼平台目前成熟落地四大核心多模态能力也是开发者最常用的入门场景文生图文字描述生成高清图片、海报、插画、设计图文生语音文字一键合成自然人声、播报音、配音文生视频文本描述自动生成短视频、动画、创意视频多模态理解图生文、音视频解析、图文问答、内容识别。四、核心能力一百炼文生图通义万相入门4.1 能力原理百炼文生图基于通义万相大模型通过AI扩散模型算法解析用户输入的自然语言提示词理解画面主体、风格、构图、光影、分辨率等需求自动生成符合描述的高清图像同时支持图生图、风格迁移、局部重绘、高清放大。4.2 适用场景新媒体配图、海报banner、营销素材自动生成插画、动漫、古风、写实创意绘图产品设计草图、UI素材、场景效果图快速生成自媒体、短视频封面批量制作。4.3 核心可配置参数入门必懂prompt正向提示词画面详细描述包含主体、风格、分辨率、光影、构图negative_prompt反向提示词规避模糊、畸形、低画质、水印等问题size分辨率支持512*512、720*1280、1024*1024等主流尺寸style风格写实、动漫、古风、油画、极简、赛博朋克等num_images单次生成图片数量批量出图提升效率。4.4 优缺点总结✅ 优点中文理解极强、适配国内审美、出图速度快、无版权风险、支持批量生成、参数简单易上手❌ 缺点极致精细的工业设计图、超写实专业素材略逊于海外顶级模型复杂构图细节偶有瑕疵。五、核心能力二百炼文生语音入门5.1 能力原理百炼文生语音TTS语音合成基于通义语音大模型通过深度学习语音建模将自然语言文本精准转换为自然人声模拟真人的语调、语速、停顿、情感支持多音色、多语种、情感调节解决传统机械AI配音生硬、无感情的问题。5.2 适用场景短视频配音、有声书、新闻播报、课件配音智能客服语音播报、设备语音提示批量文本转语音、自媒体内容配音多语种语音合成、方言配音。5.3 核心可配置参数voice音色官方内置数十种真人音色温柔、沉稳、童声、新闻播报等speed语速0.5-2倍语速自由调节pitch音调高低音调微调适配不同场景volume音量输出音量大小控制format音频格式MP3、WAV等通用格式直接落地使用。5.4 优缺点总结✅ 优点中文适配度极高、人声自然无机械感、支持长文本无损合成、批量生成速度快、免费额度充足❌ 缺点极致个性化情感演绎、小众方言音色覆盖有限。六、核心能力三百炼文生视频入门6.1 能力原理百炼文生视频基于通义万相视频生成模型属于高阶多模态生成能力。模型通过文本理解时序画面生成技术根据文字描述自动生成连续、流畅、逻辑连贯的短视频完成画面构图、镜头切换、动态效果、帧间过渡全自动化生成无需剪辑、拍摄、建模。不同于图片生成视频生成需要保证帧间连贯性、动态合理性、画面稳定性技术门槛远高于图文生成百炼平台已实现标准化商用落地。6.2 适用场景短视频创意成片、AI动画、剧情短片自动生成产品宣传短片、科普视频、创意素材批量制作自媒体快速出片、图文转动态视频低门槛动画、虚拟场景视频生成。6.3 核心调用特点与参数文生视频属于异步任务视频生成耗时较长无法秒回标准调用流程提交任务 → 轮询查询状态 → 生成完成下载视频。prompt文本描述视频主体、动态效果、镜头、风格、时长duration视频时长支持自定义短视频时长resolution分辨率720P、1080P高清输出ratio画面比例16:9、9:16竖屏、1:1方形适配短视频场景。6.4 优缺点总结✅ 优点中文prompt适配好、画面流畅无闪烁、动态逻辑合理、操作极简、零剪辑成本适合快速创意出片❌ 缺点长视频、复杂多镜头、真人精细动作生成效果有限适合创意短视频场景不替代专业影视制作。七、百炼多模态统一入门流程新手通用所有图文、语音、视频多模态能力统一遵循以下入门步骤一套流程通吃所有场景7.1 前置准备注册阿里云账号开通【百炼大模型服务平台】进入密钥管理获取 API-KEY统一鉴权密钥所有多模态能力通用开通免费额度新手可零成本测试所有多模态能力。7.2 两种接入方式1、在线可视化调试新手首选平台内置在线编辑器输入提示词即可一键生成图文音视频无需写代码快速验证效果2、API/SDK代码接入商用落地首选支持Java、Python、SpringAI Alibaba等主流开发方式极简代码即可集成到自有系统、小程序、网站、后台。7.3 落地选型建议简单创作、测试效果用在线可视化功能业务集成、批量生成、商用上线用SDK/API异步调用简单图文语音同步调用长视频、高清大图异步任务调用。八、全文总结1、阿里百炼是阿里云战略级一站式多模态AI开发平台从单一文本模型迭代为图文音视频全覆盖的全场景AI应用平台主打低门槛、开放生态、云原生稳定落地2、文生图适合创意视觉素材批量生成性价比高、中文适配强3、文生语音主打自然真人配音解决传统AI配音生硬问题适配全场景配音需求4、文生视频是高阶多模态能力异步生成、零剪辑成本适合短视频创意落地5、百炼平台最大的核心价值统一多模态入口一套密钥、一套开发规范搞定所有AI内容生成场景是个人学习、企业多模态AI落地的最优国产方案之一。九、百炼多模态 最简Java实战代码可直接运行本节基于Spring AI Alibaba 官方 Starter实现适配 SpringBoot3 主流工程提供文生图、文生语音、文生视频全套最简可落地代码统一鉴权、统一接入规范新手直接复制即可测试使用。9.1 前置依赖与全局配置9.1.1 Maven 核心依赖该版本与springboot3.5.x适配要根据springboot版本选择对应适配的版本否则会有兼容版本异常!-- Spring AI 阿里云百炼核心依赖 -- dependency groupIdcom.alibaba.cloud.ai/groupId artifactIdspring-ai-alibaba-starter/artifactId version1.1.2.2/version /dependency9.1.2 application.yml 统一配置spring: ai: alibaba: api-key: ${BAILIAN_API_KEY} # 百炼平台密钥环境变量配置 base-url: https://{改成你自己的word空间Id}-beijing.maas.aliyuncs.com # 【文生图专用】切换qwen同步接口消除X-DashScope-Async异步头403报错使用的文生图属于同步调用要设定对应的endpoint默认为异步调用api会返回不支持异步调用错误 image-endpoint: /services/aigc/image-generation/generation9.2 文生图通义万相最简Java代码同步调用支持自定义尺寸、风格、反向提示词返回可直接访问的图片URL适合批量生成配图、海报素材。import com.alibaba.cloud.ai.model.QwenImageModel; import com.alibaba.cloud.ai.model.QwenImageOptions; import org.springframework.ai.image.ImagePrompt; import org.springframework.ai.image.ImageResponse; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import javax.annotation.Resource; /** * 阿里百炼 - 文生图千问接口 * 能力通过文本描述生成高清图片同步调用适合实时图片生成场景 */ RestController public class BaiLianImageController { /** * SpringAI Alibaba 自动装配文生图模型Bean * 无需手动new、无需手动拼接请求头、鉴权参数框架自动完成初始化与鉴权 */ Resource private DashScopeImageModel qwenImageModel; /** * 文生图统一接口 * param prompt 用户输入的画面描述提示词主体、风格、场景等 * return 生成完成的高清图片在线URL可直接浏览器访问、前端渲染、下载 */ GetMapping(/bailian/text2image) public String text2Image(RequestParam String prompt) { // 构建文生图自定义参数配置类 DashScopeImageOptions options DashScopeImageOptions.builder() // 生成图片分辨率1024*1024 高清正方形尺寸 .width(1024) .height(1024) // 图片风格photorealistic 写实高清风格 .style(photography) // 单次生成图片数量1张 .n(1) .promptExtend(true) .build(); // 组装AI请求用户提示词 自定义模型参数 ImagePrompt imagePrompt new ImagePrompt(prompt,options); // 发起远程API调用同步阻塞等待图片生成完成 ImageResponse response imageModel.call(imagePrompt); // 解析返回结果获取最终图片在线地址 return response.getResult().getOutput().getUrl(); } }9.3 文生语音TTS最简Java代码同步语音合成支持自定义音色、语速、音量直接返回MP3音频字节流可用于前端播放、本地保存。import com.alibaba.cloud.ai.dashscope.audio.tts.DashScopeAudioSpeechModel; import com.alibaba.cloud.ai.model.QwenTtsOptions; import org.springframework.ai.audio.AudioPrompt; import org.springframework.ai.audio.AudioResponse; import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import javax.annotation.Resource; /** * 阿里百炼 - 文生语音TTS语音合成接口 * 能力文本转自然人声配音同步调用返回音频字节流 * 适用短视频配音、有声书、智能播报、批量文本转语音场景 */ RestController public class BaiLianTtsController { /** * SpringAI 自动注入语音合成模型实例 * 自动加载yml配置的API密钥统一鉴权 */ Resource private DashScopeAudioSpeechModel qwenTtsModel; /** * 文本转语音接口 * produces 设置返回流格式告知浏览器为二进制文件流支持直接播放/下载 * param content 需要合成语音的文本内容 * return MP3格式音频字节数组前端可直接播放或保存为本地文件 */ GetMapping(value /bailian/text2audio, produces MediaType.APPLICATION_OCTET_STREAM_VALUE) public byte[] text2Audio(RequestParam String content) { // 构建语音合成自定义参数 DashScopeAudioSpeechOptions options DashScopeAudioSpeechOptions.builder() .model(cosyvoice-v3-flash)//设置对应的模型 .voice(longanyang) // 音色青青女声 .speed(1.0) // 语速 0.5~2.0 .volume(5) // 音量 0~10 .sampleRate(24000) // 采样率 .format(mp3) // 输出格式 mp3/wav .build(); // 组装语音合成请求参数文本内容 音色语速配置 TextToSpeechPrompt speechPrompt new TextToSpeechPrompt(text, options); // 调用百炼TTS模型执行文本转语音 FluxTextToSpeechResponse flux speechModel.stream(speechPrompt); // 用来累积所有音频分片 ByteArrayOutputStream baos new ByteArrayOutputStream(); flux.subscribe(resp - { if(resp.getResult()!null resp.getResult().getOutput()!null resp.getResult().getOutput()!null){ byte[] chunk resp.getResult().getOutput(); System.out.println(收到音频分片长度:{}chunk.length); baos.writeBytes(chunk); } }, err-{ System.out.println(流式TTS异常); err.printStackTrace(); }, ()-{ System.out.println(流式合成全部完成); } ); // 返回音频二进制字节流 return baos.toByteArray; } }9.4 文生视频 最简Java代码异步任务文生视频为耗时异步任务采用「提交任务-轮询结果」标准流程支持自定义时长、分辨率、画面比例适配短视频生成场景。import com.alibaba.cloud.ai.dashscope.video.DashScopeVideoModel; import com.alibaba.cloud.ai.dashscope.video.DashScopeVideoOptions; import com.alibaba.cloud.ai.dashscope.video.VideoMessage; import com.alibaba.cloud.ai.dashscope.video.VideoPrompt; import com.alibaba.cloud.ai.dashscope.video.VideoResponse; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import javax.annotation.Resource; import java.util.Map; /** * 阿里百炼 - 文生视频接口 * 核心说明视频生成为高耗时异步任务不支持同步秒回 * 标准流程提交生成任务 获取任务ID 轮询查询任务状态 获取视频URL */ RestController public class BaiLianVideoController { /** * 自动注入通义万相视频生成模型实例 * 统一复用全局API密钥配置 */ Resource private DashScopeVideoModel qwenVideoModel; /** * 提交文生视频生成任务 * param prompt 视频画面描述、动态效果、风格文案 * return 视频任务ID用于后续轮询查询生成结果 */ GetMapping(/bailian/text2video/submit) public String submitVideoTask(RequestParam String prompt) { // 构建视频生成自定义参数 // 1. 待合成文本 ListVideoMessage videoMessages new ArrayList(); VideoMessage videoMessage new VideoMessage(一个小朋友在荡秋千); videoMessages.add(videoMessage); // 2. 视频参数配置 // ✅手动构建 InputOptions 底层调用该方法获取对应的描述videoMessage目前实测没使用到里面的描述 DashScopeVideoOptions.InputOptions inputOptions DashScopeVideoOptions.InputOptions.builder() .prompt(一个小朋友在林间小溪边嬉戏水珠在太阳光的照射下形成一道漂亮的彩虹) .build(); // 构建参数对象 DashScopeVideoOptions.ParametersOptions parameters DashScopeVideoOptions.ParametersOptions.builder() .duration(5) .size(1280*720) .build(); DashScopeVideoOptions options DashScopeVideoOptions.builder() .model(wan2.7-t2v) // wanx2.1‑t2v‑plus / wanx2.1‑t2v‑turbo .parameters(parameters) .input(inputOptions) .build(); VideoPrompt videoPrompt new VideoPrompt(videoMessages, options); System.out.println(videoPrompt.getOptions()); // 提交任务异步立刻返回taskId视频并未生成完毕ai封装成同步请求重试间隔过后会报异常实际已经请求成功 VideoResponse response videoModel.call(videoPrompt); log.info(提交返回{}, response); String taskId response.getResult().getOutput().taskId(); log.info(taskId{}, taskId); // 提取并返回任务唯一ID return 任务ID taskId; } /** * 根据任务ID查询视频生成结果 * param taskId 提交任务时返回的唯一任务ID * return 状态信息 视频URL生成成功返回链接生成中返回处理状态 */ GetMapping(/bailian/video/query) public MapString, String queryVideoTask(RequestParam String taskId) { // 根据任务ID查询云端任务进度与结果 RestClient restClient RestClient.create(); String url https://{改成你自己的业务空间id}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/ taskId; String json restClient.get() .uri(url) .header(Authorization, Bearer dashScopeApiKey) .retrieve() .body(String.class); if (SUCCEEDED.equals(status)) { videoUrl node.at(/output/video_url).asText(); return Map.of(status, success, videoUrl, videoUrl); } if (FAILED.equals(status)) { String errMsg node.at(/output/error_message).asText(); return Map.of(status, processing, msg, 视频生成失败失败原因errMsg); } return Map.of(status, processing, msg, 视频生成中请稍后重试); } }9.5 代码落地核心注意事项密钥安全严禁代码硬编码API_KEY统一通过环境变量、配置中心注入避免密钥泄露调用方式区分图文语音为同步调用适合实时场景视频必须异步轮询避免接口超时参数调优商用场景需根据业务调整分辨率、时长、风格参数平衡效果与计费成本异常兜底生产环境需补充限流、重试、异常捕获、任务超时清理逻辑。9.6 多模态代码选型总结三套代码完全适配前文多模态能力体系依托SpringAI Alibaba自动装配特性零冗余配置、极简接入个人学习可快速验证效果企业项目可直接在此基础上迭代扩展实现多模态AI业务的快速落地。 阿里百炼平台（文生图，文生语音，文生视频）
一、阿里百炼平台是什么核心定位阿里云百炼Model Studio是阿里云推出的一站式企业级大模型与多模态AI开发平台是阿里云承载「云AI」战略的核心载体面向个人开发者、中小企业、大型企业提供从模型调用、微调、RAG知识库、智能体搭建到多模态内容生成的全链路托管能力。区别于单一对话大模型百炼不只是一个模型而是一整套AI应用生产工具平台兼容通义千问全系模型同时接入DeepSeek、GLM、Yi等上百款第三方优质模型支持文本、图像、语音、视频全模态生成与理解是目前国内生态最开放、落地成本最低的商用多模态AI平台之一。二、百炼平台诞生背景与发展历程2.1 诞生背景在大模型爆发初期企业和开发者落地AI普遍面临三大痛点1、模型碎片化文本、图片、语音、视频模型分属不同厂商接入接口、SDK、鉴权规则完全不统一开发成本极高2、落地门槛高私有化部署、算力适配、模型微调、业务集成需要极强的AI专业能力传统业务开发团队无法快速上手3、生态封闭、选型受限单一厂商模型能力固化无法根据业务场景灵活替换最优模型难以适配复杂多模态业务。基于以上行业痛点阿里云依托自身云计算底座与通义大模型技术积累推出百炼一站式大模型平台核心目标统一多模态AI入口降低企业AI落地门槛打造AI时代的“安卓生态”让开发者像搭积木一样快速搭建AI应用。2.2 关键发展迭代历程2023年10月百炼平台正式上线初期主打通义千问文本大模型能力提供基础对话、文本生成、向量检索、简单RAG能力聚焦企业文本AI场景落地补齐阿里云大模型商用短板。2024年中百炼2.0 全面生态升级从单一模型服务升级为全链路AI应用平台开放第三方模型生态兼容LlamaIndex等开源框架5-10行代码即可快速搭建RAG应用同时初步落地图像、语音多模态能力平台客户数实现翻倍增长。2025年全模态能力成熟 智能体生态完善全面补齐文生图、文生语音、文生视频、多模态理解全场景能力迭代Qwen3系列旗舰模型强化Agent自主规划、工具调用能力同时开放低代码可视化搭建、全托管部署覆盖个人创作、企业业务智能化、AI内容生产全场景。2.3 平台核心优势全模态统一入口文本、图片、语音、视频能力一站式调用统一鉴权、统一SDK、统一接口规范极致低门槛支持在线可视化调试、零代码应用搭建、极简API接入新手也能快速落地生态开放兼容自研模型第三方主流模型全覆盖支持灵活选型、无感切换云原生稳定可靠依托阿里云算力底座高并发、低延迟、数据合规可控支持企业私有化部署成本可控新用户赠送免费额度按量计费多场景轻量化模型性价比极高。三、百炼多模态核心能力总览多模态AI核心是打破单一文本限制实现文字、图片、语音、视频的相互转化与理解。百炼平台目前成熟落地四大核心多模态能力也是开发者最常用的入门场景文生图文字描述生成高清图片、海报、插画、设计图文生语音文字一键合成自然人声、播报音、配音文生视频文本描述自动生成短视频、动画、创意视频多模态理解图生文、音视频解析、图文问答、内容识别。四、核心能力一百炼文生图通义万相入门4.1 能力原理百炼文生图基于通义万相大模型通过AI扩散模型算法解析用户输入的自然语言提示词理解画面主体、风格、构图、光影、分辨率等需求自动生成符合描述的高清图像同时支持图生图、风格迁移、局部重绘、高清放大。4.2 适用场景新媒体配图、海报banner、营销素材自动生成插画、动漫、古风、写实创意绘图产品设计草图、UI素材、场景效果图快速生成自媒体、短视频封面批量制作。4.3 核心可配置参数入门必懂prompt正向提示词画面详细描述包含主体、风格、分辨率、光影、构图negative_prompt反向提示词规避模糊、畸形、低画质、水印等问题size分辨率支持512*512、720*1280、1024*1024等主流尺寸style风格写实、动漫、古风、油画、极简、赛博朋克等num_images单次生成图片数量批量出图提升效率。4.4 优缺点总结✅ 优点中文理解极强、适配国内审美、出图速度快、无版权风险、支持批量生成、参数简单易上手❌ 缺点极致精细的工业设计图、超写实专业素材略逊于海外顶级模型复杂构图细节偶有瑕疵。五、核心能力二百炼文生语音入门5.1 能力原理百炼文生语音TTS语音合成基于通义语音大模型通过深度学习语音建模将自然语言文本精准转换为自然人声模拟真人的语调、语速、停顿、情感支持多音色、多语种、情感调节解决传统机械AI配音生硬、无感情的问题。5.2 适用场景短视频配音、有声书、新闻播报、课件配音智能客服语音播报、设备语音提示批量文本转语音、自媒体内容配音多语种语音合成、方言配音。5.3 核心可配置参数voice音色官方内置数十种真人音色温柔、沉稳、童声、新闻播报等speed语速0.5-2倍语速自由调节pitch音调高低音调微调适配不同场景volume音量输出音量大小控制format音频格式MP3、WAV等通用格式直接落地使用。5.4 优缺点总结✅ 优点中文适配度极高、人声自然无机械感、支持长文本无损合成、批量生成速度快、免费额度充足❌ 缺点极致个性化情感演绎、小众方言音色覆盖有限。六、核心能力三百炼文生视频入门6.1 能力原理百炼文生视频基于通义万相视频生成模型属于高阶多模态生成能力。模型通过文本理解时序画面生成技术根据文字描述自动生成连续、流畅、逻辑连贯的短视频完成画面构图、镜头切换、动态效果、帧间过渡全自动化生成无需剪辑、拍摄、建模。不同于图片生成视频生成需要保证帧间连贯性、动态合理性、画面稳定性技术门槛远高于图文生成百炼平台已实现标准化商用落地。6.2 适用场景短视频创意成片、AI动画、剧情短片自动生成产品宣传短片、科普视频、创意素材批量制作自媒体快速出片、图文转动态视频低门槛动画、虚拟场景视频生成。6.3 核心调用特点与参数文生视频属于异步任务视频生成耗时较长无法秒回标准调用流程提交任务 → 轮询查询状态 → 生成完成下载视频。prompt文本描述视频主体、动态效果、镜头、风格、时长duration视频时长支持自定义短视频时长resolution分辨率720P、1080P高清输出ratio画面比例16:9、9:16竖屏、1:1方形适配短视频场景。6.4 优缺点总结✅ 优点中文prompt适配好、画面流畅无闪烁、动态逻辑合理、操作极简、零剪辑成本适合快速创意出片❌ 缺点长视频、复杂多镜头、真人精细动作生成效果有限适合创意短视频场景不替代专业影视制作。七、百炼多模态统一入门流程新手通用所有图文、语音、视频多模态能力统一遵循以下入门步骤一套流程通吃所有场景7.1 前置准备注册阿里云账号开通【百炼大模型服务平台】进入密钥管理获取 API-KEY统一鉴权密钥所有多模态能力通用开通免费额度新手可零成本测试所有多模态能力。7.2 两种接入方式1、在线可视化调试新手首选平台内置在线编辑器输入提示词即可一键生成图文音视频无需写代码快速验证效果2、API/SDK代码接入商用落地首选支持Java、Python、SpringAI Alibaba等主流开发方式极简代码即可集成到自有系统、小程序、网站、后台。7.3 落地选型建议简单创作、测试效果用在线可视化功能业务集成、批量生成、商用上线用SDK/API异步调用简单图文语音同步调用长视频、高清大图异步任务调用。八、全文总结1、阿里百炼是阿里云战略级一站式多模态AI开发平台从单一文本模型迭代为图文音视频全覆盖的全场景AI应用平台主打低门槛、开放生态、云原生稳定落地2、文生图适合创意视觉素材批量生成性价比高、中文适配强3、文生语音主打自然真人配音解决传统AI配音生硬问题适配全场景配音需求4、文生视频是高阶多模态能力异步生成、零剪辑成本适合短视频创意落地5、百炼平台最大的核心价值统一多模态入口一套密钥、一套开发规范搞定所有AI内容生成场景是个人学习、企业多模态AI落地的最优国产方案之一。九、百炼多模态 最简Java实战代码可直接运行本节基于Spring AI Alibaba 官方 Starter实现适配 SpringBoot3 主流工程提供文生图、文生语音、文生视频全套最简可落地代码统一鉴权、统一接入规范新手直接复制即可测试使用。9.1 前置依赖与全局配置9.1.1 Maven 核心依赖该版本与springboot3.5.x适配要根据springboot版本选择对应适配的版本否则会有兼容版本异常!-- Spring AI 阿里云百炼核心依赖 -- dependency groupIdcom.alibaba.cloud.ai/groupId artifactIdspring-ai-alibaba-starter/artifactId version1.1.2.2/version /dependency9.1.2 application.yml 统一配置spring: ai: alibaba: api-key: ${BAILIAN_API_KEY} # 百炼平台密钥环境变量配置 base-url: https://{改成你自己的word空间Id}-beijing.maas.aliyuncs.com # 【文生图专用】切换qwen同步接口消除X-DashScope-Async异步头403报错使用的文生图属于同步调用要设定对应的endpoint默认为异步调用api会返回不支持异步调用错误 image-endpoint: /services/aigc/image-generation/generation9.2 文生图通义万相最简Java代码同步调用支持自定义尺寸、风格、反向提示词返回可直接访问的图片URL适合批量生成配图、海报素材。import com.alibaba.cloud.ai.model.QwenImageModel; import com.alibaba.cloud.ai.model.QwenImageOptions; import org.springframework.ai.image.ImagePrompt; import org.springframework.ai.image.ImageResponse; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import javax.annotation.Resource; /** * 阿里百炼 - 文生图千问接口 * 能力通过文本描述生成高清图片同步调用适合实时图片生成场景 */ RestController public class BaiLianImageController { /** * SpringAI Alibaba 自动装配文生图模型Bean * 无需手动new、无需手动拼接请求头、鉴权参数框架自动完成初始化与鉴权 */ Resource private DashScopeImageModel qwenImageModel; /** * 文生图统一接口 * param prompt 用户输入的画面描述提示词主体、风格、场景等 * return 生成完成的高清图片在线URL可直接浏览器访问、前端渲染、下载 */ GetMapping(/bailian/text2image) public String text2Image(RequestParam String prompt) { // 构建文生图自定义参数配置类 DashScopeImageOptions options DashScopeImageOptions.builder() // 生成图片分辨率1024*1024 高清正方形尺寸 .width(1024) .height(1024) // 图片风格photorealistic 写实高清风格 .style(photography) // 单次生成图片数量1张 .n(1) .promptExtend(true) .build(); // 组装AI请求用户提示词 自定义模型参数 ImagePrompt imagePrompt new ImagePrompt(prompt,options); // 发起远程API调用同步阻塞等待图片生成完成 ImageResponse response imageModel.call(imagePrompt); // 解析返回结果获取最终图片在线地址 return response.getResult().getOutput().getUrl(); } }9.3 文生语音TTS最简Java代码同步语音合成支持自定义音色、语速、音量直接返回MP3音频字节流可用于前端播放、本地保存。import com.alibaba.cloud.ai.dashscope.audio.tts.DashScopeAudioSpeechModel; import com.alibaba.cloud.ai.model.QwenTtsOptions; import org.springframework.ai.audio.AudioPrompt; import org.springframework.ai.audio.AudioResponse; import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import javax.annotation.Resource; /** * 阿里百炼 - 文生语音TTS语音合成接口 * 能力文本转自然人声配音同步调用返回音频字节流 * 适用短视频配音、有声书、智能播报、批量文本转语音场景 */ RestController public class BaiLianTtsController { /** * SpringAI 自动注入语音合成模型实例 * 自动加载yml配置的API密钥统一鉴权 */ Resource private DashScopeAudioSpeechModel qwenTtsModel; /** * 文本转语音接口 * produces 设置返回流格式告知浏览器为二进制文件流支持直接播放/下载 * param content 需要合成语音的文本内容 * return MP3格式音频字节数组前端可直接播放或保存为本地文件 */ GetMapping(value /bailian/text2audio, produces MediaType.APPLICATION_OCTET_STREAM_VALUE) public byte[] text2Audio(RequestParam String content) { // 构建语音合成自定义参数 DashScopeAudioSpeechOptions options DashScopeAudioSpeechOptions.builder() .model(cosyvoice-v3-flash)//设置对应的模型 .voice(longanyang) // 音色青青女声 .speed(1.0) // 语速 0.5~2.0 .volume(5) // 音量 0~10 .sampleRate(24000) // 采样率 .format(mp3) // 输出格式 mp3/wav .build(); // 组装语音合成请求参数文本内容 音色语速配置 TextToSpeechPrompt speechPrompt new TextToSpeechPrompt(text, options); // 调用百炼TTS模型执行文本转语音 FluxTextToSpeechResponse flux speechModel.stream(speechPrompt); // 用来累积所有音频分片 ByteArrayOutputStream baos new ByteArrayOutputStream(); flux.subscribe(resp - { if(resp.getResult()!null resp.getResult().getOutput()!null resp.getResult().getOutput()!null){ byte[] chunk resp.getResult().getOutput(); System.out.println(收到音频分片长度:{}chunk.length); baos.writeBytes(chunk); } }, err-{ System.out.println(流式TTS异常); err.printStackTrace(); }, ()-{ System.out.println(流式合成全部完成); } ); // 返回音频二进制字节流 return baos.toByteArray; } }9.4 文生视频 最简Java代码异步任务文生视频为耗时异步任务采用「提交任务-轮询结果」标准流程支持自定义时长、分辨率、画面比例适配短视频生成场景。import com.alibaba.cloud.ai.dashscope.video.DashScopeVideoModel; import com.alibaba.cloud.ai.dashscope.video.DashScopeVideoOptions; import com.alibaba.cloud.ai.dashscope.video.VideoMessage; import com.alibaba.cloud.ai.dashscope.video.VideoPrompt; import com.alibaba.cloud.ai.dashscope.video.VideoResponse; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import javax.annotation.Resource; import java.util.Map; /** * 阿里百炼 - 文生视频接口 * 核心说明视频生成为高耗时异步任务不支持同步秒回 * 标准流程提交生成任务 获取任务ID 轮询查询任务状态 获取视频URL */ RestController public class BaiLianVideoController { /** * 自动注入通义万相视频生成模型实例 * 统一复用全局API密钥配置 */ Resource private DashScopeVideoModel qwenVideoModel; /** * 提交文生视频生成任务 * param prompt 视频画面描述、动态效果、风格文案 * return 视频任务ID用于后续轮询查询生成结果 */ GetMapping(/bailian/text2video/submit) public String submitVideoTask(RequestParam String prompt) { // 构建视频生成自定义参数 // 1. 待合成文本 ListVideoMessage videoMessages new ArrayList(); VideoMessage videoMessage new VideoMessage(一个小朋友在荡秋千); videoMessages.add(videoMessage); // 2. 视频参数配置 // ✅手动构建 InputOptions 底层调用该方法获取对应的描述videoMessage目前实测没使用到里面的描述 DashScopeVideoOptions.InputOptions inputOptions DashScopeVideoOptions.InputOptions.builder() .prompt(一个小朋友在林间小溪边嬉戏水珠在太阳光的照射下形成一道漂亮的彩虹) .build(); // 构建参数对象 DashScopeVideoOptions.ParametersOptions parameters DashScopeVideoOptions.ParametersOptions.builder() .duration(5) .size(1280*720) .build(); DashScopeVideoOptions options DashScopeVideoOptions.builder() .model(wan2.7-t2v) // wanx2.1‑t2v‑plus / wanx2.1‑t2v‑turbo .parameters(parameters) .input(inputOptions) .build(); VideoPrompt videoPrompt new VideoPrompt(videoMessages, options); System.out.println(videoPrompt.getOptions()); // 提交任务异步立刻返回taskId视频并未生成完毕ai封装成同步请求重试间隔过后会报异常实际已经请求成功 VideoResponse response videoModel.call(videoPrompt); log.info(提交返回{}, response); String taskId response.getResult().getOutput().taskId(); log.info(taskId{}, taskId); // 提取并返回任务唯一ID return 任务ID taskId; } /** * 根据任务ID查询视频生成结果 * param taskId 提交任务时返回的唯一任务ID * return 状态信息 视频URL生成成功返回链接生成中返回处理状态 */ GetMapping(/bailian/video/query) public MapString, String queryVideoTask(RequestParam String taskId) { // 根据任务ID查询云端任务进度与结果 RestClient restClient RestClient.create(); String url https://{改成你自己的业务空间id}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/ taskId; String json restClient.get() .uri(url) .header(Authorization, Bearer dashScopeApiKey) .retrieve() .body(String.class); if (SUCCEEDED.equals(status)) { videoUrl node.at(/output/video_url).asText(); return Map.of(status, success, videoUrl, videoUrl); } if (FAILED.equals(status)) { String errMsg node.at(/output/error_message).asText(); return Map.of(status, processing, msg, 视频生成失败失败原因errMsg); } return Map.of(status, processing, msg, 视频生成中请稍后重试); } }9.5 代码落地核心注意事项密钥安全严禁代码硬编码API_KEY统一通过环境变量、配置中心注入避免密钥泄露调用方式区分图文语音为同步调用适合实时场景视频必须异步轮询避免接口超时参数调优商用场景需根据业务调整分辨率、时长、风格参数平衡效果与计费成本异常兜底生产环境需补充限流、重试、异常捕获、任务超时清理逻辑。9.6 多模态代码选型总结三套代码完全适配前文多模态能力体系依托SpringAI Alibaba自动装配特性零冗余配置、极简接入个人学习可快速验证效果企业项目可直接在此基础上迭代扩展实现多模态AI业务的快速落地。