AI 视频创作最近确实被讨论得很多尤其是 AI 短剧这种形态从剧本、分镜、画面生成到剪辑基本上一个人就能走完整条制作链路。这次我们不空谈概念直接拆一套完整的 AI 短剧制作流程提示词怎么写、AI 绘画怎么出分镜图、图生视频怎么让画面动起来、最后怎么剪辑成片。整个过程面向零基础新手也适合想批量产出短剧内容的运营人员。这套流程用到的工具本地部署和在线平台都能覆盖。文本提示词、图像生成、视频生成、剪辑成片每个环节都有对应的落地方法。相比动辄上万的付费课程核心操作其实就那几步真正拉开差距的是提示词设计、分镜节奏和后期剪辑而不是工具本身。这篇文章会分为几个部分核心能力速览、工作流全景、提示词设计、AI 绘画出图、图生视频、剪辑成片、批量任务、API 接入、性能观察和问题排查。每一步都给出模板、命令和验证方法你可以直接照着跑。1. 核心能力速览先给一张速览表方便判断这套流程适不适合你现在的情况。能力项说明覆盖流程剧本拆解、分镜设计、AI 绘画出图、图生视频、剪辑成片主要模型形态文生图模型、图生视频模型、文生视频模型可根据实际效果选择提示词工程正向提示词、负面提示词、镜头语言描述、风格统一词角色一致性通过固定角色提示词、垫图、同一底图重绘等方式保持批量能力分镜批量出图、多镜头批量图生视频、后期批量导入剪辑API 接口不同平台差异较大通常支持 HTTP 接口调用需按实际项目查看硬件门槛本地部署建议重点关注显存占用在线平台对本地硬件要求较低适合人群零基础新手、短视频运营、短剧作者、想接触 AI 视频的开发者主要瓶颈角色一致性、动作幅度控制、长镜头稳定性、素材版权合规接着明确一下这套流程不是某个单一软件而是一条“组合管线”。它的价值在于把原来需要一个团队完成的工作拆成单人可以执行的步骤。你不用等编剧、不用等演员、不用等摄影所有画面素材都可以通过工具生成再进剪辑软件合成。2. 适用场景与使用边界AI 短剧不是万能的。它有非常值得做的场景也有明显不适合的领域。适合的场景包括概念短剧用于快速验证剧情、测试平台数据小说推文视频把文案内容视觉化生产节奏快账号批量运营不同剧情方向并行测试先跑通再优化短视频广告和背景片段作为素材补充节省实拍成本。不太适合的场景包括一致性要求极高的长剧情剧集纯 AI 生成很难保证主角每一帧都长一样出片后需要大量修正需要精准表演的镜头AI 生成的动作往往是概率采样无法像真人演员那样精确走位商业级品牌广告涉及产品外观、人物肖像、场景还原等容错率很低。使用边界要重点说因为 AI 绘画和图生视频涉及素材生成。创作短剧时如果使用了现实人物的照片做垫图、使用了他人版权作品做风格参考、或者使用了未经授权的音色和音乐都可能引发法律风险。平台审核同样敏感人物肖像、暴力、低俗、侵权内容都会导致限流甚至封号。正确的做法是使用自己拍摄的素材、可商用素材库、或完全由 AI 生成且不模仿特定真人面部特征的内容并保留创作记录。3. 完整工作流全景整个 AI 短剧流程可以拆成六个步骤。每一步的输出都会作为下一步的输入任何一个环节做不好都会影响最终成片。3.1 剧本拆解剧本不能直接丢给视频生成工具。你需要把每一段剧情拆成“镜头”也就是分镜。分镜表里应该包含镜头号、景别、画面内容、人物动作、台词、预计时长。建议第一版分镜不要追求文学性用最直白的“谁在哪里做什么”来描述越具体越好。示例分镜表结构镜头号景别画面内容人物动作台词预计时长01中景现代都市办公室女主坐在工位抬头看向门口“你怎么来了”3 秒02近景办公室门口男主走进来手里拿着一束花“来给你送早餐”3 秒分镜拆到这一步后面所有提示词都有了依据。3.2 分镜设计分镜设计阶段要确定画面描述。你需要把每个镜头翻译成 AI 绘画能理解的视觉语言包括场景环境、人物外貌、服装、光影、镜头角度。同一角色在不同镜头中的外貌描述必须保持一致否则人物会“变脸”。3.3 AI 绘画出图把分镜文字转换成图像。这一步是所有动态画面的基础图像质量直接决定视频质量。建议先批量生成所有镜头的关键帧检查人物一致性和画面风格有问题在这一步就重画不要拖到视频生成阶段。3.4 图生视频把静态图变成动态视频。上传关键帧图片、输入动作描述提示词让模型生成合理的动态效果。图生视频通常比直接文生视频更容易控制构图因为画面主体和背景已经被确定下来了。3.5 剪辑成片把所有动态镜头导入剪辑软件按分镜顺序排列添加配音、背景音乐、字幕、转场和音效。这是最终品质把关环节AI 生成镜头的抖动、抽帧、跳变都可以在这里做二次修正或重新生成。3.6 审核与发布成片导出前检查素材版权、平台审核规则、音频授权和画面比例。短剧内容通常以 9:16 竖屏格式呈现导出分辨率建议不低于 1080x1920。4. AI 视频提示词设计提示词是整个流程里投资回报率最高的技能。模型能力在短时间内不会有质变但提示词写得好不好效果差距非常明显。4.1 提示词的基本结构一个稳定输出的 AI 视频/图像提示词通常包含几个模块主体、动作、环境、景别与镜头、光影与氛围、风格词、画质词。这几个模块可以按固定顺序排列方便批量修改和复用。正向提示词模板示例一位年轻女性黑色长直发穿着白色衬衫坐在现代风格办公室工位前 动作抬头看向门口表情从惊讶转为微笑 景别与镜头中景缓慢推近浅景深 环境明亮的办公室落地窗外可见城市天际线午后自然光 风格写实电影质感柔和色调细节丰富 画质4k高清高质量电影级光影负面提示词模板示例模糊低分辨率变形多余手指面部扭曲肢体不自然画面闪烁文字水印logo过度锐化负面提示词在 AI 绘画和视频生成里非常重要。如果不写负面提示词模型很容易在手指、眼睛、边缘轮廓这些位置产生明显瑕疵。4.2 镜头语言在提示词中的表达短剧需要镜头感。提示词里可以通过景别词和镜头运动词来控制画面观感特写适合情绪表达近景适合对话中景适合动作全景适合交代环境。镜头运动方面可以使用“缓慢推近”“镜头环绕”“手持轻微晃动”“俯拍视角”等描述。不是所有模型都能精确执行这些指令但写上去比不写强生成的随机性会往可控方向偏移。4.3 不同题材短剧提示词参考以古风短剧为例古装年轻男子束发身穿深蓝色长袍站在落满雪的庭院中 动作缓缓转身望向镜头眼神哀伤 环境冬夜古庭院飞雪屋檐积雪暖色宫灯 镜头中景到近景缓慢推进镜头略带微光 风格中国风写实国风海报质感高细节 画质超清电影感以都市情感短剧为例年轻男女在深夜便利店门口相对而立男生拿着伞女生背对镜头 动作男生伸出手女生侧头边缘霓虹灯闪烁 环境雨夜街道湿润便利店灯光透出霓虹反射 镜头远景到近景慢速推近电影感 画质4k高分辨率细节清晰提示词并不是越长越好更重要的是信息密度。场景、动作、光影这些核心描述要具体形容词要服务于画面而不是堆砌。4.4 提示词的批量复用思路写提示词时要考虑复用性。一个分镜表可能有几十个镜头每个镜头逐字手写会消耗大量时间。建议维护三个清单角色清单固定的人物外貌描述、场景清单固定的环境描述、镜头模板清单可替换的镜头语言描述。每次生成新镜头时从清单里拼出提示词而不是从零写起。5. AI 绘画出图环节提示词设计完成之后进入 AI 绘画环节。这一步的目标是生成高质量的关键帧而不是直接出最终画面。关键帧的质量越高后续图生视频阶段的可控性越好。5.1 文生图与图生图的选择在生成第一批分镜时通常优先使用文生图输入完整的提示词生成单张或多张候选图。如果某些镜头已经有一张不错的图但构图、角度、色调需要微调就使用图生图把原图作为输入配合局部重绘或重绘幅度调整。图生图的优势在于稳定。人物姿势、场景结构、色彩基调已经固定模型只负责在已有基础上做变化生成结果不容易跑偏。5.2 角色一致性方案角色一致性是 AI 短剧制作中最大的痛点。同一角色在不同镜头里出现理论上应该长得一样但因为每次生成都是独立采样很容易出现“千人千面”。常见的处理方案有三种第一种是固定角色描述词。把角色的外貌描述写成一个固定字符串在全部镜头中复用短发年轻女性丹凤眼肤色偏白穿着红色风衣这种方法实现成本最低但一致性有限适合角色特征足够鲜明的情况。第二种是垫图方案。每次生成新镜头时把一张确定好的角色正面图作为参考图一起输入让模型参考人物长相。许多支持图生图的工具都支持参考图功能本质上是用“图生图提示词”的方式完成角色迁移。第三种是同一底图重绘方案。对一个固定的角色全身图反复局部重绘保持整体构图和人物结构不变只修改局部动作、表情和环境。这种方式一致性最好但灵活性最低。对于零基础新手建议先用固定角色描述词跑通全流程后续再逐步加入垫图和局部重绘优化。5.3 分辨率与输出格式短剧通常以竖屏为主。生成关键帧时建议分辨率接近 9:16 比例比如常见的高宽比 1080x1920 或 720x1280。不建议直接生成超过模型能力范围的高分辨率容易导致构图崩坏。更稳妥的方式是先生成较低分辨率再通过超分工具放大。输出格式建议使用 PNG 无损压缩格式保留更多细节用于后续图生视频。生成批次建议每次至少出 2 到 4 张候选图从中挑选构图和人物表情最自然的一张。5.4 批量出图与目录管理当镜头数量很多时手动一张张生成会非常低效。建议搭建一个分镜目录结构按“场景-镜头号-版本”组织图像文件。比如./project/dajiangtang/scene01/shot01_v1.png ./project/dajiangtang/scene01/shot01_v2.png目录名和文件名的命名规则要统一后面做批量图生视频和剪辑导入时能省大量时间。如果使用的是支持批处理功能的工具可以直接指定输入目录和输出目录一次性处理多个分镜。6. 图生视频环节图生视频是整条流程中从静态转向动态的关键步骤。核心思路是上传一张关键帧图片再输入动作提示词让模型补全画面中的运动过程。6.1 图生视频的输入要素一次典型的图生视频生成通常需要四个输入起始图片、动作描述提示词、运动强度、生成时长。起始图片就是 AI 绘画阶段生成的关键帧动作描述要写清楚“谁在做什么动作”比如“女主角低头看手机然后抬头微笑”运动强度控制画面变化的剧烈程度值太高会导致人物形变值太低会导致画面几乎不动生成时长通常以秒为单位单次生成时长越长约容易崩。6.2 动作幅度与稳定性图生视频最常遇到的问题是“一动不动”和“乱动”两个极端。如果你发现画面基本静止优先检查动作提示词是否过于简略或者运动强度参数设置过低。如果你发现人物肢体变形严重、背景扭曲说明模型在有限步数内塞入了太多变化此时应该减小动作跨度把一个大动作拆成几个小动作通过多个镜头拼接完成。6.3 多镜头批量处理短剧不可能只生成一个镜头。当分镜数量在二十个以上时建议按“一个镜头一个任务”的方式批量提交。因为单次生成的时长有限几乎每个镜头都要单独处理。先把所有分镜的关键帧准备好统一命名再逐个提交图生视频任务。此时命名的规范性直接影响效率。6.4 首尾帧与连续动作除了单张图片输入不少图生视频工具还支持首尾帧模式输入起始帧和结束帧模型自动补全两帧之间的过渡动作。这在处理“进门走向座位”这类连续动作时很好用。首尾帧模式需要注意两点一是起始帧和结束帧的画面结构不能差异过大否则中间过渡会非常生硬二是中间过程无法精确控制接受范围内的自然运动即可不必追求每一帧都完美。6.5 图生视频与文生视频的取舍文生视频适合没有明确画面基础、想从文字直接生成动态视觉的场景图生视频适合已经有确定关键帧、需要让画面动起来的场景。在短剧制作中图生视频的优先级更高因为短剧首先要求角色和场景统一直接用文生视频容易每段镜头都长得不一样后期拼接很痛苦。更稳妥的做法是以 AI 绘画确定静态画面再以图生视频补全运动。7. 剪辑成片与视听语言AI 工具负责生成素材最终成片还是要进剪辑软件。这一步拼的是基础剪辑能力和视听语言素养。7.1 剪辑软件选择对零基础新手推荐从剪映入手。它有自动字幕、背景音乐、转场模板和语音合成学习和产出成本最低。需要更精细控制时可以使用 Adobe Premiere 或 DaVinci Resolve。关键点不在于软件本身而在于你是否把分镜表的顺序、时长、台词对齐到时间线上。7.2 镜头组接原则AI 生成的单镜头通常很短多则几秒、少则一两秒。剪辑时要按“景别变化”的思路来组接不要连续几个镜头都是同一个景别否则视觉上会非常单调。可以按“全景交代环境、中景展示动作、近景表达情绪”的顺序编排形成节奏感。镜头与镜头之间的切换可以加少量转场但不要过度使用AI 视频本身已经有较强的画面连续性硬切往往比花哨转场更自然。7.3 配音、字幕与音效AI 短剧通常使用 AI 配音。配音文本要和台词严格对应语速建议偏慢给观众留出阅读字幕的时间。字幕建议使用剪映自动识别或手动输入统一字体、颜色和位置避免每段字幕风格不一致。背景音乐优先选择可商用曲库音量不要超过人声。音效方面脚步声、门声、环境声这类细节能明显提升成片质感值得花时间加上。7.4 画面比例与导出参数竖屏短剧导出时分辨率设置为 1080x1920、帧率 30fps、码率选择中等以上即可。如果工具支持“智能防抖”或“画面稳定”可以对 AI 生成的轻微抖动镜头做一次处理。导出前完整播放一遍重点检查字幕错别字、画面跳变、音画不同步和角色形象突变。8. 接口 API 与批量任务如果你的目标不只是手工做几条视频而是想批量产出或者把 AI 短剧流程接入到自己的内容生产工具中就需要考虑接口调用和批量任务设计。8.1 API 服务的通用接入思路不同工具和模型平台提供的 API 差异较大但基本结构类似新建任务、提交参数、轮询任务状态、获取结果。建议先阅读目标平台的官方 API 文档确认鉴权方式、请求地址、参数格式和回调机制。下面给出一个通用版 Python 调用示例实际使用时需要按项目 API 文档调整端点地址、请求头和字段名import requests import time API_URL https://your-api-endpoint.com/api/generate API_KEY your-api-key headers { Authorization: fBearer {API_KEY}, Content-Type: application/json } payload { prompt: 年轻女性黑色直发白色衬衫现代办公室中景电影感, image_path: ./scene01_shot01.png, negative_prompt: 模糊变形多余手指水印, duration: 4, motion_strength: 0.6 } response requests.post(API_URL, jsonpayload, headersheaders, timeout120) task_id response.json().get(task_id) print(任务ID:, task_id)提交任务后用轮询方式查询状态status_url f{API_URL}/{task_id} for _ in range(60): resp requests.get(status_url, headersheaders, timeout30) data resp.json() state data.get(status) if state SUCCESS: print(生成结果:, data.get(video_url)) break elif state FAILED: print(任务失败:, data.get(error)) break time.sleep(5)这个模板的价值在于演示了异步任务的基本交互模式先创建任务拿到任务 ID再轮询查询状态最后在成功状态下获取产物地址。批量场景可以在这个基础上加一个任务队列。8.2 批量任务队列设计批量任务可以简单分为“串行处理”和“并发处理”。串行适合免费额度和限流较多的情况一次只跑一个任务不够高效但稳定。并发适合付费接口或本地部署资源充足的情况可以同时跑多个任务对程序稳定性要求更高。一个稳妥的批量处理策略是将全部分镜写入一个任务清单程序逐个读取先调用 API 判断输入文件是否存在、参数是否合法再提交任务任务状态变为失败时自动记录错误信息并最多重试三次全部完成后生成一个批次报告列出每个镜头的状态、输出地址和失败原因。{ batch_name: short_drama_ep01, input_dir: ./frames, output_dir: ./clips, tasks: [ {shot: 01, image: shot01.png, action: 抬头看向门口}, {shot: 02, image: shot02.png, action: 走进办公室} ] }8.3 失败重试与稳定性接口调用失败通常有三种原因网络抖动、服务端限流、参数不合法。前两种可以通过重试缓解第三种需要修改程序逻辑。建议每个任务记录提交时间和重试次数连续失败超过设定阈值时将任务标记为需人工检查而不是死循环重试。9. 资源占用与性能观察本地部署 AI 绘画和视频生成模型时资源占用是绕不开的话题。但这里要提醒一句显存占用数值高度依赖模型版本、分辨率、步数、生成时长和采样器类型不同设备差异很大。建议不要照搬任何网上的“固定显存数字”而是学习如何自己观察和分析。9.1 显存占用观察方法在本地运行推理任务时可以通过任务管理器Windows或nvidia-smi命令实时查看 GPU 显存占用watch -n 1 nvidia-smi启动服务后先记录空闲显存占用再提交一个最小测试任务观察生成过程中显存峰值和生成结束后的回落情况。如果显存不够优先降低分辨率、减少生成时长、降低运动强度参数这是最有效的降显存手段。9.2 CPU 推理与 GPU 推理CPU 推理基本不需要显存但速度会慢很多只适合测试环节或极小规模任务。GPU 推理速度快但显存不足时会直接报错或把任务卡死。如果使用的是在线平台本地资源占用几乎可以忽略主要关注网络请求效率和任务排队时间。9.3 性能瓶颈观察建议影响图生视频生成速度的关键因素通常包括分辨率、单次生成时长、运动强度、模型复杂度。分辨率提高一倍显存和计算量可能上升数倍单次生成时长越长越容易出现显存不足或生成失败。第一次使用时建议使用最小参数组合跑通流程再逐步加大参数观察显存占用的变化。10. 常见问题与排查方法AI 短剧制作过程中会遇到大量问题。下面整理一份排查清单按现象分类。问题现象可能原因排查方式解决方案生成的人物每帧都不同角色描述词不一致检查提示词中人物外貌描述固定角色描述词加入垫图参考画面几乎不动动作提示词太弱或运动强度过低查看生成参数增强动作描述提高运动强度动作变形、肢体扭曲单次生成变化幅度过大查看输出帧序列拆分动作缩短生成时长图像模糊分辨率不足或放大过度查看输入图像尺寸使用原始高清图片减少放大倍数本地生成报显存不足输入参数超过显存上限查看显存峰值调低分辨率、减少时长、关闭多余程序生成任务长时间无响应服务被限流或排队查看任务日志等待重试或降低并发数量提示词描述很详细但效果不行模型对语法理解有限简化表述并增加明确的动作词使用短句和直观名词少用抽象修辞成片画面闪烁多个镜头风格差异大检查关键帧风格是否统一统一光影、色调、风格词更复杂的排查比如模型版本不兼容、依赖安装失败需要先看服务的启动日志。日志里没有明显报错再检查模型文件是否放置正确、依赖版本是否对应、端口是否被占用。启动失败时优先检查端口的占用情况# Linux / macOS lsof -i :7860 # Windows netstat -ano | findstr 7860如果端口被占用可以换一个端口启动。服务启动成功但页面访问不了通常是服务进程没有正常监听要回到终端查看完整日志。11. 最佳实践与使用建议把整个流程跑通之后可以按照下面的工程化思路持续优化。11.1 建立最小可运行配置第一次不要尝试制作完整短剧。先选一个镜头从提示词设计、AI 绘画、图生视频到剪辑完整走一遍。确认这条链路没有断点再扩大到整段剧情。最小可运行配置是排错的基础后续所有优化都基于它展开。11.2 模型文件、输入素材与输出结果分目录管理强烈建议把流程中的三类文件分开存放模型与工具文件、输入素材分镜表、提示词、参考图、输出结果关键帧、动态片段、成片。目录命名使用日期和场景编号例如20250120_ep01_scene01避免后期找不到文件。11.3 批量任务加日志和失败重试批量生成时必须记录日志。日志里要包含任务 ID、输入文件名、状态、输出地址、失败原因和重试次数。没有日志的批量任务就是黑盒失败后无法定位问题。建议复制原始输出目录后再删除不需要的任务记录避免操作失误。11.4 涉及人脸、声音、版权素材必须确认授权这个话题再强调一次也不为过。AI 绘画和视频生成中使用真人照片做垫图、使用带商标的物品、使用受版权保护的台词和背景音乐都可能构成侵权。商用短剧在发布前要把所有素材的来源和授权情况过一遍。养成习惯能自产就自产能商用就商用不明确的素材不采用。11.5 发布和商用前要做效果复核AI 生成的内容在导出前需要完整播放一遍重点看字幕错别字、音画同步、角色一致性、镜头转场是否自然。平台审核规则也要考虑发布前可以通过预览权限检查是否存在敏感画面。建议制作“同行评审”环节找 2 到 3 个人提前看片收集真实的观感反馈再决定是否发布。11.6 提示词库与分镜模板持续沉淀完成几个短剧之后你会积累一批常用的角色描述、场景描述、镜头语言模板。把这些内容整理成自己的提示词库后续创作速度会明显提升。分镜模板也一样冲突开场、反转结构、情感发展都可以拆成可复用的模板让批量生产短剧成为可能。12. 总结与下一步这套流程最值得尝试的点是把短剧制作从“团队协作”压缩成“单人生产线”。你不需要会写复杂剧本不需要有演员和场地只要掌握提示词设计、AI 绘画、图生视频和剪辑四个核心环节就能完成一条完整的 AI 视频短剧。最先应该验证的功能是“单镜头全流程”从一个分镜表条目出发完成一张关键帧和一段视频片段。这一步跑通之后再扩展到多镜头、批量任务和 API 接入。最容易踩的坑有两个一个是提示词写得太笼统导致画面风格不可控另一个是跳过了 AI 绘画直接依赖文生视频导致角色一致性问题集中爆发。把这两个问题前置解决后面的工作会顺利很多。后续可以继续扩展的方向很多角色一致性工作流、视频超分与修复、自动化批量剪辑、多平台发布接口集成等。先用最小配置跑通再逐步升级才是零基础入门 AI 短剧的正确姿势。