尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

四步装完 Open-Sora:新手开源 AI 视频生成全流程指南

四步装完 Open-Sora:新手开源 AI 视频生成全流程指南 四步装完 Open-Sora新手开源 AI 视频生成全流程指南【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora想做 AI 视频却被商用工具的高价、时长限制和水印劝退Open-Sora 是一个完全开源的视频生成项目基于扩散模型加 Transformer支持文生视频与图生视频跑在自己显卡上即可本地出片。这篇文章讲清从环境检查到第一次生成视频的完整流程。能力速览三点看懂官方 11B 模型支持 256px 与 768px 两档分辨率文生视频和图生视频共用同一份权重默认生成 129 帧、约 5 秒的成片。项目范围分辨率256px、768px 两档视频时长默认 129 帧 ≈ 5 秒4k1 帧可调生成模式文生视频 t2v、图生视频 i2v、文生图再转视频的 t2i2v 流水线Open-Sora 环境要求检查项目推荐配置系统LinuxUbuntu 18.04Python3.10PyTorch2.4.0GPUNVIDIA 显卡显存 8GB显存不够也不影响上手用 256px 配置并加上--offload True把部分模型换到系统内存用速度换可用性。四个阶段装完 Open-Sora建好独立虚拟环境项目依赖锁得比较死torch 2.4.0 等和系统 Python 混装容易起冲突先隔离开conda create -n opensora python3.10 conda activate opensora拿到项目代码仓库里不含模型权重后面单独下载git clone https://gitcode.com/GitHub_Trending/op/Open-Sora cd Open-Sora装依赖和加速组件第一条安装项目本体及其全部依赖后两条装注意力加速库直接影响出片速度其中 xformers 的版本要对上你 torch 的 CUDA 版本pip install -v . pip install xformers0.0.27.post2 --index-url https://download.pytorch.org/whl/cu121 pip install flash-attn --no-build-isolation下载预训练模型配置文件默认从./ckpts/目录加载权重把 11B 主模型、VAE 和 T5/CLIP 文本编码器一次拉齐pip install huggingface_hub[cli] huggingface-cli download hpcai-tech/Open-Sora-v2 --local-dir ./ckpts第一次生成视频的命令最短可运行的文生视频命令单卡即可成片会写到samples/目录默认 129 帧、24fps、16:9torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt raining, sea显存吃紧就在命令末尾追加--offload True。想试图生视频把配置换成256px.py并加--cond_type i2v_head --ref 你的图片路径仓库自带的示例图assets/texts/i2v.png可以直接拿来当首帧。常见坑位与快速解法现象原因解法xformers 装不上版本和已装 CUDA 对不上按 torch 对应的 cu 版本换 index 源重装flash-attn 编译失败缺编译依赖或本机没有编译器先加--no-build-isolation仍不行可先跳过只慢不少功能OOM 显存溢出高档分辨率配置超出显存换 256px 配置或追加--offload True运行报找不到模型文件权重没下到./ckpts对照配置里from_pretrained路径确认下载目录跑通之后做什么多卡机器可把--nproc_per_node改成 8让 768px 配置走序列并行加速接下来建议翻一遍 configs/diffusion/ 里的num_steps、aspect_ratio等参数再结合 opensora/models/ 了解各模块实现。【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表