如何快速上手VideoFlexTok安装、加载模型与编码第一个视频的完整教程【免费下载链接】videoflextok_d18_d28项目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28 快速了解这个项目是什么VideoFlexTok是 EPFL洛桑联邦理工学院VILAB 实验室开源的一个视频分词器video tokenizer模型属于 HuggingFace 镜像仓库EPFL-VILAB/videoflextok_d18_d28中预训练好的 checkpoint。它的核心特点是可变长度、由粗到细coarse-to-fine的视频 token 化一段视频会被编码成一串 token靠前的 token 捕获语义和运动等抽象信息靠后的 token 再逐层补充细节。你只需要保留前 N 个 token就能在信息量—计算成本之间自由取舍。仓库结构非常简洁核心就 3 个文件文件作用README.md官方说明安装、加载模型、编码与解码视频config.json模型完整结构配置编码器、解码器、量化器参数model.safetensors预训练权重文件safetensors 格式一、VideoFlexTok 的三大核心能力在动手之前先理解它能做什么后面跟着教程走就不会迷路视频 → 离散 token 序列把 256×256 的视频片段编码成每个时间步最多 256 个离散 token嵌套截断nested truncationtoken 序列可以嵌套式地只保留前 64 个或前 128 个实现从抽象语义到像素细节的灵活压缩token → 视频重建通过内置的 Rectified Flow流匹配解码器把截断后的 token 序列重新生成回视频。从命名也能看出模型规格d18_d28指编码器 18 层、解码器 28 层Transformer这可以在 config.json 中得到验证enc_transformer.depth: 18、dec_transformer.depth: 28。二、安装 VideoFlexTok 依赖环境这个仓库本身只存放模型权重与配置Python 代码包videoflextok来自论文的官方实现README.md 中的 Installation 一节有说明。推荐两种方式方式 A推荐按照官方实现仓库的说明pip install或源码安装videoflextok包需要 Python 3.9 和 PyTorch 环境建议 GPU 加速方式 B把官方实现代码克隆到本地后用pip install -e .以可编辑模式安装。安装完成后可以用下面一行验证是否成功import videoflextok print(OK)三、两种方法加载 VideoFlexTok 模型方法 1直接从 Hub 一行加载最快上手from videoflextok.wrappers import VideoFlexTokFromHub model VideoFlexTokFromHub.from_pretrained(EPFL-VILAB/videoflextok_d18_d28).eval()只需一个模型名权重会自动下载并加载适合绝大多数用户。方法 2手动加载本地权重文件如果你已经下载了 model.safetensors 权重文件可以用官方提供的辅助函数加载from hydra.utils import instantiate from videoflextok.utils.checkpoint import load_safetensors ckpt, config load_safetensors(/path/to/model.safetensors) model instantiate(config).eval() model.load_state_dict(ckpt) 这里的config会自动从权重文件中解析出来内容与 config.json 一致不需要你手动指定模型结构。四、编码第一个视频完整步骤演示 步骤 1读取视频为张量from videoflextok.utils.demo import read_mp4 video_tensor read_mp4(./data/video_examples/red_ball.mp4, fps8) # (3, T, 256, 256)read_mp4会自动完成预处理按约 8 FPS 抽帧、缩放到 256×256、数值归一化到 [-1, 1]并保证帧数满足T 1 K×16VideoFlexTok 分块机制的硬性要求。步骤 2tokenize 成离散 tokentokens_list model.tokenize(video_tensor[None]) # 得到 list每个元素 shape 为 [1, t, 256]每 16 帧的片段会被压缩成4 个时间 token加上首帧共 1 个所以t 1 K×4编码器以滑动窗口方式自动处理长视频并把 token 在序列维度上拼接。步骤 3嵌套截断VideoFlexTok 的灵魂操作 ✂️k_keep 64 # 每个时间步只保留前 64 个 token共 256 个 tokens_list [t[..., :k_keep] for t in tokens_list]由于 token 是由粗到细排列的前 64 个 ≈ 视频的语义 运动骨架后 192 个才是纹理细节。截断多少就由你的下游任务如视频理解、生成、检索按需决定。五、把 token 变回视频detokenize 重建 reconst model.detokenize( tokens_list, timesteps30, # 去噪步数 guidance_scale20., # 无分类器引导强度15~30 效果较好 perform_norm_guidanceTrue, ) # reconst: list of [1, 3, T, 256, 256]数值范围 [-1, 1]解码器是一个基于流匹配的扩散式模型config.json 中的VideoMinRFPipeline截断的 token 越多重建越依赖先验补全细节guidance_scale可适当调高。六、读懂 config.json模型内部一览模块关键配置含义VAEVidTokVAE16 通道潜变量先把视频压缩进 VAE 潜空间编码器FlexTransformerdim115218 层输出 256 个寄存器 token量化器FSQlevels[8,8,8,5,5,5]有限标量量化产生离散 token解码器FlexTransformerdim179228 层流匹配去噪重建 VAE 潜变量分块参数chunk_size: 17overlap: 1帧长视频滑动窗口分块七、常见问题速查 ❓Q1视频长度有什么要求帧数需满足T 1 K×16K≥1read_mp4会自动处理输入分辨率为 256×256。Q2token 序列最多多少每个时间步最多 256 个 token6 维 FSQ 量化码本 8×8×8×5×5×5。Q3没有 GPU 能跑吗可以但 28 层解码器的流匹配采样在 CPU 上会很慢建议 30 步去噪配合 GPU。Q4许可证是什么权重以Apache License 2.0发布见 README.md可自由商用。总结VideoFlexTok 可变长度、由粗到细的视频分词模型一行代码即可从 Hub 加载核心流程只需三步read_mp4读视频 →tokenize编码 → 按需detokenize重建模型结构与参数全部透明可查config.json model.safetensors嵌套截断是它最大的卖点语义与细节分离让视频 token 第一次变得可伸缩。照着上面的代码走一遍你就完成了从安装到编码第一个视频的完整流程可以开始自己的视频 token 化实验了 【免费下载链接】videoflextok_d18_d28项目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何快速上手VideoFlexTok：安装、加载模型与编码第一个视频的完整教程
如何快速上手VideoFlexTok安装、加载模型与编码第一个视频的完整教程【免费下载链接】videoflextok_d18_d28项目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28 快速了解这个项目是什么VideoFlexTok是 EPFL洛桑联邦理工学院VILAB 实验室开源的一个视频分词器video tokenizer模型属于 HuggingFace 镜像仓库EPFL-VILAB/videoflextok_d18_d28中预训练好的 checkpoint。它的核心特点是可变长度、由粗到细coarse-to-fine的视频 token 化一段视频会被编码成一串 token靠前的 token 捕获语义和运动等抽象信息靠后的 token 再逐层补充细节。你只需要保留前 N 个 token就能在信息量—计算成本之间自由取舍。仓库结构非常简洁核心就 3 个文件文件作用README.md官方说明安装、加载模型、编码与解码视频config.json模型完整结构配置编码器、解码器、量化器参数model.safetensors预训练权重文件safetensors 格式一、VideoFlexTok 的三大核心能力在动手之前先理解它能做什么后面跟着教程走就不会迷路视频 → 离散 token 序列把 256×256 的视频片段编码成每个时间步最多 256 个离散 token嵌套截断nested truncationtoken 序列可以嵌套式地只保留前 64 个或前 128 个实现从抽象语义到像素细节的灵活压缩token → 视频重建通过内置的 Rectified Flow流匹配解码器把截断后的 token 序列重新生成回视频。从命名也能看出模型规格d18_d28指编码器 18 层、解码器 28 层Transformer这可以在 config.json 中得到验证enc_transformer.depth: 18、dec_transformer.depth: 28。二、安装 VideoFlexTok 依赖环境这个仓库本身只存放模型权重与配置Python 代码包videoflextok来自论文的官方实现README.md 中的 Installation 一节有说明。推荐两种方式方式 A推荐按照官方实现仓库的说明pip install或源码安装videoflextok包需要 Python 3.9 和 PyTorch 环境建议 GPU 加速方式 B把官方实现代码克隆到本地后用pip install -e .以可编辑模式安装。安装完成后可以用下面一行验证是否成功import videoflextok print(OK)三、两种方法加载 VideoFlexTok 模型方法 1直接从 Hub 一行加载最快上手from videoflextok.wrappers import VideoFlexTokFromHub model VideoFlexTokFromHub.from_pretrained(EPFL-VILAB/videoflextok_d18_d28).eval()只需一个模型名权重会自动下载并加载适合绝大多数用户。方法 2手动加载本地权重文件如果你已经下载了 model.safetensors 权重文件可以用官方提供的辅助函数加载from hydra.utils import instantiate from videoflextok.utils.checkpoint import load_safetensors ckpt, config load_safetensors(/path/to/model.safetensors) model instantiate(config).eval() model.load_state_dict(ckpt) 这里的config会自动从权重文件中解析出来内容与 config.json 一致不需要你手动指定模型结构。四、编码第一个视频完整步骤演示 步骤 1读取视频为张量from videoflextok.utils.demo import read_mp4 video_tensor read_mp4(./data/video_examples/red_ball.mp4, fps8) # (3, T, 256, 256)read_mp4会自动完成预处理按约 8 FPS 抽帧、缩放到 256×256、数值归一化到 [-1, 1]并保证帧数满足T 1 K×16VideoFlexTok 分块机制的硬性要求。步骤 2tokenize 成离散 tokentokens_list model.tokenize(video_tensor[None]) # 得到 list每个元素 shape 为 [1, t, 256]每 16 帧的片段会被压缩成4 个时间 token加上首帧共 1 个所以t 1 K×4编码器以滑动窗口方式自动处理长视频并把 token 在序列维度上拼接。步骤 3嵌套截断VideoFlexTok 的灵魂操作 ✂️k_keep 64 # 每个时间步只保留前 64 个 token共 256 个 tokens_list [t[..., :k_keep] for t in tokens_list]由于 token 是由粗到细排列的前 64 个 ≈ 视频的语义 运动骨架后 192 个才是纹理细节。截断多少就由你的下游任务如视频理解、生成、检索按需决定。五、把 token 变回视频detokenize 重建 reconst model.detokenize( tokens_list, timesteps30, # 去噪步数 guidance_scale20., # 无分类器引导强度15~30 效果较好 perform_norm_guidanceTrue, ) # reconst: list of [1, 3, T, 256, 256]数值范围 [-1, 1]解码器是一个基于流匹配的扩散式模型config.json 中的VideoMinRFPipeline截断的 token 越多重建越依赖先验补全细节guidance_scale可适当调高。六、读懂 config.json模型内部一览模块关键配置含义VAEVidTokVAE16 通道潜变量先把视频压缩进 VAE 潜空间编码器FlexTransformerdim115218 层输出 256 个寄存器 token量化器FSQlevels[8,8,8,5,5,5]有限标量量化产生离散 token解码器FlexTransformerdim179228 层流匹配去噪重建 VAE 潜变量分块参数chunk_size: 17overlap: 1帧长视频滑动窗口分块七、常见问题速查 ❓Q1视频长度有什么要求帧数需满足T 1 K×16K≥1read_mp4会自动处理输入分辨率为 256×256。Q2token 序列最多多少每个时间步最多 256 个 token6 维 FSQ 量化码本 8×8×8×5×5×5。Q3没有 GPU 能跑吗可以但 28 层解码器的流匹配采样在 CPU 上会很慢建议 30 步去噪配合 GPU。Q4许可证是什么权重以Apache License 2.0发布见 README.md可自由商用。总结VideoFlexTok 可变长度、由粗到细的视频分词模型一行代码即可从 Hub 加载核心流程只需三步read_mp4读视频 →tokenize编码 → 按需detokenize重建模型结构与参数全部透明可查config.json model.safetensors嵌套截断是它最大的卖点语义与细节分离让视频 token 第一次变得可伸缩。照着上面的代码走一遍你就完成了从安装到编码第一个视频的完整流程可以开始自己的视频 token 化实验了 【免费下载链接】videoflextok_d18_d28项目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考