metahuman-stream把文字变成实时会说话的数字人24小时直播部署指南【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream如果你的直播间需要 24 小时有人值守或者你想让一段文案直接变成会口型同步的数字人视频流metahuman-stream 就是干这个的一个实时交互流式数字人引擎输入文字或音频实时合成语音、驱动数字人口型再通过 WebRTC、RTMP 或虚拟摄像头推出去。整条管线很短用户输入 →可选LLM 生成回复 → TTS 合成语音 → 数字人口型推理 → 音视频推流。下面按先跑起来再搞懂原理最后处理踩坑的顺序讲。 三步把数字人直播跑起来第一步装好运行环境项目在 Ubuntu 22.04、Python 3.12、PyTorch 2.9.1、CUDA 12.8 上验证过。先建一个独立环境git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream conda create -n livetalking python3.12 conda activate livetalking然后按 requirements.txt 装依赖。如果你有 N 卡注意 PyTorch 的 CUDA 版本要和驱动匹配先用nvidia-smi确认一下再装对应的 wheel。第二步放模型文件数字人模型文件统一放进 models/ 目录。以最快的 wav2lip 为例把下载的wav2lip256.pth拷到models/下并改名为wav2lip.pth再解压wav2lip256_avatar1.tar.gz把里面的整个文件夹放进data/avatars/目录这个文件夹就是数字人的形象资产原始视频帧 参考音频。第三步一行命令启动打开浏览器看画面python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1启动后访问http://服务器IP:8010/index.html点开始连接数字人视频就播出来了。在右侧文本框输入一句话提交她会开口复述也可以切换成 chat 模式让 LLM 接话。这个页面其实就是一个现成的调试台左边选 Avatar ID 和参考音频右边分别是POST /human文本驱动和POST /humanaudio音频文件直接播放的表单下方还有录制控制。跑通它后面所有功能都有锚点了。 画面推到哪里四种输出通道跑通之后第一个要决策的问题不是画质而是观众从哪看到她。启动参数--transport控制这条通道可选webrtc/rtmp/virtualcam/rtcpush四种对应完全不同的落地场景。通道启动参数适合场景WebRTC--transport webrtc低延迟对话、客服、大屏讲解浏览器直连RTMP--transport rtmp推 B站、视频号等直播平台24 小时无人直播虚拟摄像头--transport virtualcam让数字人坐进会议软件里当发言人WHEP标准协议接入把数字人嵌入自己的 App 或网页前端自行发起 SDPRTMP 是 24 小时直播的主力。配合动作编排下面会讲无人值守时画面不会呆滞直播平台的推流地址通过--push_url传入具体参数写法看 config.py 里的说明。虚拟摄像头是最容易低估的一条路。它把数字人输出成一台系统摄像头设备任何会议软件、直播软件都能把它当真人摄像头用在 virtualcam_guide.md 里有完整的 OBS 配置步骤。一个容易踩的概念webrtc 通道是拉rtmp / virtualcam 是推。webrtc 模式下每个前端连接都分配独立的sessionid支持多用户并发每个连接还能在POST /offer时指定不同的avatar和音色而 rtmp 和 virtualcam 模式启动时直接起一个后台渲染线程持续出图不需要等客户端。⚙️ 她是怎么张嘴的管线与模型选型输出通道解决给谁看接下来回答画面从哪来。整条数据流可以参考这张架构图拆开看每个数字人形象 一段原始视频 一份音频特征。TTS 把文字变成音频特征提取模块avatars/audio_features/ 下有 hubert、whisper、mel 多种实现把音频转成口型推理需要的声学特征模型只重绘嘴部区域再贴回原始高清帧。只重绘嘴部、其余部分用原片这一点很关键——它决定了画质下限由你的原片决定也决定了 GPU 开销主要花在口型推理上。系统内置三款模型选型就看你的显卡模型实测推理帧率建议显卡wav2lip256RTX 306060 FPSRTX 3080Ti120 FPSRTX 3060 及以上musetalkRTX 3080Ti42 FPSRTX 409072 FPSRTX 3080Ti 及以上ultralight轻量方案低配卡可跑入门显卡wav2lip 上手最快、要求最低适合先跑通musetalk 口型更自然但吃显卡正式商用再上。三款模型各自的推理代码都在 avatars/ 目录下wav2lip/、musetalk/、ultralight/切换模型只需要改--model参数和对应的形象目录不用改代码。 多形象、打断、动作编排进阶能力跑通单路之后下面这些能力决定了它到底是demo还是能运营的系统。多形象并发。每路连接独立 sessionPOST /offer时传不同的avatar参数就能驱动不同形象--max_session控制并发上限默认 5。形象资产不是写死的——avatar.html 页面支持上传视频自动生成数字人形象背后是 docs/avatar_api.md 里那套任务 API创建任务、查进度、删任务。声音克隆。TTS 引擎是模块化的--tts参数可选 edgetts、gpt-sovits、cosyvoice、tencent、doubao、azuretts、qwentts 等实现都放在 tts/ 目录。配一个克隆音色的参考音频数字人就用你的声音说话。打断。客服和对话场景的刚需——用户插话时数字人立刻停口。Web 页面上打断开关对应POST /human的 type 参数echo 模式和 chat 模式都支持。动作编排。数字人不说话时的画面最容易穿帮。通过--customvideo_config传入一份 JSON可以编排空闲时播放自定义视频比如挥手、喝水这类小动作无人直播长时间不尴尬的关键就在这里。LLM 对话。--llm_provider默认走 dashscope 的 qwen-plus也可以指向任意 OpenAI 兼容网关对话逻辑封装在 llm.py。加上这一层文字 → 回复 → 语音 → 口型就闭环成了双向对话。这些模块能随意拼装靠的是 registry.py 的插件注册机制TTS、Avatar、Output 三类模块都走同一套注册方式想换推理后端或加一种 TTS照着现有插件写一个新类注册进去就行。 最常见的五个坑画面出不来WebRTC 模式要求服务端放行 TCP 8010 和 UDP 1-65536 全端口段只开 8010 是连不上的防火墙白名单先检查这里。实时性怎么算达标看后端日志里的两个数inferfpsGPU 推理帧率和finalfps最终推流帧率两者都要 ≥25 才算实时。低于 25 就降分辨率或换更快的模型。CPU 和 GPU 各管一摊不说话时并发数取决于 CPU视频压缩同时说话的路数取决于 GPU口型推理。评估机器配置时别只看显卡。虚拟摄像头看不到画面确认用的是 OBS 的 Virtual Camera 且系统里装好了虚拟摄像头驱动virtualcam_guide.md 里有对照截图。改配置不生效优先级是命令行参数 config.yaml 代码默认值见 config.py 的解析逻辑。把常用参数写进 yaml调试时再用命令行临时覆盖是最省心的用法。最常见的疑问其实是我该选哪个模型和哪条推流通道。给你一个决策锚点先用 wav2lip webrtc 跑通全流程确认链路没问题后按目标受众选通道——直播平台上播选 RTMP要交互选 WebRTC要进会议软件选虚拟摄像头显卡够 RTX 3080Ti 再考虑 musetalk 提画质。API 细节别猜三份文档照着调就行通用业务接口 docs/api.md、形象生成 docs/avatar_api.md、会话监控 docs/admin_api.md。【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 metahuman-stream：把文字变成实时会说话的数字人，24小时直播部署指南
metahuman-stream把文字变成实时会说话的数字人24小时直播部署指南【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream如果你的直播间需要 24 小时有人值守或者你想让一段文案直接变成会口型同步的数字人视频流metahuman-stream 就是干这个的一个实时交互流式数字人引擎输入文字或音频实时合成语音、驱动数字人口型再通过 WebRTC、RTMP 或虚拟摄像头推出去。整条管线很短用户输入 →可选LLM 生成回复 → TTS 合成语音 → 数字人口型推理 → 音视频推流。下面按先跑起来再搞懂原理最后处理踩坑的顺序讲。 三步把数字人直播跑起来第一步装好运行环境项目在 Ubuntu 22.04、Python 3.12、PyTorch 2.9.1、CUDA 12.8 上验证过。先建一个独立环境git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream conda create -n livetalking python3.12 conda activate livetalking然后按 requirements.txt 装依赖。如果你有 N 卡注意 PyTorch 的 CUDA 版本要和驱动匹配先用nvidia-smi确认一下再装对应的 wheel。第二步放模型文件数字人模型文件统一放进 models/ 目录。以最快的 wav2lip 为例把下载的wav2lip256.pth拷到models/下并改名为wav2lip.pth再解压wav2lip256_avatar1.tar.gz把里面的整个文件夹放进data/avatars/目录这个文件夹就是数字人的形象资产原始视频帧 参考音频。第三步一行命令启动打开浏览器看画面python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1启动后访问http://服务器IP:8010/index.html点开始连接数字人视频就播出来了。在右侧文本框输入一句话提交她会开口复述也可以切换成 chat 模式让 LLM 接话。这个页面其实就是一个现成的调试台左边选 Avatar ID 和参考音频右边分别是POST /human文本驱动和POST /humanaudio音频文件直接播放的表单下方还有录制控制。跑通它后面所有功能都有锚点了。 画面推到哪里四种输出通道跑通之后第一个要决策的问题不是画质而是观众从哪看到她。启动参数--transport控制这条通道可选webrtc/rtmp/virtualcam/rtcpush四种对应完全不同的落地场景。通道启动参数适合场景WebRTC--transport webrtc低延迟对话、客服、大屏讲解浏览器直连RTMP--transport rtmp推 B站、视频号等直播平台24 小时无人直播虚拟摄像头--transport virtualcam让数字人坐进会议软件里当发言人WHEP标准协议接入把数字人嵌入自己的 App 或网页前端自行发起 SDPRTMP 是 24 小时直播的主力。配合动作编排下面会讲无人值守时画面不会呆滞直播平台的推流地址通过--push_url传入具体参数写法看 config.py 里的说明。虚拟摄像头是最容易低估的一条路。它把数字人输出成一台系统摄像头设备任何会议软件、直播软件都能把它当真人摄像头用在 virtualcam_guide.md 里有完整的 OBS 配置步骤。一个容易踩的概念webrtc 通道是拉rtmp / virtualcam 是推。webrtc 模式下每个前端连接都分配独立的sessionid支持多用户并发每个连接还能在POST /offer时指定不同的avatar和音色而 rtmp 和 virtualcam 模式启动时直接起一个后台渲染线程持续出图不需要等客户端。⚙️ 她是怎么张嘴的管线与模型选型输出通道解决给谁看接下来回答画面从哪来。整条数据流可以参考这张架构图拆开看每个数字人形象 一段原始视频 一份音频特征。TTS 把文字变成音频特征提取模块avatars/audio_features/ 下有 hubert、whisper、mel 多种实现把音频转成口型推理需要的声学特征模型只重绘嘴部区域再贴回原始高清帧。只重绘嘴部、其余部分用原片这一点很关键——它决定了画质下限由你的原片决定也决定了 GPU 开销主要花在口型推理上。系统内置三款模型选型就看你的显卡模型实测推理帧率建议显卡wav2lip256RTX 306060 FPSRTX 3080Ti120 FPSRTX 3060 及以上musetalkRTX 3080Ti42 FPSRTX 409072 FPSRTX 3080Ti 及以上ultralight轻量方案低配卡可跑入门显卡wav2lip 上手最快、要求最低适合先跑通musetalk 口型更自然但吃显卡正式商用再上。三款模型各自的推理代码都在 avatars/ 目录下wav2lip/、musetalk/、ultralight/切换模型只需要改--model参数和对应的形象目录不用改代码。 多形象、打断、动作编排进阶能力跑通单路之后下面这些能力决定了它到底是demo还是能运营的系统。多形象并发。每路连接独立 sessionPOST /offer时传不同的avatar参数就能驱动不同形象--max_session控制并发上限默认 5。形象资产不是写死的——avatar.html 页面支持上传视频自动生成数字人形象背后是 docs/avatar_api.md 里那套任务 API创建任务、查进度、删任务。声音克隆。TTS 引擎是模块化的--tts参数可选 edgetts、gpt-sovits、cosyvoice、tencent、doubao、azuretts、qwentts 等实现都放在 tts/ 目录。配一个克隆音色的参考音频数字人就用你的声音说话。打断。客服和对话场景的刚需——用户插话时数字人立刻停口。Web 页面上打断开关对应POST /human的 type 参数echo 模式和 chat 模式都支持。动作编排。数字人不说话时的画面最容易穿帮。通过--customvideo_config传入一份 JSON可以编排空闲时播放自定义视频比如挥手、喝水这类小动作无人直播长时间不尴尬的关键就在这里。LLM 对话。--llm_provider默认走 dashscope 的 qwen-plus也可以指向任意 OpenAI 兼容网关对话逻辑封装在 llm.py。加上这一层文字 → 回复 → 语音 → 口型就闭环成了双向对话。这些模块能随意拼装靠的是 registry.py 的插件注册机制TTS、Avatar、Output 三类模块都走同一套注册方式想换推理后端或加一种 TTS照着现有插件写一个新类注册进去就行。 最常见的五个坑画面出不来WebRTC 模式要求服务端放行 TCP 8010 和 UDP 1-65536 全端口段只开 8010 是连不上的防火墙白名单先检查这里。实时性怎么算达标看后端日志里的两个数inferfpsGPU 推理帧率和finalfps最终推流帧率两者都要 ≥25 才算实时。低于 25 就降分辨率或换更快的模型。CPU 和 GPU 各管一摊不说话时并发数取决于 CPU视频压缩同时说话的路数取决于 GPU口型推理。评估机器配置时别只看显卡。虚拟摄像头看不到画面确认用的是 OBS 的 Virtual Camera 且系统里装好了虚拟摄像头驱动virtualcam_guide.md 里有对照截图。改配置不生效优先级是命令行参数 config.yaml 代码默认值见 config.py 的解析逻辑。把常用参数写进 yaml调试时再用命令行临时覆盖是最省心的用法。最常见的疑问其实是我该选哪个模型和哪条推流通道。给你一个决策锚点先用 wav2lip webrtc 跑通全流程确认链路没问题后按目标受众选通道——直播平台上播选 RTMP要交互选 WebRTC要进会议软件选虚拟摄像头显卡够 RTX 3080Ti 再考虑 musetalk 提画质。API 细节别猜三份文档照着调就行通用业务接口 docs/api.md、形象生成 docs/avatar_api.md、会话监控 docs/admin_api.md。【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考