Lyria RealTime 快速上手3 步对话式生成实时音乐【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook假设你在剪辑短片或做直播想让背景音乐从“舒缓钢琴”一句话切成“轻快电子”Google 的 Gemini Lyria RealTime 模型就是干这个的它以流式方式持续生成纯器乐实时音乐你可以在播放过程中随时改风格、调速、换调。这篇文章以官方示例仓库 cookbook 为准走一遍实时音乐生成的完整流程。Lyria RealTime 能做什么、不能做什么先把能力边界说清楚避免期望错位能持续生成纯器乐通过 websocket一种双向长连接通道不断下发音频小块而不是生成一段固定时长的片段就结束能在播放中实时改音乐会话不中断发新提示词后曲风逐步转向能单独调参数速度BPM每分钟节拍数、音阶大小调、采样多样性top_k控制生成随机性各自独立设置不能生成人声目前只输出器乐没有歌手演唱还是预览功能模型名lyria-realtime-exp中的 exp 表示实验性API 走 v1alpha 版本当前免费但有配额限制行为可能变化。准备工作两条命令跑通示例需要 Python 3.9 及以上环境和一个 Gemini API key。克隆示例仓库git clone https://gitcode.com/GitHub_Trending/coo/cookbook安装依赖本地实时播放用 PyAudio 驱动声卡pip install -U google-genai pip install pyaudio websockets设置 API key从 Google AI Studio 获取export GOOGLE_API_KEY你的key核心示例是本地可运行的 quickstarts/Get_started_LyriaRealTime.pyColab 版 quickstarts/Get_started_LyriaRealTime.ipynb 因浏览器环境无法播放实时音频适合用来理解流程实际体验请用 Python 脚本。实时音乐生成三步走第 1 步打开会话播放第一首python quickstarts/Get_started_LyriaRealTime.py脚本内部三个关键调用完成首次播放client.aio.live.music.connect(model...)建立连接set_weighted_prompts发送初始提示词示例用 Pianosession.play()启动音频流。之后音频块以 48000 Hz、双声道、16 位格式连续写入声卡。第 2 步播放中发一行命令脚本启动后终端持续等待输入命令不中断播放输入作用play/pause恢复 / 暂停bpm80变速到 80 拍每分钟bpmAUTO恢复自动scaleC_MAJOR切换音阶大小调top_k50调整生成多样性lofi beats:2, piano:1带权重的多提示词lofi 风格占比更大q结束会话注意改 bpm、scale、top_k 后示例会调用reset_context()重置上下文让新参数从头生效带权重的提示词里权重可以为小数甚至负数但不能为 0。第 3 步理解缓冲处理被过滤的提示词示例中BUFFER_SECONDS1播放前先攒 1 秒缓冲吸收网络抖动避免爆音。代码注释写得很直白——缓冲越大越不容易掉音但播放和命令响应的延迟也越大网络不稳时可以把它调大。如果提示词触发内容安全过滤模型不会报错而是回一条filtered_prompt消息终端里看到它就说明这段内容被拦下需要换个说法重写。调优技巧输入示例 → 生成效果输入Piano单提示词→ 纯钢琴独奏想叠加音色改用带权重写法如warm piano:2, soft strings:1前半占主导、弦乐作铺底输入bpm70→ 曲速明显放慢情绪变松弛bpm140→ 节奏紧凑紧张输入scaleC_MINOR→ 从明亮转忧郁音阶必须写 SDKtypes.Scale枚举里的值拼错只会提示 “Matching enum not found”输入较小的top_k→ 旋律选择更保守、重复增多想要更多意外感就调大。实操建议一次只改一个变量效果好坏才归因得清。上图是 AI 生成的手绘城堡适合“先生成画面、再配实时 BGM”这类组合创作场景。常见问题现象可能原因解决办法连接成功但没声音PyAudio 装不上或系统无输出设备Linux 先装 PortAudio用python -c import pyaudio; print(pyaudio.PyAudio().get_device_count())确认设备数音频断音、卡顿网络抖动、缓冲过小调大BUFFER_SECONDS改参数后没变化上一命令未生效或改的项没有重置上下文等几秒再发bpm/scale/top_k 在示例中会自动 reset提示词被拦截音乐停更触发内容安全过滤看filtered_prompt日志改写措辞在 Colab 里听不到实时音频浏览器环境无法播放实时流换本地 Python 脚本或试用 AI Studio 的 Prompt DJ、MIDI DJ 应用场景延伸短视频 / 直播的动态配乐剪辑时按场景发对应提示词开场 lofi、冲突段落电子、结尾钢琴把实时音频流录下来当临时代声成片后用同一套参数重跑整段保证风格一致。游戏氛围乐不预置长曲目而是让模型循环播放基底旋律按玩家状态战斗中紧张、探索时舒缓发风格切换指令并用 bpm 与带权重提示词实时调节紧张度。写在最后Lyria RealTime 把“给音乐写提示词”变成了可以边听边改的实时过程连会话、发提示词、调参数三步就能跑起来。想继续深入建议按 quickstarts/Get_started_LyriaRealTime.py本地实时体验→ quickstarts/websockets/Get_started_LyriaRealTime_websockets.ipynb看懂底层 websocket 协议→ quickstarts/Get_started_Lyria.ipynb非实时的 Lyria适合批量生成对比的顺序阅读。【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Lyria RealTime 快速上手：3 步对话式生成实时音乐
Lyria RealTime 快速上手3 步对话式生成实时音乐【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook假设你在剪辑短片或做直播想让背景音乐从“舒缓钢琴”一句话切成“轻快电子”Google 的 Gemini Lyria RealTime 模型就是干这个的它以流式方式持续生成纯器乐实时音乐你可以在播放过程中随时改风格、调速、换调。这篇文章以官方示例仓库 cookbook 为准走一遍实时音乐生成的完整流程。Lyria RealTime 能做什么、不能做什么先把能力边界说清楚避免期望错位能持续生成纯器乐通过 websocket一种双向长连接通道不断下发音频小块而不是生成一段固定时长的片段就结束能在播放中实时改音乐会话不中断发新提示词后曲风逐步转向能单独调参数速度BPM每分钟节拍数、音阶大小调、采样多样性top_k控制生成随机性各自独立设置不能生成人声目前只输出器乐没有歌手演唱还是预览功能模型名lyria-realtime-exp中的 exp 表示实验性API 走 v1alpha 版本当前免费但有配额限制行为可能变化。准备工作两条命令跑通示例需要 Python 3.9 及以上环境和一个 Gemini API key。克隆示例仓库git clone https://gitcode.com/GitHub_Trending/coo/cookbook安装依赖本地实时播放用 PyAudio 驱动声卡pip install -U google-genai pip install pyaudio websockets设置 API key从 Google AI Studio 获取export GOOGLE_API_KEY你的key核心示例是本地可运行的 quickstarts/Get_started_LyriaRealTime.pyColab 版 quickstarts/Get_started_LyriaRealTime.ipynb 因浏览器环境无法播放实时音频适合用来理解流程实际体验请用 Python 脚本。实时音乐生成三步走第 1 步打开会话播放第一首python quickstarts/Get_started_LyriaRealTime.py脚本内部三个关键调用完成首次播放client.aio.live.music.connect(model...)建立连接set_weighted_prompts发送初始提示词示例用 Pianosession.play()启动音频流。之后音频块以 48000 Hz、双声道、16 位格式连续写入声卡。第 2 步播放中发一行命令脚本启动后终端持续等待输入命令不中断播放输入作用play/pause恢复 / 暂停bpm80变速到 80 拍每分钟bpmAUTO恢复自动scaleC_MAJOR切换音阶大小调top_k50调整生成多样性lofi beats:2, piano:1带权重的多提示词lofi 风格占比更大q结束会话注意改 bpm、scale、top_k 后示例会调用reset_context()重置上下文让新参数从头生效带权重的提示词里权重可以为小数甚至负数但不能为 0。第 3 步理解缓冲处理被过滤的提示词示例中BUFFER_SECONDS1播放前先攒 1 秒缓冲吸收网络抖动避免爆音。代码注释写得很直白——缓冲越大越不容易掉音但播放和命令响应的延迟也越大网络不稳时可以把它调大。如果提示词触发内容安全过滤模型不会报错而是回一条filtered_prompt消息终端里看到它就说明这段内容被拦下需要换个说法重写。调优技巧输入示例 → 生成效果输入Piano单提示词→ 纯钢琴独奏想叠加音色改用带权重写法如warm piano:2, soft strings:1前半占主导、弦乐作铺底输入bpm70→ 曲速明显放慢情绪变松弛bpm140→ 节奏紧凑紧张输入scaleC_MINOR→ 从明亮转忧郁音阶必须写 SDKtypes.Scale枚举里的值拼错只会提示 “Matching enum not found”输入较小的top_k→ 旋律选择更保守、重复增多想要更多意外感就调大。实操建议一次只改一个变量效果好坏才归因得清。上图是 AI 生成的手绘城堡适合“先生成画面、再配实时 BGM”这类组合创作场景。常见问题现象可能原因解决办法连接成功但没声音PyAudio 装不上或系统无输出设备Linux 先装 PortAudio用python -c import pyaudio; print(pyaudio.PyAudio().get_device_count())确认设备数音频断音、卡顿网络抖动、缓冲过小调大BUFFER_SECONDS改参数后没变化上一命令未生效或改的项没有重置上下文等几秒再发bpm/scale/top_k 在示例中会自动 reset提示词被拦截音乐停更触发内容安全过滤看filtered_prompt日志改写措辞在 Colab 里听不到实时音频浏览器环境无法播放实时流换本地 Python 脚本或试用 AI Studio 的 Prompt DJ、MIDI DJ 应用场景延伸短视频 / 直播的动态配乐剪辑时按场景发对应提示词开场 lofi、冲突段落电子、结尾钢琴把实时音频流录下来当临时代声成片后用同一套参数重跑整段保证风格一致。游戏氛围乐不预置长曲目而是让模型循环播放基底旋律按玩家状态战斗中紧张、探索时舒缓发风格切换指令并用 bpm 与带权重提示词实时调节紧张度。写在最后Lyria RealTime 把“给音乐写提示词”变成了可以边听边改的实时过程连会话、发提示词、调参数三步就能跑起来。想继续深入建议按 quickstarts/Get_started_LyriaRealTime.py本地实时体验→ quickstarts/websockets/Get_started_LyriaRealTime_websockets.ipynb看懂底层 websocket 协议→ quickstarts/Get_started_Lyria.ipynb非实时的 Lyria适合批量生成对比的顺序阅读。【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考