从零跑通 Gemini API：覆盖实时音乐生成与多模态应用的完整实战指南-二趣网

从零跑通 Gemini API：覆盖实时音乐生成与多模态应用的完整实战指南

【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook

如果你刚接触 Gemini API，面对几十个 Notebook 不知道从哪读起、又该怎么把零散能力拼成完整应用，那这份官方示例库（Gemini API Cookbook）就是最好的起点。它把 API 的能力拆成了两类可运行的教程：quickstarts/目录教单项功能，examples/目录演示多能力组合成真实应用。你不需要先啃完官方文档，跟着仓库里的路径走，每个功能都有现成代码可以跑。

📚 能力速览：一个仓库装下整个 Gemini 生态

这个仓库的内容量不小，但组织方式很简单，翻一遍目录就有底了：

入门主线：quickstarts/Get_started.ipynb（快速上手教程，覆盖基础提示与多模态输入），以及quickstarts/Authentication.ipynb（教你配置 API Key）
实时能力：Lyria RealTime 流式音乐生成、Live API 低延迟语音/视频流、Live Translation 实时翻译
内容生成：Nano-Banana 原生图像生成、Veo 与 Omni Flash 视频生成、TTS 语音合成
工程能力：Function Calling、Grounding（搜索增强）、Batch 批量调用、Embeddings、流式输出
生态集成：examples/qdrant/、examples/weaviate/、examples/langchain/等向量库与框架的对接示例

它本质是一本"能运行的 API 手册"：每个功能一个 Notebook，每个 Notebook 都带完整可复制的代码。

⚡ 环境准备：3 条命令跑通你的第一次调用

准备工作非常轻：一台能跑 Python 的电脑，加一个从 Google AI Studio 申请的 API Key。先克隆仓库并安装依赖（Lyria RealTime 本地脚本额外需要pyaudio和websockets）：

git clone https://gitcode.com/GitHub_Trending/coo/cookbook cd cookbook pip install google-genai pyaudio websockets

然后设置环境变量，直接跑仓库里的本地脚本试试实时音乐生成：

export GOOGLE_API_KEY="你的API密钥" python quickstarts/Get_started_LyriaRealTime.py "80 BPM 的舒缓钢琴曲"

Get_started_LyriaRealTime.py是一个可独立运行的 Python 脚本，它会从命令行接收提示词，通过 websocket 流式接收并播放音乐。想先试最简单的文本对话，就打开quickstarts/Get_started.ipynb（官方推荐的第一个教程）。

🎵 核心能力拆解：实时音乐、多模态与图像生成

边听边改的 Lyria RealTime 实时音乐

Lyria RealTime 是 DeepMind 的流式音乐生成模型，走 websocket 长连接，音乐不会"生成完再给你"，而是持续不断地流出来。它的最大亮点是实时可控：你可以随时用文本提示词混搭风格（描述乐器、流派、情绪，还能按权重混合），也能直接改参数——bpm（节拍速度）、scale（音阶）、guidance（提示遵循强度）、density（音符密度）、brightness（明暗度），模型会平滑过渡到新状态，而不是重新生成。

本地脚本quickstarts/Get_started_LyriaRealTime.py支持交互式控制台：输入play、pause、bpm=120这类指令，音乐立刻响应。两个小提醒：它目前还是预览功能，免费但有配额限制；在 Colab 里跑受环境限制体验不到真正的实时性，建议用本地脚本或 AI Studio 里的 Prompt DJ / MIDI DJ 应用完整体验。

一张图、一段视频、一个 PDF 都能聊

Gemini 的多模态输入在quickstarts/里被拆成了独立教程：Audio.ipynb（音频理解）、Video_understanding.ipynb（视频分析）、PDF_Files.ipynb（PDF 处理）、File_API.ipynb（上传音视频图文等文件再操作）。下面这张猫图就是仓库里多个入门教程共用的示例素材，用来演示"把图片塞进提示词"这个最基本的多模态操作：

入门教程中的多模态示例图片，文本加图片混合输入是 Gemini 的基本功

从草图到成稿：原生图像生成

quickstarts/Get_Started_Nano_Banana.ipynb教你用 Gemini 原生图像生成能力，直接输出图像并支持多轮对话式修改；examples/Sketch2Paint.ipynb则演示"手绘草图变艺术画"。下面这座城堡线稿风格插画，就来自examples/Book_illustration.ipynb（给开源书自动配图）那类实战示例的产出：

图像生成与结构理解结合的示例产出，展示 Gemini 对构图细节的把握

🚀 实战场景：把示例直接变成你的项目

场景一：给整本书批量配插画

场景描述：手头一本开源书籍或电子教材，需要风格统一的配图。
实现思路：用examples/Book_illustration.ipynb里的套路——把章节文本喂给 Gemini，结合原生图像生成和结构化输出，控制每张插画的构图与风格。
关键步骤：先跑quickstarts/Get_Started_Nano_Banana.ipynb熟悉图像生成参数，再回到 Book_illustration 示例，把"整章配图"拆成"逐段出图 + 结构化校验"。

场景二：给私有文档建可检索问答

场景描述：想让自己的文档、日志、表格"开口说话"。
实现思路：仓库提供两条路线——托管式 RAG 用quickstarts/File_Search.ipynb（上传后直接搜索，不用自己搭向量库）；自建路线用quickstarts/Embeddings.ipynb加examples/Talk_to_documents_with_embeddings.ipynb，再配合examples/qdrant/（含相似度搜索和电影推荐两个完整示例）或examples/weaviate/（自带docker-compose.yml，一键起服务）。
关键步骤：先决定"托管还是自建"，再按对应 Notebook 走通"上传 → 向量化 → 检索 → 生成"四步。

场景三：做一个能听语音的硬件小玩意

场景描述：想把 Gemini 接进 ESP32 这类硬件，做语音控制的灯、玩具或艺术装置。
实现思路：实时音频能力依赖 Live API 的 websocket 协议，quickstarts/websockets/目录给了三把钥匙：Get_started_LiveAPI.py（本地可跑的 Python 脚本）、shell_websockets.sh（用 websocat 在终端直接和 Live API 对话）、Get_started_LiveAPI.ipynb（Colab 版总览）。
关键步骤：先用examples/gradio_audio.py在本地起一个 Live API 实例熟悉协议，再参考examples/iot/esp32/voice_led_controller/里的接线与固件思路，把它搬到你的硬件上。

仓库 IoT 示例中的接线图：麦克风、扬声器与 ESP32 的完整连接关系

🔧 进阶技巧 & 避坑指南

你可能遇到的情况	建议做法
脚本提示找不到 API Key	它读的是`GOOGLE_API_KEY`环境变量，`export`后再运行；`quickstarts/file-api/`的示例改用`.env`文件存 Key
音乐播放有卡顿或延迟	Lyria RealTime 脚本里`BUFFER_SECONDS`参数：调大减少断流但增加延迟，调小更跟手，按网络情况折中
长回复等太久	用`quickstarts/Streaming.ipynb`学流式输出，逐段拿到结果
大批量非实时任务太贵	用`quickstarts/Batch_mode.ipynb`的 Batch API，仓库 README 里标注可拿到最高 90% 的折扣
速度、成本、稳定性要平衡	看`quickstarts/Inference_tiers.ipynb`，学会用 Priority / Flex 两档推理层级
异步任务（批量、视频生成）不知道何时完成	配`quickstarts/Webhooks.ipynb`，完成后 API 主动回调通知你
想理解底层协议而不只是调 SDK	`quickstarts/rest/`有一整套 REST 版 Notebook（函数调用、流式、Embeddings 等），对照 SDK 版本看差异

🗺️ 资源导航 & 学习路线

按这条由浅入深的路线走，两周左右能覆盖仓库里 80% 的内容：

quickstarts/Authentication.ipynb：5 分钟配好 Key，这是所有教程的前提
quickstarts/Get_started.ipynb：完成第一次文本调用和多模态输入
quickstarts/Get_started_LyriaRealTime.ipynb配合同名.py脚本：体验实时音乐生成的完整交互
quickstarts/按需挑专题：Streaming.ipynb、JSON_mode.ipynb、Function_calling.ipynb、Grounding.ipynb、Models.ipynb
examples/挑一个贴近你业务的组合应用精读，比如Sketch2Paint.ipynb或Search_grounding_for_research_report.ipynb
examples/prompting/：14 个提示词技巧的独立 Notebook（零样本、少样本、思维链等），写提示卡壳时回来翻
前端同学可以看看quickstarts-js/，里面是 Audio、Counting_Tokens、Image 输出的 JavaScript 版示例

别让它躺在收藏夹里——今晚就把quickstarts/Get_started.ipynb打开跑一次第一次调用，再挑一个你最想做的场景（配图、问答还是实时音乐），照着对应示例动手，卡住的地方仓库里基本都有现成答案。

【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

企业官网建设流程全解析