企业官网建设流程全解析

深入理解参考表：LTX-2.3-22b-IC-LoRA-Ingredients控制信号设计与优化

LTX-2.3-22b-IC-LoRA-Ingredients是基于LTX-2.3-22B基础模型开发的IC-LoRA（in-context LoRA）模型，通过参考表（reference sheet）控制视频生成，确保生成的视频在视觉上保持角色、道具和场景的一致性。本文将深入解析该模型控制信号的设计原理与优化策略，帮助用户更好地应用这一强大工具。

控制信号设计核心：参考表的作用与结构

参考表的定义与功能 📄

参考表是一个复合图像，在黑色背景上以清晰的面板形式展示场景中的角色、道具和位置。每个视觉元素（如角色的面部特写和全身周转图、道具的产品式渲染、场景的清晰展示）都有独立的面板。这种设计使模型能够在生成视频时准确识别并保持这些元素的视觉一致性。

控制信号的技术实现 🔧

模型采用video_to_video策略对参考表潜变量进行训练，在推理时不应用额外的颜色/空间变换。参考表以静态视频的形式提供（将静态参考表循环到输出视频的长度和帧率），其分辨率与输出视频相同（下采样因子为1）。这种设计确保了参考表信息能够被模型准确读取和应用。

控制信号输入要求与最佳实践

输入格式规范 📋

• 控制信号类型：参考表，需为黑色背景上的复合图像，每个视觉元素有独立清晰的面板，无文字。
• 输入形式：由参考表构建的静态视频，需循环匹配输出视频的长度和帧率，分辨率与输出相同。
• 预处理步骤：使用元素驱动的参考表生成器制作参考表，然后将静态图像循环为静态视频。视频帧数必须≥121，以满足参考编码的121帧读取桶要求。

对齐与兼容性要求 📏

参考视频应与输出视频的分辨率和帧率匹配，其帧数必须至少等于输出长度（且≥121）。不满足这些要求可能导致模型无法正确读取参考信息，影响生成视频的一致性。

控制信号优化策略与技巧

参考表设计优化 ✨

• 面板大小：元素在参考图像中占据的空间越大，其在生成视频中的表现就越忠实。为重要的角色/道具提供更大、更突出的面板，而非小而拥挤的面板。
• 元素清晰度：确保参考表中的每个元素都清晰可辨，特别是角色的面部特写和全身周转图，这有助于减少身份漂移。
• 避免干扰：参考表面板应避免杂乱或包含文字，保持简洁干净，以便模型准确识别元素。

推理参数优化 🔍

• LoRA强度/权重：建议设置为1.4，这个值在保持参考表控制的同时，允许生成视频有一定的创造性。
• 推理步数：30步是一个平衡生成质量和速度的选择，足够的步数有助于模型更好地处理参考信息。
• 引导尺度：4.0的引导尺度能够较好地平衡参考表遵循和生成视频的自然性。
• 时空引导（STG）：使用模式stg_v、块29、尺度1.0的时空引导可以帮助提高运动稳定性。

提示词优化 📝

采用两部分提示词结构：

Reference sheet: <描述参考表中的面板内容——角色、道具、位置> Generated video: <描述你想要生成的动作/镜头>

在Reference sheet:部分详细描述参考表中的元素，在Generated video:部分驱动动作。建议使用负面提示词：worst quality, inconsistent motion, blurry, jittery, distorted，以减少生成视频中的质量问题。

常见问题与解决方案

身份漂移问题 🔄

如果角色的面部或服装出现漂移，检查参考表是否包含该角色清晰的正面特写和完整的周转图，确保其面板不杂乱或包含文字。调整LoRA强度也可能有助于解决此问题。

元素未出现问题 ❓

模型只会重现参考表中存在的元素。如果某个道具/角色未出现在生成视频中，需为其添加专门的面板，并在提示词的Reference sheet:部分描述该元素。

参考视频过短问题 ⏳

参考静态视频必须≥121帧，较短的参考会破坏参考编码桶。确保参考视频的帧数满足要求，必要时延长循环时间。

模型文件与使用方法

模型文件 📁

项目中的主要模型文件为ltx-2.3-22b-ic-lora-ingredients-0.9.safetensors，包含了训练好的IC-LoRA权重。

在ComfyUI中使用 🔌

1. 将LoRA权重复制到models/loras目录。
2. 加载LTX-2.3-22B基础模型，并添加ltx-2.3-22b-ic-lora-ingredients-0.9.safetensors作为LoRA。
3. 从LTX-2 ComfyUI仓库使用IC-LoRA/参考工作流，该工作流已连接参考（控制）输入。将参考表静态视频作为控制/参考输入连接；忽略参考路径的通用LoRA加载器不会应用条件。

通过深入理解LTX-2.3-22b-IC-LoRA-Ingredients的控制信号设计与优化策略，用户可以更有效地利用参考表来生成视觉一致性高的视频内容。遵循本文介绍的最佳实践和技巧，将帮助你充分发挥该模型的潜力，创造出令人印象深刻的视频作品。