企业官网建设流程全解析

NAVA模型架构深度剖析：从Wan2.2到LTX音频VAE的完整组件解析

【免费下载链接】NAVA项目地址: https://ai.gitcode.com/hf_mirrors/ernie-research/NAVA

NAVA是一个强大的多模态模型，融合了先进的视觉和音频处理技术。它基于Wan2.2-TI2V-5B基础模型构建，集成了LTX音频VAE等关键组件，为用户提供了卓越的视听生成体验。

核心架构概览

NAVA采用了Align-then-Fuse MMDiT架构，以Wan2.2作为主干网络。这种架构设计使得模型能够有效地处理和融合文本、图像和音频等多种模态信息，实现高质量的多模态生成。

模型组件解析

Wan2.2 Video VAE

Wan2.2 Video VAE是NAVA模型的视觉处理核心，采用了Causal 3D ConvNet结构。它具有16×16×4的时空压缩能力和48个潜在通道，文件大小为2.7 GB。该组件负责将视频数据进行高效编码和解码，为后续的多模态融合奠定基础。其文件路径为：Wan2.2-TI2V-5B/Wan2.2_VAE.pth。

LTX Audio VAE + Vocoder

LTX Audio VAE + Vocoder是NAVA的音频处理关键组件，拥有128个潜在通道，支持25 tokens/sec的处理速度，并内置了波形解码器，文件大小为348 MB。该组件能够将音频信号转化为潜在空间表示，并在生成阶段将潜在表示还原为高质量的音频波形。相关文件位于params/LTX2/ltx-2.3-22b-dev_audio_vae.safetensors。

umt5-xxl Text Encoder

umt5-xxl Text Encoder基于T5架构，能够生成4096维的嵌入向量，文件大小达11 GB。它负责将文本信息转化为模型可理解的向量表示，为多模态生成提供文本指导。该组件的文件包括：Wan2.2-TI2V-5B/models_t5_umt5-xxl-enc-bf16.pth和Wan2.2-TI2V-5B/google/umt5-xxl/{spiece.model, tokenizer.json}。

模型配置与参数

NAVA的配置文件nava.yaml中指定了模型类型为NAVA，并设置了use_mmdit_model: true。在模型配置部分，分别指定了音频、视频和联合模型的配置文件路径：

• 音频配置：nava_src/models/nava/configs/model/dit/audio_tiny.json
• 视频配置：nava_src/models/nava/configs/model/dit/video_tiny.json
• 联合配置：nava_src/models/nava/configs/model/dit/NAVA_6B.json

这些配置文件详细定义了模型各部分的结构和参数，确保模型能够高效协同工作。

模型性能与特点

在联合视听模型中，NAVA提供的语音质量接近专用的纯音频系统。这得益于其精心设计的架构和各组件之间的高效协作。LTX音频VAE的Python代码位于nava_src/vendor/ltx_core/目录下（参见其NOTICE.md），无需单独克隆LTX-Video仓库。ReDimNet则在首次运行时通过torch.hub获取。

总结

NAVA模型通过整合Wan2.2-TI2V-5B（视频主干和VAE）、LTX 2.3（音频VAE和内置声码器）、umt5-xxl（文本编码器）和ReDimNet（说话人嵌入）等优秀的上游工作，构建了一个功能强大的多模态生成系统。各组件之间的协同工作使得NAVA在视听生成任务中表现出色，为用户提供了丰富的创作可能性。

要开始使用NAVA，你可以克隆仓库：https://gitcode.com/hf_mirrors/ernie-research/NAVA，获取所有必要的模型权重和代码文件，开启你的多模态生成之旅。

【免费下载链接】NAVA项目地址: https://ai.gitcode.com/hf_mirrors/ernie-research/NAVA