接上次使用Modly搭建一个图生3D的环境,当时选的模型TripoSG只能输出白模的模型,没有任何颜色,这次添加了一个新的模型可以直接生成彩色的3D模型,采用的Trellis2这个模型。还有最经Qwen Image 2.1不是出来了吗,说是本地生图没有任何限制,顺便也折腾了下,用的ComfyUI框架搭建的环境,采用docker进行部署,便于移植,这是我一贯的风格,不想二次折腾。
环境:ubuntu22,32G内存,RTX3060 12G
1 Modly框架
这里就不再讲搭建了可以看下之前的文档。
Modly + TripoSG 本地离线 3D 生成部署实战|Ubuntu + RTX3060 踩坑全记录
1.1 Trellis2效果
直接输出彩色3D模型,效果比TripoSG差些,还有空洞。
1.2 TripoSG+Texture效果
采用TripoSG生成白模,然后使用Texture进行贴图,最后得到彩色的3D模型,除了脸部整体还行吧。
2 ComfyUI框架
2.1 启动
采用docker 进行部署。
docker-compose.yml
services: comfyui: image: ghcr.io/umeairt/comfyui:latest container_name: comfyui ports: - "8188:8188" environment: - TZ=Asia/Shanghai - NODE_TIER=full volumes: - /home/xxx/workspace/comfyui/models:/app/models - /home/xxx/workspace/comfyui/output:/app/output - /home/xxx/workspace/comfyui/input:/app/input - /home/xxx/workspace/comfyui/custom_nodes:/app/custom_nodes - /home/xxx/workspace/comfyui/user:/data/user - /home/xxx/workspace/comfyui/user:/app/user # 【新版标准GPU写法,替代 runtime: nvidia】 deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] healthcheck: test: ["CMD", "curl", "-f", "http://127.0.0.1:8188"] interval: 30s timeout: 10s retries: 3 start_period: 60s restart: unless-stopped mem_limit: 28g cpus: 12 volumes: comfyui_custom_nodes: comfyui_user:# 准备 mkdir comfyui cp docker-compose.yml comfyui mkdir models output input custom_nodes user #创建目录 # 启动 cd comfyui docker-compose up -d # 关闭 docker-compose down2.2 web端
打开浏览器访问:http://127.0.0.1:8188,基本界面就是这样的,自己安装后可以自由探索。
它里面的集成了各种工作流还是很方便的,不用自己去搭建工作流,直接使用别人的模板。
2.3 模型下载
可以上modelscope和huggingface上下载,具体下载地址,如果是使用的模板里面的工作流,可以直接在工作流中找到下载地址,还有下载后存放的路径等。下图就是我用的模板里面的一个工作流。
注意:需要根据自己的硬件设备下载合适的模型,避免报显存。
2.4 效果
1.文生图
这个是采用qwen image 2.1 Q5量化的模型跑的。1024X1024分辨率的,效果很好。
2.图生图
下图是通过图生图做的,就给了一段提示词:“在图中杯子旁边生成一个美女,手拿着杯子微笑。”
生成的效果确实很自然,很高清。
3.图生3D
卡通人物:
采用卡通人物图像生成的3D,整体效果还行,细节还是有些问题。
真实人物:
感觉人脸部还是不好,可能是离线模型原因吧,不知道全量模型是什么效果。
3 总结
1.ComfyUI有很多工作流模板可以使用,不用自己搭建工作流,都是更好的AIGC开发框架。
2.可以使用docker部署方便,Modly无法docker部署。
3.Modly对于环境的依赖比较强,每个模型都需要重新下载安装环境,导致磁盘占用空间太大,ComfyUI没有太多环境的依赖,只需要下载模型。
4.ComfyUI生态很成熟,Modly是才出来的一个框架,没啥生态。
5.目前看文生图、图生图的效果,本地消费级显卡的效果都很好了,但是图生3D还不是很好,无法生成直接3D打印,可能还是要全量模型才能有比较好的效果吧。
实操视频:
Modly + ComfyUI实战
如果本文对你有帮助,欢迎点赞、关注、收藏。
遇到问题可以评论区留言交流,也欢迎转发给需要的朋友。