Nunchaku FLUX.1-dev多LoRA协同：Ghibsky+Turbo-Alpha混合生成案例

Nunchaku FLUX.1-dev多LoRA协同GhibskyTurbo-Alpha混合生成案例1. 引言想用AI生成一张既有宫崎骏动画的梦幻感又有电影大片般动态冲击力的图片吗这听起来像是两个完全不同的风格但今天我要分享的就是如何让它们在一张图里完美融合。最近在玩Nunchaku FLUX.1-dev这个文生图模型时我发现了一个特别有意思的玩法同时加载两个风格迥异的LoRA模型——一个是充满童话色彩的“Ghibsky Illustration”另一个是主打动态效果的“FLUX.1-Turbo-Alpha”。单独用它们效果已经很惊艳了但如果把它们组合起来会发生什么化学反应这篇文章我就带你一步步在ComfyUI里实现这个“梦幻动感”的混合生成实验。我会从环境准备、插件安装一直讲到具体的参数设置和效果对比。即使你之前没怎么接触过ComfyUI或者LoRA跟着做也能轻松上手看到令人惊喜的生成效果。2. 环境准备与插件安装在开始我们的混合生成实验之前需要先把“舞台”搭好。这里主要指的是ComfyUI的运行环境以及Nunchaku FLUX.1-dev模型所需的插件。2.1 基础环境检查首先确保你的电脑满足以下基本要求显卡需要一块支持CUDA的NVIDIA显卡。因为FLUX.1-dev模型对显存要求不低我强烈建议使用24GB或以上显存的显卡比如RTX 4090。如果你的显卡显存稍小比如16GB也不用担心后面我们会提到可以选择量化版模型来降低显存占用。Python环境需要安装Python 3.10或更高版本。这是目前大多数AI工具链兼容性最好的版本。Git用于从代码仓库克隆必要的插件和工具。PyTorch需要安装与你的系统和CUDA版本匹配的PyTorch。通常安装最新稳定版即可。一个快速检查的方法是打开命令行终端依次输入以下命令看看是否都有正确输出python --version # 查看Python版本 nvidia-smi # 查看显卡信息和CUDA版本仅限NVIDIA显卡2.2 安装Nunchaku ComfyUI插件Nunchaku FLUX.1-dev模型需要专门的插件才能在ComfyUI中运行。安装过程很简单这里我推荐两种方法你可以选择自己觉得顺手的一种。方法一使用Comfy-CLI最省心如果你喜欢命令行操作并且希望步骤最少这个方法是最佳选择。Comfy-CLI是一个管理ComfyUI及其插件的命令行工具。# 1. 安装ComfyUI CLI工具 pip install comfy-cli # 2. 安装ComfyUI如果你已经安装过这一步可以跳过 comfy install # 3. 安装Nunchaku插件 comfy noderegistry-install ComfyUI-nunchaku # 4. 将插件移动到ComfyUI的正确目录通常会自动完成如果没自动移动就手动执行 # 假设你的ComfyUI安装在当前目录 mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes方法二手动安装控制感更强如果你更习惯手动操作或者想自定义安装路径可以按照以下步骤# 1. 克隆并安装ComfyUI如果已安装可跳过 git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI pip install -r requirements.txt # 2. 进入自定义节点目录克隆Nunchaku插件 cd custom_nodes git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes无论用哪种方法安装完成后都需要安装Nunchaku的后端依赖。从插件v0.3.2版本开始这个过程变得非常简单。启动ComfyUI后插件通常会提示你安装缺失的依赖或者你可以在插件目录下找到一个名为install_wheel.json的文件用它来一键安装/更新。3. 模型下载与工作流配置环境搭好了插件也装上了接下来就是准备“演员”——模型文件以及“剧本”——工作流。3.1 配置Nunchaku示例工作流Nunchaku插件自带了一些预设好的工作流文件这些文件定义了在ComfyUI中如何使用模型的完整流程。我们需要把这些工作流文件放到ComfyUI能识别的位置。# 进入你的ComfyUI安装根目录 cd ComfyUI # 创建用于存放示例工作流的目录如果不存在的话 mkdir -p user/default/example_workflows # 复制Nunchaku插件自带的工作流文件 cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/完成这一步后当你启动ComfyUI就能在网页界面里直接加载这些预设的工作流了非常方便。3.2 下载必需的模型文件这是最关键的一步。我们需要下载两类模型基础FLUX模型和Nunchaku FLUX.1-dev专属模型。你可以把它们想象成“引擎”和“专用车身”。3.2.1 下载基础FLUX模型必装这部分是FLUX系列模型的共享组件包括文本编码器和VAE变分自编码器。# 下载文本编码器模型会保存到 models/text_encoders 目录 # CLIP文本编码器 hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders # T5文本编码器更大效果更好 hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders # 下载VAE模型会保存到 models/vae 目录 hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae小提示hf命令来自huggingface_hub库。如果你还没安装可以先运行pip install huggingface_hub。这些模型文件都比较大尤其是T5xxl下载需要一些时间请耐心等待。3.2.2 下载Nunchaku FLUX.1-dev主模型核心这是我们今天实验的主角。根据你的显卡型号和显存大小需要选择不同的量化版本Blackwell架构显卡如未来的RTX 50系列使用FP4量化版。其他NVIDIA显卡如RTX 30/40系列优先使用INT4量化版在效果和速度上平衡得最好。显存紧张的用户如16GB显存可以考虑FP8量化版能显著降低显存占用。以最常用的INT4版本为例下载命令如下# 下载INT4量化的Nunchaku FLUX.1-dev主模型 # 模型会自动保存到 models/unet/ 目录 hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/3.2.3 下载LoRA模型本次实验的关键LoRA可以理解为模型的“风格滤镜”或“技能插件”。我们今天要混合使用的两个LoRA是Ghibsky Illustration赋予图像吉卜力宫崎骏动画风格的柔和、梦幻感。FLUX.1-Turbo-Alpha增强图像的动态效果、细节和清晰度让画面更有冲击力。你需要将它们下载到models/loras/目录。具体的下载来源可以在CivitAI、Hugging Face等模型社区搜索找到。确保下载的文件是.safetensors格式。假设你已经下载好了目录结构看起来应该是这样的ComfyUI/ ├── models/ │ ├── unet/ │ │ └── svdq-int4_r32-flux.1-dev.safetensors │ ├── loras/ │ │ ├── ghibsky_illustration.safetensors │ │ └── flux.1-turbo-alpha.safetensors │ ├── text_encoders/ │ │ ├── clip_l.safetensors │ │ └── t5xxl_fp16.safetensors │ └── vae/ │ └── ae.safetensors └── ...4. 启动ComfyUI与工作流加载一切准备就绪现在可以启动ComfyUI开始我们的创作了。4.1 启动ComfyUI服务在你的ComfyUI根目录下打开命令行运行python main.py如果一切正常你会看到类似下面的输出告诉你服务已经启动并显示访问地址通常是http://127.0.0.1:8188... Starting server To see the GUI go to: http://127.0.0.1:8188在浏览器中打开这个地址你就进入了ComfyUI的可视化操作界面。4.2 加载Nunchaku FLUX.1-dev工作流在ComfyUI网页界面点击右上角的“Load”按钮。在弹出的对话框中你应该能看到一个名为nunchaku-flux.1-dev.json的文件。请务必选择这个工作流。为什么选它因为这个工作流是专门为Nunchaku FLUX.1-dev优化过的并且原生支持同时加载多个LoRA模型这正是我们实现混合风格的关键。加载成功后你会看到一个包含许多节点的流程图别担心我们只需要关注其中几个关键部分。5. Ghibsky与Turbo-Alpha双LoRA混合生成实战现在进入最有趣的部分如何设置参数让吉卜力的梦幻感和Turbo的动态感同时在一张图里呈现。5.1 理解工作流中的关键节点加载nunchaku-flux.1-dev.json后找到以下几个核心节点通常它们会被清晰地分组和标注Checkpoint Loader (Nunchaku FLUX)这是加载我们主模型的节点。确保它指向你刚才下载的svdq-int4_r32-flux.1-dev.safetensors。LoRA Stack这是一个堆叠节点你可以在这里添加多个LoRA。我们将把Ghibsky和Turbo-Alpha都加进去。CLIP Text Encode (Prompt)这里是输入正面提示词的地方。CLIP Text Encode (Negative)这里是输入负面提示词不希望出现的内容的地方。KSampler采样器节点控制生成步数、采样方法等。VAE DecodeSave Image负责将模型输出的数据解码成图片并保存。5.2 配置双LoRA堆叠这是实现混合风格的核心步骤。找到“LoRA Stack”节点。它通常有多个输入槽位如lora1,lora2, ...。在lora1的输入处连接一个“Lora Loader”节点并在该节点中选择你下载的ghibsky_illustration.safetensors文件。可以设置一个权重比如0.7。这个权重控制风格影响的强度0.7意味着中等偏上的影响力。在lora2的输入处同样连接一个“Lora Loader”节点选择flux.1-turbo-alpha.safetensors文件。权重可以设置为0.8。Turbo-Alpha权重可以稍高一点因为它主要增强细节和动态不会完全覆盖Ghibsky的色彩风格。重要提示工作流可能默认已经启用了Turbo-Alpha LoRA。请检查其权重是否设置为1.0。如果是你可以将其调整到0.8以给Ghibsky风格留出空间。5.3 编写提示词与参数设置好的提示词是生成好图片的一半。对于这种风格混合提示词需要兼顾内容描述和风格引导。正面提示词示例(masterpiece, best quality, ultra detailed), 1girl, solo, long flowing hair, wearing a elegant dress, standing in a magical forest filled with glowing mushrooms and fireflies, (ghibli style:1.2), (dynamic lighting, cinematic, motion blur on falling leaves:1.1), serene expression, fantasy atmosphere(ghibli style:1.2)明确强调吉卜力风格并赋予较高权重1.2。(dynamic lighting, cinematic, motion blur...:1.1)请求动态光照、电影感和运动模糊这是为了激活Turbo-Alpha的特性。其他部分是画面内容描述。负面提示词示例(worst quality, low quality:1.4), deformed, distorted, disfigured, bad anatomy, watermark, signature, text, error, blurry, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra limbs, missing limbs负面提示词主要用于排除低质量和畸变的内容。采样器参数设置Steps步数由于我们使用了Turbo-Alpha LoRA它可以加速收敛。步数可以设置在12-16步之间既能保证质量速度也快。如果关闭了Turbo-Alpha步数必须增加到20步以上。CFG Scale提示词相关性FLUX模型对CFG比较敏感建议设置在3.0 - 5.0之间尝试。太高可能导致颜色过饱和或画面僵硬。Sampler采样器可以使用euler或dpmpp_2m它们比较稳定。Scheduler调度器使用karras或simple。5.4 生成与效果对比点击“Queue Prompt”按钮开始生成。等待片刻后你就能在预览区看到结果了。效果观察点色彩与氛围画面是否呈现出吉卜力风格特有的柔和、高饱和度、梦幻般的色彩天空、光影是否柔和细节与动态人物的发丝、衣物的纹理、场景中的树叶、光斑是否足够清晰、有质感画面是否有一种“动起来”的瞬间捕捉感融合度两种风格是和谐地融合在一起还是显得突兀如果Ghibsky风格过强画面可能偏平涂动画感如果Turbo-Alpha过强则可能更像写实摄影。这就需要回头调整两个LoRA的权重比例。你可以尝试固定其他参数只改变两个LoRA的权重例如 Ghibsky从0.5到1.0Turbo-Alpha从0.5到1.0生成一组图片直观地感受权重变化对最终风格的精确影响。6. 总结与进阶思路通过上面的步骤你应该已经成功在ComfyUI中用Nunchaku FLUX.1-dev模型混合Ghibsky和Turbo-Alpha两个LoRA生成出了独一无二的“梦幻动态”风格图片。6.1 核心要点回顾环境是基础足够的显存24GB为佳和正确的Python环境是流畅运行的前提。显存不足时果断选择INT4或FP8量化模型。插件与工作流使用官方的ComfyUI-nunchaku插件和nunchaku-flux.1-dev.json工作流是支持多LoRA协同工作的关键。模型存放要对主模型、LoRA、文本编码器、VAE必须放在ComfyUI对应的models/子目录下否则无法加载。双LoRA混合的精髓在于权重调节这不是简单的112而是通过两个权重滑块如0.7和0.8寻找两种风格的最佳平衡点。Ghibsky权重影响色彩和氛围Turbo-Alpha权重影响细节和动态。提示词是导演在提示词中明确写出你想要的风格关键词如“ghibli style”并合理使用括号()和权重:来强化引导。6.2 还能玩出什么花样今天的实验只是一个开始。Nunchaku FLUX.1-dev的强大之处在于其良好的兼容性和可控性。你可以继续探索更多LoRA混搭除了吉卜力和Turbo还可以尝试加入“水墨风”、“赛博朋克”、“复古胶片”等LoRA创造三风格甚至四风格的融合。与ControlNet结合使用OpenPose、Canny、Depth等ControlNet模型在混合风格的基础上精确控制人物的姿势、画面的构图和景深。调整基础模型Nunchaku FLUX.1-dev本身也有不同的版本和微调模型尝试更换基础模型再加载同样的LoRA看看效果有何不同。多LoRA协同就像为AI画家提供了多支不同特性的画笔你既是画家也是指挥家。通过调整权重指挥这些“画笔”在画布上和谐共舞最终创作出只属于你的独特作品。希望这个案例能激发你更多的创作灵感。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。