AI Toolkit LoRA训练新手保姆级教程 ,附Z-image-lora详细训练教程

摘要：AI Toolkit是由Ostris开发的一站式扩散模型训练套件，专为消费级硬件设计，提供最新模型训练支持。该项目具有多模型支持、硬件兼容性强、多模态训练和灵活部署等特点。用户可通过GUI或CLI两种方式运行，界面直观，包含作业监控、GPU资源监控和日志查看等功能。AI Toolkit支持LoRA微调等主流训练方式，并提供批次处理优化和详细配置文档。安装需要Python 3.10以上版本、NVIDIA GPU和足够内存，以及Node.js环境。使用流程包括上传数据集、配置模型参数、设置训练任务等步骤。训练过程中可实时查看进度和测试图像生成效果。作为综合性AI开发工具集，AI Toolkit为开发者提供从模型训练到部署的全流程支持，其易用性和功能丰富性使其成为AI领域的重要开源项目，适合研究人员、开发者和AI爱好者使用。

一、什么是AI Toolkit？

AI Toolkit 是由 Ostris 开发的一站式扩散模型训练套件，旨在为消费者级硬件提供最新的模型训练支持。该项目设计注重易用性，同时集成了丰富的功能，可通过 GUI（图形界面）或 CLI（命令行）两种方式运行。

核心特点
多模型支持：涵盖多种主流扩散模型，包括 FLUX.1、SDXL、SD 1.5 等，且持续更新以支持最新模型
硬件兼容性：针对消费级硬件优化，例如支持在 24GB VRAM 的 3090 显卡上微调 FLUX Dev 模型
多模态训练：支持图像和视频模型训练，包括 Wan I2V 等视频模型的训练功能
灵活部署：可本地运行，也支持在 Runpod 等云平台部署（提供官方 Runpod 模板）

功能亮点
提供直观的 UI 界面，包含作业监控、GPU 资源监控、日志查看等功能
支持多种训练模式，包括 lora 微调等主流训练方式
具备批次处理优化、配置项说明文档等辅助功能
持续更新迭代，近期更新包括视频模型配置优化、更多模型支持等

二、环境准备与安装

ai-toolkit插件：https://github.com/ostris/ai-toolkit

要求：

• python >3.10
• 具备足够运行内存的 Nvidia GPU
• python venv
• git

进入到ai-toolkit的文件目录下，运行里面的启动.bat

下载上面一键包后，我们进入到ai-toolkit的文件目录下，运行里面的启动.bat

运行这个的前提是你本地安装好了nodejs，如果没有，到上一级目录安装一下：

成功启动后，你在后台命令行窗口可以看到下面这样的网址:http://localhost:8675

打开后就可以看到运行界面了

四、训练教程

（1）上传数据集

• 点击上传按钮
• 选择您的 datasets 文件

（2）更改模型

• 将模型设置更改为 z-image
• 确保所有文件路径配置正确

（3） 启动训练

• 检查配置无误后
• 点击一键启动按钮即可开始

在Datasets里面上传你的素材图，刚开始会弹出让你输入一个素材集的名称，我这里是设置zsh

我这里没有打标，直接使用。

第二步：新建训练任务

然后点击左侧的New Job，就可以看到设置参考的界面了。

要设置的地方其实不多，几个核心区域设置下就行

首先，如下图所示，需要设置lora名称、触发词、要训练的模型类型、然后就是2个路径。

1. G:\lora_train\ai-toolkit\Z-Image-Turbo
2. G:\lora_train\ai-toolkit\zimage_turbo_training_adapter\zimage_turbo_training_adapter_v1.safetensors

大家根据自己下载存放的路径设置即可。
接着设置下总步数，默认3000步，我也是按这个跑的。

然后，在DATASETS这里选择我们上一步上传的数据集。

最后就是采样设置，这里是每250步生成一个模型，8步采样，宽高设置，最后给出一组提示词，用来测试生成的模型出图效果。

这几步骤都设置好了，就可以了，点击右上角的Create Job就算创建任务成功。

这些都好了，就可以开始训练了，点击左侧Training Quene菜单，点击START开始。

点击小眼睛，是可以看到训练进度的，界面如下面这样

切换到Samples就可以看到出图效果

切换到Samples就可以看到每250步跑出来的测试图像。

对应到本地路径是：\ai-toolkit\output\image-zsh\samples

模型的话就存在上一级目录中

到此，模型就训练好了，超级快，我大概跑了3000步就40分钟，太爽了。

结语

AI Toolkit作为一个综合性的AI开发工具集,为开发者提供了从模型训练到部署的全流程支持。它的易用性和功能丰富性使其成为AI领域的一个重要开源项目。无论是AI研究人员、开发者,还是对AI感兴趣的爱好者,都可以从中受益。

AI Toolkit训练Z-Image-Turbo LoRA模型

点击下载