首页 > 教程 > LoRA模型:小型Stable Diffusion模型的微调技术

LoRA模型:小型Stable Diffusion模型的微调技术

时间:2024-09-04 | 来源: | 阅读:81

话题: a T LOR S

LoRA模型是小型的Stable Diffusion模型,它们对checkpoint模型进行微小的调整。它们的体积通常是检查点模型的10到100分之一。因为体积小,效果好,所以lora模型的使用程度比较高。

LoRA模型是一种小型的Stable Diffusion模型,对checkpoint模型进行微小的调整。它们的体积通常是检查点模型的10到100分之一。由于体积小而效果好,因此LoRA模型的使用程度相对较高。

这篇文章面向从未使用过LoRA模型的初学者,将介绍LoRA模型的概念、获取途径以及在AUTOMATIC1111 GUI中的使用方法。最后,还将提供一些LoRA模型的实际应用演示。

LoRA模型是什么?

LoRA(Low-Rank Adaptation)是一种微调Stable Diffusion模型的训练技术。相比于Dreambooth和文本反转等训练技术,LoRA模型是一种折中方案。它的文件大小更易管理(2-200 MB),并且训练能力相当不错。LoRA模型是解决存储问题的优秀方案,特别适用于定制AI艺术模型,不会占用太多本地存储空间。

LoRA如何工作?

LoRA对Stable Diffusion模型中最关键的部分进行微小的修改,主要是交叉注意力层。通过将自己的权重加到这些矩阵上来微调模型,LoRA模型通过将矩阵分解成两个更小的(低秩)矩阵来存储更少的数字,从而实现文件更小的效果。

在交叉注意力层中,LoRA模型通过将矩阵分解成两个更小的(低秩)矩阵来存储更少的数字,从而实现文件更小的效果。

在哪里找到LoRA模型?

Civitai

寻找LoRA的首选地点是Civitai。该网站托管了大量LoRA模型的集合。应用LORA过滤器以仅查看LoRA模型。不过里面的大多数模型都是:女性肖像,动漫,现实主义插图风格等。

Hugging Face

Hugging Face是另一个LoRA库的好来源。你会发现更多种类的LoRA模型。但那里的LoRA模型可能没有C站多,并且也不太直观。因为没有图片预览。

如何使用LoRA?

在AUTOMATIC1111 Stable Diffusion GUI中使用LoRA模型非常简单。AUTOMATIC1111原生支持LoRA,无需安装任何扩展。

第1步:安装LoRA模型

要在AUTOMATIC1111 webui中安装LoRA模型,请将模型文件放入以下文件夹: stable-diffusion-webui/models/Lora

第2步:在提示中使用LoRA

要在AUTOMATIC1111 Stable Diffusion WebUI中添加带权重的LoRA,请在提示或否定提示中使用以下语法: 。其中, name 是LoRA模型的名称, weight 是应用于LoRA模型的权重。默认值为1。将其设置为0将禁用模型。

实用的LoRA模型

add_detail

谁不想要AI图像中更多的细节?细节调整器允许你增加或减少图像中的细节。使用正LoRA权重来增加细节,使用负权重来减少细节。

add_saturation

这个lora可以给图片添加一些饱和度。

add_brightness

这个lora可以用来控制图片的亮度。

总结

LoRA模型是checkpoint模型的小型修改器。你可以通过在提示中包含一个短语轻松地在AUTOMATIC1111中使用它们。在以后的文章中,我将告诉你如何自己来训练一个LoRA模型。

点我查看更多精彩内容:www.flydean.com


湘ICP备2022002427号-10湘公网安备:43070202000427号
© 2013~2019 haote.com 好特网