欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 新闻 > 国际 > StableDiffusion学习笔记——4、模型下载和学习

StableDiffusion学习笔记——4、模型下载和学习

2025/2/22 0:05:23 来源:https://blog.csdn.net/liweizhao/article/details/144973969  浏览:    关键词:StableDiffusion学习笔记——4、模型下载和学习

目录
  大家好,我是阿赵。
  继续学习StableDiffusion的使用。
  这次来学习一下模型的相关知识

一、 什么是模型

  之前我们了解过,在StableDiffusion里面生成图片或者视频,都需要先选择模型。模型用通俗的话来说,就是决定了生成图片或者视频的内容的大数据集合。使用不同的模型,会让生成的结果产生很大的差异。所以我们在生成内容之前,需要先了解有哪些类型的模型可以用,还有它们分别的作用是什么。

二、 模型的类别

  之前在简单的使用提示词生成模型的时候,曾经用过2种模型:
在这里插入图片描述

在这里插入图片描述

  不过实际上在Stablediffusion里面,还有很多不同类型的模型。

1、 CheckPoint(ckpt)

  ckpt是比较常见的一种模型类型,CheckPoint在游戏里面就是保存点或者存档的意思。CheckPoint模型的含义也同样是这样,它是在训练过程中保存训练的进度。因为训练过程中可能因为各种原因失败,所以训练到一定的程度,就应该保存一下。
  ckpt模型的特点是容量大,包含图片数据多。
使用方法:将其存放到 Stable Diffusion 安装目录下\models\Stable-diffusion 文件夹中

2、 safetensors

  上面介绍了ckpt模型,ckpt模型为了让我们能够从之前训练的状态回复训练,而保存了较多的训练信息,比如模型的权重、优化器和Python代码。这样,会使ckpt模型的容量变得很大,而且有包含恶意代码的风险。
  于是safetensors模型出现了,它只包含模型权重,不包含优化器和代码或者其他信息。所以safetensors 模型容量会更小,而且更安全。
使用方法:将其存放到 Stable Diffusion 安装目录下\models\Stable-diffusion 文件夹中。

3、 Embeddings

  我们可以将 Embeddings 模型简单理解为封装好的提示词文件,通过将特定目标的描述信息整合在 Embeddings 中,后续我们只需一小段代码即可调用,效果要比手动输入要方便快捷上许多。像我们平时头疼的避免错误画手、脸部变形等信息都可以通过调用 Embeddings 模型来解决,比如最出名的 EasyNegative 模型。
使用方法:只需将下载好的模型放置到 Stable Diffusion 安装目录下\embeddings 文件夹中,使用时点击对应的模型卡片,对应的关键词就会被添加到提示词输入框中。

4、 LoRA

  LoRA 是 Low-Rank Adaptation Models 的缩写,意思是低秩适应模型。
  总结成一句话就是固定目标的特征形象,这里的目标既可以是人也可以是物,可固定的特征信息就更加保罗万象了,从动作、年龄、表情、着装,到材质、视角、画风等都能复刻。因此 LoRA 模型在动漫角色还原、画风渲染、场景设计等方面都有广泛应用。
使用方法:将模型保存在\models\Lora 文件夹,在实际使用时,我们只需选中希望使用的 LoRA 模型,在提示词中就会自动加上对应的提示词组。
  需要注意的是,有些 LoRA 模型的作者会在训练时加上一些强化认知的触发词,我们在下载模型时可以在右侧看到 trigger word,建议大家在使用 LoRA 模型时加上这些触发词,可以进一步强化 LoRA 模型的效果。

5、 Hypernetwork

  它的原理是在扩散模型之外新建一个神经网络来调整模型参数,而这个神经网络也被称为超网络。
  因为 Hypernetwork 训练过程中同样没有对原模型进行全面微调,因此模型尺寸通常也在几十到几百 MB 不等。它的实际效果,我们可以将其简单理解为低配版的 LoRA,虽然超网络这名字听起来很厉害,但其实这款模型如今的风评并不出众,在国内已逐渐被 LoRA 所取代。因为它的训练难度很大且应用范围较窄,目前大多用于控制图像画风。所以除非是有特定的画风要求,否则还是建议大家优先选择 LoRA 模型来使用。
使用方法:下载模型放到\models\hypernetworks

6、 VAE

  它的工作原理是将潜空间的图像信息还原为正常图片。作为 ckpt 模型的一部分,VAE 模型并不像前面几种模型用于控制图像内容,而是对主模型的图像修复。
  比较常用的有:Anything4.5或者kl-f8-anime2等
使用方法: VAE 模型的放置位置是在\models\VAE,因为是辅助 Checkpoint 大模型来使用,所以可以将大模型对应的 VAE 修改为同样的名字,然后在选项里勾选自动,这样在切换 Checkpoint 模型时 VAE 就会自动跟随变换了。

三、 模型的获取

  说了这么多模型的作用,那么从哪里得到这些模型呢?
  如果自己有能力,自己训练模型是一个比较好的方法,毕竟想需要什么效果,可以自己去控制。不过我们不一定有能力和时间去训练自己的模型,所以也可以去找一些别人训练好的模型去使用。
比较有名的获取AI生图模型的网站,比如:
Civitai(简称C站),地址:https://civitai.com/
liblibAI(哩布哩布),地址:https://www.liblib.art/
  由于C站是需要科学上网的,所以我一般是上哩布哩布比较多一点。
在这里插入图片描述

  在筛选里面,可以选择很多条件,比如作者、模型的类型、基础底模
在这里插入图片描述

  或者选择一些已有的类别:
在这里插入图片描述

  或者直接搜索
在这里插入图片描述

  比如我想找一个写实的模型,可以直接搜索
在这里插入图片描述

  如果想找二次元的模型:
在这里插入图片描述

  可以注意一下,模型缩略图左上角会有该模型的类型:
在这里插入图片描述

  我们可以比较快速的知道,这个模型是LORA模型还是CheckPoint模型,是否XL的。

四、 学习下载模型的使用和参数

1、 阅读作者的说明

在这里插入图片描述

  一般在下载模型的页面,都会有模型作者的一些说明,比如使用怎样的采样模式,步数等一些参数的建议,或者是否需要VAE模型的说明等。
  想用好该模型,就不能忽略作者的建议。

2、 参考模型例子的参数

  在模型下载的页面,一般会带有几张范例。鼠标悬浮在感叹号图标上,会出现这个图片的参数:
在这里插入图片描述

  一般来说,下载了这个模型并使用,然后把参数设置到和范例一样,就会生成出和范例一模一样的效果。不过也有例外,比如如果生成的图片使用了LoRa模型,而你本地并没有对应的LoRa模型,那么生成出来的效果就会不一样。
  我们可以学习作者的范例,看看提示词和反向提示词怎样设置,采样和其他参数怎样设置,会出来更好的效果。

五、 在StableDiffusion里面显示模型封面

  当我们把一个模型放到StabDiffusion的指定文件夹之后,启动或者刷新WebUI,会看到对应的模型类别里面有新增的模型可以选择:
在这里插入图片描述

  但默认的模型显示是不会有缩略图显示的,这样看起来很不直观。
  如果能在模型选择上显示缩略图,会让我们选择的时候更方便。让WebUI显示缩略图的方法很简单。只需要在放置模型文件的同一个文件夹下,把需要的缩略图放进去,然后把文件名改成和模型文件的文件名一样,只有后缀名不一样。
在这里插入图片描述

  这样重启WebUI之后,就能看到模型的缩略图
在这里插入图片描述

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词