stable-diffusion-webui-colab搭建SadTalker由图生成视频人

 在这里选择一个stable-diffusion-webui-colab

​​​​​​​​​GitHub - camenduru/stable-diffusion-webui-colab: stable diffusion webui colab

这里我选择是：

https://colab.research.google.com/github/camenduru/stable-diffusion-webui-colab/blob/main/lite/stable_diffusion_webui_colab.ipynb

在脚本的顶部添加：

!pip install httpx==0.24.1

全部执行 ：

执行完成会有公共访问连接

在这里配置sadtalker：https://github.com/OpenTalker/SadTalker.git

应用并且退出

 将SadTalker的模型和checkpoints复制到指定路径下：

!cp /content/drive/MyDrive/data/sadtalker/checkpoints/* /content/stable-diffusion-webui/models/Stable-diffusion/!cp /content/drive/MyDrive/data/sadtalker/checkpoints2/* /content/stable-diffusion-webui/extensions/SadTalker/checkpoints

我的模型相关数据在谷歌硬盘的checkpoints下，checkpoints在checkpoints2

相关下载：

• 模型checkpoints, 提取码: sadt.
• gfpgan, 提取码: sadt.

准备好后需可以重新执行：

!python launch.py --listen --xformers --enable-insecure-extension-access --theme dark --gradio-queue --multiple

当然，我认为也可以不重新执行，毕竟python是脚本语言，这些都是触发加载的

选择图片和音频，最终执行结果：

不过通过执行发现，这些并不怎么好，我用的是T4的gpu，需要10分钟左右，时长15s左右。