欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 健康 > 养生 > 全新AI工具——PaintsUndo:一键自动还原图像绘画过程!

全新AI工具——PaintsUndo:一键自动还原图像绘画过程!

2024/11/30 8:36:40 来源:https://blog.csdn.net/JxyyzAI/article/details/140607814  浏览:    关键词:全新AI工具——PaintsUndo:一键自动还原图像绘画过程!

ControlNet 作者 Lvmin Zhang 又开始整活了!这次发布的PaintsUndo 只需要上传一张图片, 就能够一键生成绘画过程!快来了解学习!

1、核心技术

PaintsUndo 是一项突破性的技术,旨在通过输入静态图像,自动生成该图像的整个绘画过程视频,可以处理各种类型的图像。

图片

项目的核心在于一系列基于AI的模型,这些模型能够接受图像输入并输出绘画序列,展示从初步素描到最终作品的详细步骤。这些步骤包括但不限于草图绘制、描线、上色、阴影处理、形状转换、左右翻转、颜色曲线调整、图层可见性变化,甚至在绘画过程中的创意调整。这种模拟人类绘画行为的能力,不仅为艺术家提供了新的表达方式,也为AI技术在艺术创作领域的应用开辟了新的路径。

图片

2、模型介绍

目前发布了两个模型:单帧模型和多帧模型。

图片

单帧模型采用 SD1.5 的修改架构,以一幅图像和一个操作步骤作为输入,输出一幅图像。假设一件艺术品通常需要经过 1000 次人工操作才能创作出来(例如一笔是一次操作),那么操作步长是 0-999 之间的整数。数字 0 是最终完成的艺术品,数字 999 是在纯白画布上绘制的第一笔。

多帧模型基于 VideoCrafter 系列模型,但没有使用原始 Crafter 的 lvdm,所有训练 / 推理代码完全从头开始实现。项目作者对神经网络的拓扑进行了很多修改,并且经过大量训练后,神经网络的行为与原始 Crafter 有很大不同。

两个模型配合使用,就能生成一段完整的创作过程视频。

图片

3、安装与配置

· 前提条件

要运行 PaintsUndo 项目,用户需要确保具备以下软件、库和硬件环境:

· Python 3.10;

· Anaconda 或 Miniconda;

· 必要的 Python 库:xformers,以及 requirements.txt 中列出的其他库;

· 推荐使用的显卡具备至少 16GB VRAM,最佳性能推荐使用 Nvidia 4090 或 3090TI,这些显卡提供24GB VRAM以确保流畅运行;

· 在极端优化条件下(包括权重卸载和切片注意力机制),理论上最小的VRAM需求为10~12.5 GB。

安装步骤

· 克隆仓库:

git clone https://github.com/lllyasviel/Paints-UNDO.git

· 安装依赖:

cd Paints-UNDOconda create -n paints_undo python=3.10conda activate paints_undopip install xformerspip install -r requirements.txt

· 运行项目:

  • python gradio_app.py

*西安觉醒元宇宙AI,是专注线上AI培训、AI绘画辅导、AI开发服务的专业教育平台!

▍扫描下方二维码进入AI交流学习群,获取超多AI前沿知识!

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com