animatediff

AnimateDiff 使用控制模块来影响 Stable Diffusion 模型。它通过各种短视频剪辑进行训练。控制模块可以对图像生成过程进行调节，以生成一系列看起来像它学习的视频剪辑的图像。简单来说，SD 模型的训练是通过大量的图片进行训练。而 AnimateDiff 则是通过大量的短视频来进行训练图片之间的衔接（视频帧的流畅性）结合 SD 模型，在出图的时候就可以通过 AnimateDiff 模型对生成出的每一张图进行微调，最后拼接成短视频。

AnimateDiff ：更优质的动画生成体验

1. 启动“Stable Diffusion”，点击“扩展”—“可下载”—再点击“加载扩展列表”，搜索关键词“AnimateDiff”，点击“安装“，安装完成之后，重启一下“Stable Diffusion”即可。

从网址安装，复制Github的URL，将插件的URL粘贴到“扩展的git仓库网址”上，在点击”安装“，安装完成之后，重启一下”Stable Diffusion“即可。

插件Github URL：https://github.com/continue-revolution/sd-webui-animatediff.git

3. 插件安装包安装，在Github下载该插件的安装包并安装到“Stable Diffusion”目录中的“extensions”文件夹中即可。（文末提供安装包）

模型下载

安装好插件之后，还需要下载一个动画模型和八个控制镜头的LoRA模型，（控制镜头的模型可以不用下载，但是动画模型必须下载），动画模型下载最新的“mm_sd_v15_v2.ckpt“这个即可，它是最新的也是最稳定效果最好的。

下载好模型后就需要把模型放到对应的文件夹里面。“mm_sd_v15_v2.ckpt”这个模型放到“…\sd-webui-aki-v4.2\extensions\sd-webui-animatediff\model”文件夹即可，LoRA模型放到“…\sd-webui-aki-v4.2\models\lora”即可。

安装好插件并把模型放到对应的文件夹之后，重启Stable Diffusion就可以看到“AnimateDiff”这个插件啦。

在线体验animatediff

1.打开:

https://openxlab.org.cn/apps/detail/Masbfca/AnimateDiff

2. 先后选择 Base DreamBooth Model 与 Motion Module （可跳过此步，直接使用默认配置，也可自己调整）

3. 填写 Prompt 和 Negative Prompt

示例：Prompt masterpiece, best quality, 1girl, solo, cherry blossoms, hanami, pink flower, white flower, spring season, wisteria, petals, flower, plum blossoms, outdoors, falling petals, white hair, black eyes

Negative Prompt worst quality, low quality, nsfw, logo

4.点击 Generate，等待一分钟左右，获得生成的动画视频