[Lora] 減法拆分融合 - 製作專屬特徵人物
說在最前面的,你需要先訓練出一個屬於你自己的人物的 Lora,畢竟拿別人的 Lora 來用可能會有版權的問題,所以盡可能的自己訓練一個會比較好。
關於減法的訓練我在 2023 年的 SD 年會中已經聊過,這邊就不贅述。
關於訓練的減法
如果沒有看過的人可以看一下,這篇文章會用到裡面說的一些方式。
事前準備
訓練的方式就不提了,總之就是準備一個你覺得訓練的不錯的一個人物的 Lora,然後選擇幾個你喜歡的模型。
* 準備好一個人物 Lora,或是多個(如果你有訓練多個的話)
* 基底模型,例如 9527 Detail Realistic XL
* 或是 SD1.
[Lora] TensorArt, CivitAI, Kohya-ss 訓練 SDXL Lora 記錄
由於 SDXL 的模型訓練的硬體需求實在很高,所以多半得靠第三方服務,或是自己去弄一台雲端的 GPU 來幫我們訓練。我在本地端用比較低的設定來跑,勉強還能夠訓練比較小型的 SDXL Lora,更高的需求就真的只能靠第三方。
所以這次就記錄一下各組訓練的數據,跟產出的對比。
TensorArt
我在上一篇文章 [TensorArt] Lora 訓練筆記 中,已經有介紹過。詳細的設定我就不在這邊贅述了。然後,官方已經把 Prodigy 優化器修好了,所以這次就用 Prodigy 來訓練。以下是本次訓練的相關參數,
Use Base Model:
[ComfyUI] AnimateDiff + ControlNet Keyframe + Prompt Travel (English ver.)
While Prompt Travel is effective for creating animations, it can be challenging to control precisely. To address this, I've gathered information on operating ControlNet KeyFrames.
Chinese Version
Prompt Travel Overview
Prompt Travel has
[ComfyUI] ControlNet, IPAdapter, AnimateDiff Objectives and Background Processing
The main theme of this article originates from the struggle between ControlNets. Speaking specifically about ControlNets, in certain combinations, it can be challenging to replace targets in the image, such as clothing, background,
[A1111] AnimateDiff + IPAdapter + OpenPose Operation Guide
Note: This operation is highly VRAM-intensive. When creating a short video, after loading ControlNet calculations, it consumed around 16GB of VRAM. If your VRAM is insufficient, it is recommended to use the ComfyUI