說在最前面的,你需要先訓練出一個屬於你自己的人物的 Lora,畢竟拿別人的 Lora 來用可能會有版權的問題,所以盡可能的自己訓練一個會比較好。
關於減法的訓練我在 2023 年的 SD 年會中已經聊過,這邊就不贅述。
關於訓練的減法
如果沒有看過的人可以看一下,這篇文章會用到裡面說的一些方式。
事前準備
訓練的方式就不提了,總之就是準備一個你覺得訓練的不錯的一個人物的 Lora,然後選擇幾個你喜歡的模型。
* 準備好一個人物 Lora,或是多個(如果你有訓練多個的話)
* 基底模型,例如 9527 Detail Realistic XL
* 或是 SD1.
不久之前在 b 站青龍大的影片中,知道了複印法與差異法融合的概念。原有的複印法是一位 2vXpSwA7 提出,而差異法則是 Kohya-ss 作者所延伸出來的另一個作法。這兩種方法都很有趣,然後就開始實作這個部分。
分層訓練並沒有一個很明確的標準,所以這裡僅僅只是過程的筆記,所有的訓練結果還是需要自己去驗證,並不一定哪一個參數比較好。b 站有不少分層訓練的教學,如果覺得有什麼疑慮的話可以去看看,當作是個參考也是不錯的。
主要是要記錄一下一些實驗性的東西,失敗的過程也是過程,雖然沒辦法完全理解,但是總是可以大概知道這些東西是怎麼組成的。前些日子跟一樣是在玩 Stable Diffusion 的朋友聊,其實市面上不管是模型也好,理論也好,背後都是靠超多錢(一大堆 A100 運算好幾千個小時)堆出來的成果。
Lora Block Weight, Block?
我上次的訓練文章 有提到這個東西,後來在 Facebook 社團有人分享了他的訓練記錄,
使用 kohya_ss 訓練 LoRA 時的一些技巧與想法, Jason Kuan
中間也提到了關於