說在最前面的,你需要先訓練出一個屬於你自己的人物的 Lora,畢竟拿別人的 Lora 來用可能會有版權的問題,所以盡可能的自己訓練一個會比較好。
關於減法的訓練我在 2023 年的 SD 年會中已經聊過,這邊就不贅述。
關於訓練的減法
如果沒有看過的人可以看一下,這篇文章會用到裡面說的一些方式。
事前準備
訓練的方式就不提了,總之就是準備一個你覺得訓練的不錯的一個人物的 Lora,然後選擇幾個你喜歡的模型。
* 準備好一個人物 Lora,或是多個(如果你有訓練多個的話)
* 基底模型,例如 9527 Detail Realistic XL
* 或是 SD1.
這是我目前訓練 Lora 的流程概念筆記,訓練的過程其實大概就煮飯一樣,現在電子鍋很方便,就跟訓練器一樣,只是準備不周的話,飯會不會熟就是另一回事了。
訓練資料集
首先你需要明確的知道你想要訓練的「目標」是什麼,這樣才能準備資料。無論你訓練的目標是什麼,盡量多元的資料集是必須的。
1. 如果只訓練一個概念( Concept ),那麼請盡量刪除或抹去與這個概念會產生衝突的資料。
2. 訓練多個概念,可以透過特定的標籤( Tag )來解決,這樣會需要更多的訓練時間。
3. 如果你使用 ARB ( Aspect Ratio Bucket) 的訓練方式,可以不裁切資料集圖片(
單純介紹一下 Kohya_ss GUI 的操作界面,雖然每次版本升級之後都有些微差異,但大抵上還是可以通用。我這邊僅介紹關於 Lora 的部分,其他介面上的東西勞煩大家自行研究。
不久之前在 b 站青龍大的影片中,知道了複印法與差異法融合的概念。原有的複印法是一位 2vXpSwA7 提出,而差異法則是 Kohya-ss 作者所延伸出來的另一個作法。這兩種方法都很有趣,然後就開始實作這個部分。
分層訓練並沒有一個很明確的標準,所以這裡僅僅只是過程的筆記,所有的訓練結果還是需要自己去驗證,並不一定哪一個參數比較好。b 站有不少分層訓練的教學,如果覺得有什麼疑慮的話可以去看看,當作是個參考也是不錯的。