[Kohya_ss] 訓練參數計算筆記
更新了 Kohya_ss 之後,有些地方的參數跟 GUI 其實不太一樣,這邊單純記錄一下,以免以後覺得哪裡怪怪的。
Kohya_ss 版本
目前的穩定版本是 v21.5.11 所以以下的紀錄都是針對這個版本來做調整。
另外我有針對正規化資料集而修改程式碼,我先說在前面。
訓練計算的改變
首先,訓練的 Log 都會有這個計算資料出現,
第一個訓練資料集的數量應該沒有懸念,就是你設定多少,他就會寫多少。由上面的圖片可以知道我是有 2,000 步的訓練資料集。接著,正規化資料集的數量有
[Lora] 訓練 1000 個小時之後
本次記錄都會是一些參考資料,如果對於訓練有興趣的人可以自己去看看。基本上網路上能找到的資料有九成以上是針對二次元的訓練,所以如果是對這方面有興趣的人,這些資源是不錯的閱讀方向。
[Lora] Google Colab 訓練筆記
其實 Pay As You Go 買個 100 點算力也才 10 美金,如果是 Lora 小模型的話,應該夠算個 8~9 個了吧,跟買一張 4090 來比,挺香的不是嘛。
[Lora] 訓練與大型翻車現場
人帶賽的時候真的不能跑訓練。
[Lora] 權重調配與訓練記錄
主要是要記錄一下一些實驗性的東西,失敗的過程也是過程,雖然沒辦法完全理解,但是總是可以大概知道這些東西是怎麼組成的。前些日子跟一樣是在玩 Stable Diffusion 的朋友聊,其實市面上不管是模型也好,理論也好,背後都是靠超多錢(一大堆 A100 運算好幾千個小時)堆出來的成果。
Lora Block Weight, Block?
我上次的訓練文章 有提到這個東西,後來在 Facebook 社團有人分享了他的訓練記錄,
使用 kohya_ss 訓練 LoRA 時的一些技巧與想法, Jason Kuan
中間也提到了關於