AIGC

[Kohya_ss] 訓練優化器與超參數

[Kohya_ss] 訓練優化器與超參數

12 min read AIAIGCKohya_ssHyperparameterStableDiffusionLora 訓練超參數AdamW8bitAdafactorDadaptationLionOptimizer優化器
說在最前面的，在 Lora 訓練當中，各種優化器（Optimizer）都有自己專屬的超參數（Hyperparameter）。對於模型訓練而言，超參數的影響並不會非常巨大，所以，在你決定調整超參數之前，請先確保你的模型已經足夠好了。不然花在這上面的時間，很可能會是浪費掉的。
[Kohya_ss] 訓練參數計算筆記

[Kohya_ss] 訓練參數計算筆記

5 min read AIKohya_ssAIGCStableDiffusionLoraLora 訓練
更新了 Kohya_ss 之後，有些地方的參數跟 GUI 其實不太一樣，這邊單純記錄一下，以免以後覺得哪裡怪怪的。 Kohya_ss 版本 目前的穩定版本是 v21.5.11 所以以下的紀錄都是針對這個版本來做調整。 另外我有針對正規化資料集而修改程式碼，我先說在前面。 訓練計算的改變 首先，訓練的 Log 都會有這個計算資料出現， 第一個訓練資料集的數量應該沒有懸念，就是你設定多少，他就會寫多少。由上面的圖片可以知道我是有 2,000 步的訓練資料集。接著，正規化資料集的數量有
[Lora] 權重調配與訓練記錄

[Lora] 權重調配與訓練記錄

8 min read LoraLora 訓練StableDiffusionLora Block Weight訓練模型SDAIAIGC
主要是要記錄一下一些實驗性的東西，失敗的過程也是過程，雖然沒辦法完全理解，但是總是可以大概知道這些東西是怎麼組成的。前些日子跟一樣是在玩 Stable Diffusion 的朋友聊，其實市面上不管是模型也好，理論也好，背後都是靠超多錢（一大堆 A100 運算好幾千個小時）堆出來的成果。 Lora Block Weight, Block? 我上次的訓練文章 有提到這個東西，後來在 Facebook 社團有人分享了他的訓練記錄， 使用 kohya_ss 訓練 LoRA 時的一些技巧與想法, Jason Kuan 中間也提到了關於