Lora

[Lora] 權重調配與訓練記錄

主要是要記錄一下一些實驗性的東西,失敗的過程也是過程,雖然沒辦法完全理解,但是總是可以大概知道這些東西是怎麼組成的。前些日子跟一樣是在玩 Stable Diffusion 的朋友聊,其實市面上不管是模型也好,理論也好,背後都是靠超多錢(一大堆 A100 運算好幾千個小時)堆出來的成果。 Lora Block Weight, Block? 我上次的訓練文章 有提到這個東西,後來在 Facebook 社團有人分享了他的訓練記錄, 使用 kohya_ss 訓練 LoRA 時的一些技巧與想法, Jason Kuan 中間也提到了關於