本次記錄都會是一些參考資料,如果對於訓練有興趣的人可以自己去看看。基本上網路上能找到的資料有九成以上是針對二次元的訓練,所以如果是對這方面有興趣的人,這些資源是不錯的閱讀方向。
其實 Pay As You Go 買個 100 點算力也才 10 美金,如果是 Lora 小模型的話,應該夠算個 8~9 個了吧,跟買一張 4090 來比,挺香的不是嘛。
主要是要記錄一下一些實驗性的東西,失敗的過程也是過程,雖然沒辦法完全理解,但是總是可以大概知道這些東西是怎麼組成的。前些日子跟一樣是在玩 Stable Diffusion 的朋友聊,其實市面上不管是模型也好,理論也好,背後都是靠超多錢(一大堆 A100 運算好幾千個小時)堆出來的成果。
Lora Block Weight, Block?
我上次的訓練文章 有提到這個東西,後來在 Facebook 社團有人分享了他的訓練記錄,
使用 kohya_ss 訓練 LoRA 時的一些技巧與想法, Jason Kuan
中間也提到了關於
Kohya 原本是一套在 CLI 底下的訓練工具,後來有人把他做成 GUI,然後又有人把他 Docker 化,對我來說其實在 CLI 底下也沒有不方便。不過,既然有提供 Docker 化的 GUI 介面,那麼用這個來做設定也是挺方便的。