數學是一個很神奇的東西,他不會背叛你,數學不會就是不會。有鑑於此,目前 AI Agent 盛行的時代下,有些事情就能請 AI 幫你做。所以,我就開始跟 AI 協作來製作一個跟 Stable Diffusion Lora 訓練有關的優化器(Optimizer)。
SD3.5 目前的表現應該可以算是擺脫 SD3 的慘狀。訓練器也陸續的出現,甚至 TensorArt 上面也已經放上訓練器了。這邊就快速的帶大家看一下目前使用 Kohya 訓練的結果。
本篇文章的內容僅為個人實驗以及在各種訓練產生的結果上,總結出來的一些結論,並無法完全通用在各種情況。如果以下所提及的所有內容與結果與你有所雷同,那就雷同吧。
說在最前面的,這些訓練數據可能會因為演算法、優化器、排程器或是各種相關套件更新而失準。本次的實驗主要是要測試 Noise 對於整體訓練的差異,與可能可以怎麼選擇或是設定的紀錄。
Kohya GUI
本次所使用的 Kohya GUI 版本是 24.1.4,如果你不是這個版本,或者是你是直接使用 kohya-ss/sd-script v0.8.7 也可以。
我們在 Kohya 的進階設定中可以找到本篇文章所提到的各種設定,你可以參考我之前的文章 [Lora] Kohya_ss GUI