這篇文章的主題,主要是來自於 ControlNet 之間的角力。就單純論 ControlNet 而言,某些組合的情況下,很難針對畫面中的目標進行更換,例如服裝、背景等等。我在這裡提出幾個討論的方向,希望對大家有所幫助。
A1111 在操作上比較方便,不過相對的他對記憶體的使用也比較高一點。如果要製作 vid2vid 的 AnimateDiff 建議還是使用 ComfyUI 比較好。
雖然說 AnimateDiff 可以提供動畫流的模型演算,不過因為 Stable Diffusion 產出影像的差異性問題,其實還是造成了不少影片閃爍或是不連貫的問題。以目前的工具來看,IPAdapter 再搭配 ControlNet OpenPose 剛好可以補足這個部分。
主要是一些操作 ComfyUI 的筆記,還有跟 AnimateDiff 工具的介紹。雖然說這個工具的能力還是有相當的限制,不過對於畫面能夠動起來這件事情,還是挺有趣的。
這是我目前訓練 Lora 的流程概念筆記,訓練的過程其實大概就煮飯一樣,現在電子鍋很方便,就跟訓練器一樣,只是準備不周的話,飯會不會熟就是另一回事了。
訓練資料集
首先你需要明確的知道你想要訓練的「目標」是什麼,這樣才能準備資料。無論你訓練的目標是什麼,盡量多元的資料集是必須的。
1. 如果只訓練一個概念( Concept ),那麼請盡量刪除或抹去與這個概念會產生衝突的資料。
2. 訓練多個概念,可以透過特定的標籤( Tag )來解決,這樣會需要更多的訓練時間。
3. 如果你使用 ARB ( Aspect Ratio Bucket) 的訓練方式,可以不裁切資料集圖片(