Prompt Travel 用來製作動畫的效果不錯,但是麻煩的地方在於無法比較準確的控制。所以我參考了一些資料,整理了一份關於 ControlNet KeyFrames 的操作。
這篇文章的主題,主要是來自於 ControlNet 之間的角力。就單純論 ControlNet 而言,某些組合的情況下,很難針對畫面中的目標進行更換,例如服裝、背景等等。我在這裡提出幾個討論的方向,希望對大家有所幫助。
A1111 在操作上比較方便,不過相對的他對記憶體的使用也比較高一點。如果要製作 vid2vid 的 AnimateDiff 建議還是使用 ComfyUI 比較好。
雖然說 AnimateDiff 可以提供動畫流的模型演算,不過因為 Stable Diffusion 產出影像的差異性問題,其實還是造成了不少影片閃爍或是不連貫的問題。以目前的工具來看,IPAdapter 再搭配 ControlNet OpenPose 剛好可以補足這個部分。
主要是一些操作 ComfyUI 的筆記,還有跟 AnimateDiff 工具的介紹。雖然說這個工具的能力還是有相當的限制,不過對於畫面能夠動起來這件事情,還是挺有趣的。