[ComfyUI] IPAdapter + OpenPose + AnimateDiff 穩定影像

雖然說 AnimateDiff 可以提供動畫流的模型演算，不過因為 Stable Diffusion 產出影像的差異性問題，其實還是造成了不少影片閃爍或是不連貫的問題。以目前的工具來看，IPAdapter 再搭配 ControlNet OpenPose 剛好可以補足這個部分。

English Version

前期準備工作

可以直接使用我的 Workflow 進行測試，安裝的部分可以參考我先前的這篇文章 [ComfyUI] AnimateDiff 影像流程。

AnimateDiff_vid2vid_CN_Lora_IPAdapter_FaceDetailer

另外，此次工作流程中，有使用到 FreeU 這個工具，強烈推薦大家安裝。

FreeU, for A1111

ComfyUI 本身有內建 FreeU 的 Node 可以使用！

另外 IPAdapter 也需要額外安裝，作者有兩個版本，都可以用，不過舊的版本之後不更新了。

IPAdapter-ComfyUI

ComfyUI IPAdapter plus

在使用 IPAdapter 之前，請先去下載相關的模型檔案，

SD1.5 需要以下檔案，

• ip-adapter_sd15.bin
• ip-adapter_sd15_light.bin 當你的提詞（Prompt）比輸入的參考影像更重要時，可以選用這個模型。
• ip-adapter-plus_sd15.bin 當你要參考整體風格時，可以選用這個模型。
• ip-adapter-plus-face_sd15.bin 當你只想要參考臉部時，可以選用這個模型。

SDXL 則需要以下檔案，

• ip-adapter_sdxl.bin
• ip-adapter_sdxl_vit-h.bin 雖然是使用 SDXL 的基底模型，但使用這個模型還是會需要 SD1.5 的文字編碼器（Text Encoder）。
• ip-adapter-plus_sdxl_vit-h.bin 說明同上。
• ip-adapter-plus-face_sdxl_vit-h.bin 說明同上，但這個是僅參考臉部。

以上的檔案，請放置到 custom_nodes/ComfyUI_IPAdapter_plus/models 或是 custom_nodes/IPAdapter-ComfyUI/models 底下。

另外，由於需要 CLIP 工具，所以以下兩個檔案請放到 ComfyUI/models/clip_vision/ 底下，檔案名稱你可以自行修改，用以區別是 SD1.5 或 SDXL。

• SD1.5 model，這個檔案在 SDXL 的模型結尾為 vit-h 的模型皆需要他。
• SDXL model

AnimateDiff + IPAdapter

我們先看一般 AnimateDiff 的設定，

由於要使用到 IPAdapter 這個部分，所以要找地方把他放進去。請注意！這邊的範例是使用的版本是 IPAdapter-ComfyUI，你也可以自行更換成 ComfyUI IPAdapter plus。

以下是把 IPAdapter 與 ControlNet 接上的部分流程，

兩個 IPAdapter 的接法大同小異，這邊給大家兩個對照組參考一下，

IPAdapter-ComfyUI

ComfyUI IPAdapter Plus

這樣你大概可以瞭解 AnimateDiff 與 IPAdapter 的連接方法了。

ControlNet + IPAdapter

接著，我們從 IPAdapter 輸入的東西，需要一個 OpenPose 的 ControlNet 來控制，用以達到更好的輸出。

如果你的 image 輸入來源原本就是骨架圖片的話，那麼你就不需要 DWPreprocessor 這個預處理器。不過由於我的輸入來源直接就是某一個影片檔案，所以，這邊就交給預處理器去幫我處理圖片。

而在 IPAdapter 的 unCLIPConditioning 的正向提示詞（positive）需要把他接到 ControlNet 這邊，以下的示意流程給大家參考一下，這樣我們的 IPAdapter 才會進入 ControlNet 的控制。

AnimateDiff Motion Lora

為了更流暢的動畫呈現，所以我使用 Motion Lora 來做一點漸變效果。如果你不想要也是可以，這邊沒有一定要使用。

我在這邊選用的是 v2_lora_ZoomOut.ckpt 這個效果，你可以自行試試看其他的動態 Lora 效果。因為我不希望他對於畫面帶來太多的影響，所以權重的部分我僅給他 0.3。

實際測試下來，如果你的整體動作相當複雜，建議不要使用。

組合流程

最後，我們把這些流程組合起來，

1. 讀取影片、模型、提示詞，設定 AnimateDiff Loader。
2. 設定 IPAdapter。
3. 設定 ControlNet。
4. 設定 Lora，如果你不要的話，也可以把他 byPass。
5. 設定最後輸出，修復臉部。

最後，我們做輸出與臉部修復。

小結

這邊之所以僅使用 OpenPose 的原因在於，我們是使用 IPAdapter 參考了整體風格，所以，倘若再加入 SoftEdge 或 Lineart 這一類的 ControlNet，多少會干涉整個 IPAdapter 的參考結果。

當然，這個情況也不是一定會發生，你的原始影像來源如果沒有非常複雜，多用一兩個 ControlNet 也是可以達到不錯的效果。