Hina Chen - HINA::工程幼稚園 (Page 4)

[ComfyUI] ControlNet, IPAdapter, AnimateDiff 目標與背景處理

Nov 20, 2023 13 min read AI AIGC ControlNet AnimateDiff IPAdapter SEGs ComfyUI LCM LCM Lora ComfyUI Impact Pack

這篇文章的主題，主要是來自於 ControlNet 之間的角力。就單純論 ControlNet 而言，某些組合的情況下，很難針對畫面中的目標進行更換，例如服裝、背景等等。我在這裡提出幾個討論的方向，希望對大家有所幫助。

[A1111] AnimateDiff + IPAdapter + OpenPose 操作說明

Nov 16, 2023 10 min read AI AIGC Stable Diffusion WebUI A1111 AnimateDiff IPAdapter OpenPose ControlNet

A1111 在操作上比較方便，不過相對的他對記憶體的使用也比較高一點。如果要製作 vid2vid 的 AnimateDiff 建議還是使用 ComfyUI 比較好。

[ComfyUI] IPAdapter + OpenPose + AnimateDiff 穩定影像

Nov 13, 2023 5 min read AI AIGC StableDiffusion ComfyUI AnimateDiff animate Workflow OpenPose

雖然說 AnimateDiff 可以提供動畫流的模型演算，不過因為 Stable Diffusion 產出影像的差異性問題，其實還是造成了不少影片閃爍或是不連貫的問題。以目前的工具來看，IPAdapter 再搭配 ControlNet OpenPose 剛好可以補足這個部分。

[ComfyUI] AnimateDiff 影像流程

Nov 9, 2023 14 min read AI AIGC ComfyUI StableDiffusion AnimateDiff 影片流程 Workflow

主要是一些操作 ComfyUI 的筆記，還有跟 AnimateDiff 工具的介紹。雖然說這個工具的能力還是有相當的限制，不過對於畫面能夠動起來這件事情，還是挺有趣的。

[Lora] 訓練概念筆記

Oct 8, 2023 14 min read AI AIGC Lora Lora 訓練訓練模型 StableDiffusion Kohya-ss Kohya_ss

這是我目前訓練 Lora 的流程概念筆記，訓練的過程其實大概就煮飯一樣，現在電子鍋很方便，就跟訓練器一樣，只是準備不周的話，飯會不會熟就是另一回事了。訓練資料集首先你需要明確的知道你想要訓練的「目標」是什麼，這樣才能準備資料。無論你訓練的目標是什麼，盡量多元的資料集是必須的。 1. 如果只訓練一個概念（ Concept ），那麼請盡量刪除或抹去與這個概念會產生衝突的資料。 2. 訓練多個概念，可以透過特定的標籤（ Tag ）來解決，這樣會需要更多的訓練時間。 3. 如果你使用 ARB ( Aspect Ratio Bucket) 的訓練方式，可以不裁切資料集圖片（