Optimizer

說在最前面的，在 Lora 訓練當中，各種優化器（Optimizer）都有自己專屬的超參數（Hyperparameter）。對於模型訓練而言，超參數的影響並不會非常巨大，所以，在你決定調整超參數之前，請先確保你的模型已經足夠好了。不然花在這上面的時間，很可能會是浪費掉的。