ComfyUI で LoRA を適用する

LoRA は「Low-Rank Adaptation」の略で、AI の追加学習を効率的に行うための技術のようです。画像全体を学習するのではなく、特定の「何か」に絞って学習するようなイメージですかね。

そして、その結果作成した LoRA のモデルは、画像を生成する過程で追加で適用することができ、それによって画像の方向性を調整することが可能になりそうです。特定の服装の LoRA を使うことで生成する画像をその服装に寄せたり、顔の LoRA を使って同じキャラクターの画像を生成したり、といった用途になると思います。

ComfyUI で LoRA を適用するワークフローにしてみます。ComfyUI_example に Lora Examples があります。追加のカスタムノードも必要ありません。

ComfyUI 環境準備 & 起動

Stable Diffusion 3 Medium を実行する環境を ComfyUI で用意した手順 を実行し、コンテナで ComfyUI を実行できるようにします。

その後、ComfyUI のディレクトリで以下コマンドを実行し、起動します。

python3 main.py

ブラウザで UI を開けることを確認します。

生成

ComfyUI_example の Lora Examples にある、各画像を ComfyUI の画面にドラッグアンドドロップすると、ワークフローが読み込めます。2 つ目は LoRA を多段にしているだけなので、処理的な違いはほとんどありません。

ワークフローに追加するのは、Load LoRA というノードのみです。以下のように、Load Checkpoint とポジティブ・ネガティブそれぞれのプロンプトの間に挟まる形です。

ワークフローとしてはこれくらい。ただ、重要なのは使える LoRA のモデルを探すこと、またはそういう LoRA モデルを作ること、でしょうか。