当サイトはアフィリエイト広告を利用しています

【ComfyUI】10:LoRAを組み込んでみよう

ComfyUI雑記
スポンサーリンク

ここからはいろいろなノードを追加して、
自分好みの画像を生成していくことを目標としたいと思います。
作りたい画像って、人によってまちまちですからね。

まずは「LoRA」を使ってみましょう
「LoRA」とは「model」ファイル(checkpoint)に対して追加学習を行ったものです。
これを使うと、特定のキャラクターや、画風、シチュエーション、
服装などをある程度決めることができるようになるんです!
使い方によってはちょーーーーっと危ない機能なので、あくまでも個人的に楽しみましょう。

1.ダウンロード

「LoRA」を使うには「model」をダウンロードしたときと同じく、「LoRA」のダウンロードが必要です。
またcivitaiにお世話になりましょう。

Civitai: The Home of Open-Source Generative AI
Explore thousands of high-quality Stable Diffusion models, s...

Modelsタグから

右上の「Filters」をクリックしてください。
以下のような画面が出るので、緑枠で示した「LoRA」を選択。
ついでに、「Checkpoint」も押してチェックを外しましょう。

すると「LoRA」だけがピックアップされます

ちなみにですが、「LoRA」にもバージョンがあります。
今回は「SDXL1.0」の「Model」をしているので、LoRAも「XL」と記載しているものしか使えません。
上で記述した「Filters」の「Base model」で「SDXL 1.0」にチェックを入れておくと、
XLバージョンしか表示されなくなるので便利です。

2.実装

ここでは例として、書き込み量を増やしてくれるLoRA
Detail Tweaker XL」を導入してみたいと思います。
またまたお世話になりますCivitai

Detail Tweaker XL - v1.0 | Stable Diffusion LoRA | Civitai
Detail tweaker for SDXL. Works with weights Use positive wei...

上記のリンクに飛んでから

ボタンを押してLoRAをダウンロードしてください。

ダウンロードフォルダに上記のファイルがダウンロードできていると思います。

こちらを
ComfyUI_windows_portable
┗ ComfyUI
  ┗ models
   ┗ loras
の中に入れてください。

これで準備は完了です。

3.ノードの追加

LoRAを使うには、LoRAを読み込むノードが必要になります。
ワークフロー内でどこか空いているところをダブルクリックすると、検索窓ができてきます。
ここで以下のように「lora」と検索してみましょう

すると、LoRAの候補がいろいろ出てくるので、一番上の「Load LoRA」を選ぶと

こんな感じで「Load LoRA」というLoRAをロードするノードが出てきます。

あとはノード同士の線をつなぎます。
「Load LoRA」は、「Load Checkpoint」のあとに繋ぎましょう。

Load Checkpoint」の「MODEL」をクリックして、そのまま
Load LoRA」の「MODEL」にドラッグしてくっつけるイメージです。
併せて、CLIPも繋ぎなおします。

これが↑

こんな風になります。
本当に「Load Checkpoint」から出ていたものを「Load LoRA」に繋いで、
Load LoRA」から同じようにプロンプトと、サンプラーに繋ぐイメージです。

4.公式サイトも参考にしてみよう

ここまでは手でノードを追加してみました。
何をいれればよいか理解してればいいのですけど、最初は難しいですよね。。。

しかし、ComfyUIの素敵なところで、
情報が入った(メタデータ)画像を、ComfyUIにドラッグ&ドロップすると、
その画像がどのように作成されたかの、ワークフローを読みこむことができるんです!!

そんなチュートリアルな感じで、
用意されたサイト「ComfyUI_examples」という所があるので、
そこからちょっと画像をもらって、覚えていきましょう。

ComfyUI Examples
Examples of ComfyUI workflows

ここにはいろいろなサンプルワークフローがあります。
ワークフローを読み込んで、覚えられる素敵なサイトです。

今は「LoRA」を組み込むということをしているので、
以下の「Lora」というところから飛んでみましょう。

すると以下のようなサンプルの画像が用意されています!!なんて優しい!!

上の画像が、LoRAを一つ組み込んだもの、
下の画像が複数(ここでは2個)組み込んだものですね。
LoRAを複数使いたいときは、こんな感じで繋ぐことがことができますよ~
と紹介されています。

では、、上の画像を保存してみましょう。
画像を右クリックして、「名前を付けて保存」を選択。
どこでもよいので保存しましょう。
ここでは「lora.png」で保存しました。

この画像をドラッグ&ドロップで
「ComfyUI」のワークフローに持っていきます。

すると、サンプルのワークフローがそのまま読み込まれます!
素晴らしい!!

もうこれだけでも使えますが、
中身のパラメータを調整していきましょう。

5.動かしてみよう!

パラメータを調整しまして、
ポジティブプロンプトをいい感じの猫ちゃん
「masterpiece best quality cat」にしました。

そして、LoRAも入れてみました。
まず、「Refresh」を押して、最新の状態にします。

「Load LoRA」のパラメータを
・lora_name:「add-detail-xl.safetensors」
・strength_model:「1.0」
・strength_clip:「1.0」
に設定しました。

ちょっとした説明ですが、
「lora_name」
これは、使うLoRAですね。ここでは、先ほどダウンロードした「add-detail-xl.safetensors」を設定しています。

「strength_model」
使うLoRAの強さです。数字が高いほどLoRAの効果が強く出ます。
ですが、LoRAは強ければいいというわけではなくて、
ダウンロードしたLoRAのサイトに、作成した方からの推奨設定値など記載されていたりするので、
翻訳などをして確認してみましょう!

「strength_clip」
こちらも強さの値です。「strength_model」はmodel(Checkpoint)への影響の強さ、
こちらはCLIPへの影響の強さです。
ちょっとClipについてはまだ説明を書いていなかったので、
とりあえずどちらも同じ値を設定しておきましょう。
同じ値にするのが推奨されているみたいです。

ここではどちらも「1.0」にしています。

では、実行!

LoRAを使った、猫ちゃんがでました!


LoRAの使い方はこんな感じです。
これで好きなLoRAをダウンロードして、いろいろな画像を作っていきましょう!

ちなみに設定の強さによっての、生成画像の違いを紹介しておきます。
「-1.0」

「LoRAなし(0)」

ちなみに上のように、ノードが紫になっているところはLoRAを使わない(無効化)としています。
ノードを書いて、今回だけこのノード使いたくないけど、削除するのは・・・・
といったときに、ノードをクリックで選択して「CTRL+B」を押すことで無効化ができます。
Bypass という、「迂回する、無視する」という意味合いで

LoRAに限らず、すべてのノードで、「CTRL+B」でBypassできるので
ノードが多くなって、ちょこっと調整するときなど便利ですよ。

強さによっての比較がを載せました。
書き込み量が増えるLoRAなので、-1.0だとシンプルですね。
1.0にするとちょっとフワフワ感が増えた気がします。
LoRAはきちんと反映されているみたいですね。

-1.0

0

1.0

6.補足

上記のLoRAにはなかったのですが、
LoRAによってはトリガーワードというものが設定されているときがあります。

例えば、上のLoRAは「手」を綺麗にしてくれるLoRAです。(Hands XL + SD 1.5)
「TriggerWords」は、このLoRAが動いてもらうための引き金の言葉です。
ですので、LoRAに「TriggerWords」が設定されているならば、
ポジティブプロンプトにこちらの言葉を記載して、LoRAにきちんと反映してもらうようにしましょう!


LoRAによっては、サイトにトリガーワードの記載の仕方や、
推奨設定(LoRAの強度)、おすすめのMODELなど記載がされていることもありますから、
英語だからと読まずに、翻訳ソフトも使用してぜひ読んでみてくださいね。


長々と書きましたがLoRAの使い方でした。
他もサンプルワークフローはいろいろあるので、
このサイトからいろいろ学んでいきたいと思います。