ここからはいろいろなノードを追加して、
自分好みの画像を生成していくことを目標としたいと思います。
作りたい画像って、人によってまちまちですからね。
まずは「LoRA」を使ってみましょう
「LoRA」とは「model」ファイル(checkpoint)に対して追加学習を行ったものです。
これを使うと、特定のキャラクターや、画風、シチュエーション、
服装などをある程度決めることができるようになるんです!
使い方によってはちょーーーーっと危ない機能なので、あくまでも個人的に楽しみましょう。
1.ダウンロード
「LoRA」を使うには「model」をダウンロードしたときと同じく、「LoRA」のダウンロードが必要です。
またcivitaiにお世話になりましょう。
Modelsタグから
右上の「Filters」をクリックしてください。
以下のような画面が出るので、緑枠で示した「LoRA」を選択。
ついでに、「Checkpoint」も押してチェックを外しましょう。
すると「LoRA」だけがピックアップされます
ちなみにですが、「LoRA」にもバージョンがあります。
今回は「SDXL1.0」の「Model」をしているので、LoRAも「XL」と記載しているものしか使えません。
上で記述した「Filters」の「Base model」で「SDXL 1.0」にチェックを入れておくと、
XLバージョンしか表示されなくなるので便利です。
2.実装
ここでは例として、書き込み量を増やしてくれるLoRA
「Detail Tweaker XL」を導入してみたいと思います。
またまたお世話になりますCivitai
上記のリンクに飛んでから
ボタンを押してLoRAをダウンロードしてください。
ダウンロードフォルダに上記のファイルがダウンロードできていると思います。
こちらを
ComfyUI_windows_portable
┗ ComfyUI
┗ models
┗ loras
の中に入れてください。
これで準備は完了です。
3.ノードの追加
LoRAを使うには、LoRAを読み込むノードが必要になります。
ワークフロー内でどこか空いているところをダブルクリックすると、検索窓ができてきます。
ここで以下のように「lora」と検索してみましょう
すると、LoRAの候補がいろいろ出てくるので、一番上の「Load LoRA」を選ぶと
こんな感じで「Load LoRA」というLoRAをロードするノードが出てきます。
あとはノード同士の線をつなぎます。
「Load LoRA」は、「Load Checkpoint」のあとに繋ぎましょう。
「Load Checkpoint」の「MODEL」をクリックして、そのまま
「Load LoRA」の「MODEL」にドラッグしてくっつけるイメージです。
併せて、CLIPも繋ぎなおします。
これが↑
こんな風になります。
本当に「Load Checkpoint」から出ていたものを「Load LoRA」に繋いで、
「Load LoRA」から同じようにプロンプトと、サンプラーに繋ぐイメージです。
4.公式サイトも参考にしてみよう
ここまでは手でノードを追加してみました。
何をいれればよいか理解してればいいのですけど、最初は難しいですよね。。。
しかし、ComfyUIの素敵なところで、
情報が入った(メタデータ)画像を、ComfyUIにドラッグ&ドロップすると、
その画像がどのように作成されたかの、ワークフローを読みこむことができるんです!!
そんなチュートリアルな感じで、
用意されたサイト「ComfyUI_examples」という所があるので、
そこからちょっと画像をもらって、覚えていきましょう。
ここにはいろいろなサンプルワークフローがあります。
ワークフローを読み込んで、覚えられる素敵なサイトです。
今は「LoRA」を組み込むということをしているので、
以下の「Lora」というところから飛んでみましょう。
すると以下のようなサンプルの画像が用意されています!!なんて優しい!!
上の画像が、LoRAを一つ組み込んだもの、
下の画像が複数(ここでは2個)組み込んだものですね。
LoRAを複数使いたいときは、こんな感じで繋ぐことがことができますよ~
と紹介されています。
では、、上の画像を保存してみましょう。
画像を右クリックして、「名前を付けて保存」を選択。
どこでもよいので保存しましょう。
ここでは「lora.png」で保存しました。
この画像をドラッグ&ドロップで
「ComfyUI」のワークフローに持っていきます。
すると、サンプルのワークフローがそのまま読み込まれます!
素晴らしい!!
もうこれだけでも使えますが、
中身のパラメータを調整していきましょう。
5.動かしてみよう!
パラメータを調整しまして、
ポジティブプロンプトをいい感じの猫ちゃん
「masterpiece best quality cat」にしました。
そして、LoRAも入れてみました。
まず、「Refresh」を押して、最新の状態にします。
「Load LoRA」のパラメータを
・lora_name:「add-detail-xl.safetensors」
・strength_model:「1.0」
・strength_clip:「1.0」
に設定しました。
ちょっとした説明ですが、
「lora_name」
これは、使うLoRAですね。ここでは、先ほどダウンロードした「add-detail-xl.safetensors」を設定しています。
「strength_model」
使うLoRAの強さです。数字が高いほどLoRAの効果が強く出ます。
ですが、LoRAは強ければいいというわけではなくて、
ダウンロードしたLoRAのサイトに、作成した方からの推奨設定値など記載されていたりするので、
翻訳などをして確認してみましょう!
「strength_clip」
こちらも強さの値です。「strength_model」はmodel(Checkpoint)への影響の強さ、
こちらはCLIPへの影響の強さです。
ちょっとClipについてはまだ説明を書いていなかったので、
とりあえずどちらも同じ値を設定しておきましょう。
同じ値にするのが推奨されているみたいです。
ここではどちらも「1.0」にしています。
では、実行!
LoRAを使った、猫ちゃんがでました!
LoRAの使い方はこんな感じです。
これで好きなLoRAをダウンロードして、いろいろな画像を作っていきましょう!
ちなみに設定の強さによっての、生成画像の違いを紹介しておきます。
「-1.0」
「LoRAなし(0)」
ちなみに上のように、ノードが紫になっているところはLoRAを使わない(無効化)としています。
ノードを書いて、今回だけこのノード使いたくないけど、削除するのは・・・・
といったときに、ノードをクリックで選択して「CTRL+B」を押すことで無効化ができます。
Bypass という、「迂回する、無視する」という意味合いで
LoRAに限らず、すべてのノードで、「CTRL+B」でBypassできるので
ノードが多くなって、ちょこっと調整するときなど便利ですよ。
強さによっての比較がを載せました。
書き込み量が増えるLoRAなので、-1.0だとシンプルですね。
1.0にするとちょっとフワフワ感が増えた気がします。
LoRAはきちんと反映されているみたいですね。
-1.0
0
1.0
6.補足
上記のLoRAにはなかったのですが、
LoRAによってはトリガーワードというものが設定されているときがあります。
例えば、上のLoRAは「手」を綺麗にしてくれるLoRAです。(Hands XL + SD 1.5)
「TriggerWords」は、このLoRAが動いてもらうための引き金の言葉です。
ですので、LoRAに「TriggerWords」が設定されているならば、
ポジティブプロンプトにこちらの言葉を記載して、LoRAにきちんと反映してもらうようにしましょう!
LoRAによっては、サイトにトリガーワードの記載の仕方や、
推奨設定(LoRAの強度)、おすすめのMODELなど記載がされていることもありますから、
英語だからと読まずに、翻訳ソフトも使用してぜひ読んでみてくださいね。
長々と書きましたがLoRAの使い方でした。
他もサンプルワークフローはいろいろあるので、
このサイトからいろいろ学んでいきたいと思います。