はい。前の記事でnf4版「flux1-dev-bnb-nf4-v2.safetensors」を使用して画像生成やってみましたが
今のところ「ComfyUI」で使えるようになるアップデートとかはなさそうですね。。。
nf4版でも「WebUI Forge」というUIで使用すれば調整されたようでLoRAが使えるみたいです。
でも、「ComfyUI」しかほとんど触っていないので。
「ComfyUI」でLoRAを使いたいとなったら、今のところFP8版のmodelを使うのがベストですかねぇ。。。
１．とりあえずmodelをダウンロード
やっぱりLoRAを使いたいので、まずは、fp8版を使えるようにします。
以下のサイトからmodelをダウンロードしましょう。
上記のサイトから、「download」ボタンを押して
FLUX.1 [dev] fp8版の「flux1-dev-fp8.safetensors」を落とします。
約17GBもあるので、HDDに優しくないですね。。。
ダウンロードが終わりましたら、ダウンロードしたものを上記の「unet」内に置きます。
後は、ComfyUIを起動して、
以下のように、「CheckpointLoaderNF4」のノードから「Load Diffusion Model」に繋ぎ変えて
「unet_name」に先ほどダウンロードした「flux1-dev-fp8.safetensors」を選択し
「weight_dtype」に「fp8_e5m2」を選びます。
あとは実行して。。。
できました。
ちなみに「weight_dtype」における「fp8_e4m3fn」と「fp8_e5m2」の違いは。。。
難しい話なので（笑）
fp8_e4m3fnは4ビット、fp8_e5m2は5ビットの指数部を持つため、fp8_e5m2は広い範囲の数値を表現できて細かいディテールや色調の表現に有利ともいわれています。が。。。正直変わらない気がするので好きな方でいいかと。
２．LoRAを組み込もう
あとは好きなLoRAを組み込みましょう～！
LoRAの組み込みは今までと同じです。こちらでも紹介してます。
いつもお世話になっているCivitaiでLoRAをダウンロードします。
フィルターを使ってFlux.1用のLoRAを抽出しましょう。
あとは、お好きな使いたいものをダウンロードして、lorasのフォルダに入れます。
ComfyUIのLoRAの組み込みも同じです。
適当なところでダブルクリック
検索窓が出たら「lora」とでも入れれば、「Load LoRA」がありますのでこちらをクリック
あとは「Load LoRA」を通るように、MODELとCLIPを繋ぎ変えるだけです。
ディテールアップ系のLoRAを使ってみました。
同じプロンプトでやりましたが。。。
実写風になりました。
アニメ系のLoRAとかもあるのでいろいろ試したいですね。
ただ、やっぱりLoRAを入れると生成に時間がかかります。。。
どのmodelを使うかも悩みどころですね。。。
３．いろいろ比較
最近は実写風の画像生成にはまってまして。プロンプト同じで違いをみてみました。
NF4
FP8 LoRAなし
FP8 LoRAあり（detail系）
正直、生成時間にさほど差がなく、これなら精度がいいFP8版でもいいかなぁと思いました。
やっぱりちょっと綺麗ですよね。HDDには優しくないけど。。。
ちなみにサムネイル画像はFP8 LoRAありで2倍にアップスケールしました。
