【Stable Diffusion】ControlNetの使い方まとめ！機能紹介！

ControlNetはStable Diffusion WebUIの拡張機能の一つで、画像生成の精度を向上させ、よりリアルで魅力的なビジュアルを作り出すための強力なツールです。

この記事では、ControlNetのインストール方法からモデルのダウンロード、主要機能の使い方をまとめて紹介します。

ControlNetとは？

ControlNetは、Stable Diffusionに新しい条件を追加することで、細かいイラストの描写を可能にする拡張機能です。このツールを使えば、プロンプトだけでは指定しきれないポーズや構図、テクスチャの変更、線画への色付けなどを詳細にコントロールできます。特に、キャラクターのポーズや輪郭を参考画像から取り込み、再現することができるため、非常に高精度な画像生成が可能です。

ControlNetの主な機能は、画像からポーズや構図といった特徴を抽出し、それを元に生成する画像に制約を加えることです。これにより、指定した特徴を反映したビジュアルを生成できます。写真やイラスト、手描きの絵など多様な参考素材を使い、具体的なポーズや輪郭を反映させることができるため、高精度な画像生成ができるようにになります。

さらに、ControlNetは複数のモデルにより、さまざまな機能を提供します。例えば、CannyやDepth、Inpaintなど、それぞれ異なる画像生成のニーズに応えるモデルが用意されています。これにより、ユーザーは用途に応じた最適なモデルを選択し、自由度の高い画像生成を実現できます。

ControlNetのインストール方法

これからインストールするControlNetのバージョンはv1.1.448です。Stable Diffusionのバージョンはv1.9.3です。バージョンが合わないと動作しないためご注意ください。

Stable Diffusionのバージョンは、画面下のフッターで確認できます。

以下はContorlNetをインストールする手順です。

Stable DiffusionにControlNetを導入する。

STEP

Stable Diffusionの[Extensions]タブを開き、[Install from URL]タブをクリックします。

STEP

[URL for extension’s git repository]にControlNetをインストールするURLを入力し、[Install]をクリックします。

インストールURLはこちらを開き、コピペしてください。

GitHub

GitHub – Mikubill/sd-webui-controlnet: WebUI extension for ControlNet WebUI extension for ControlNet. Contribute to Mikubill/sd-webui-controlnet development by creating an account on GitHub.

STEP

[Installed]タブを開き、[Apply and quit]をクリックし、Stable Diffusionを再起動します。

STEP

再起動が完了したら、[txt2img]タグから[ControlNetv1.xxxx]と表示されていることを確認します。

ControlNetモデルのダウンロード

ControlNetの導入が完了したら、次は「モデル」をダウンロードします。用途に応じた専用のモデルを導入する必要があります。

STEP

Hugging Faceのページを開きます。

あわせて読みたい

comfyanonymous/ControlNet-v1-1_fp16_safetensors at main We’re on a journey to advance and democratize artificial intelligence through open source and open science.

STEP

赤枠で囲ったファイルがControlNetのモデルです。使用するファイルをダウンロードします。

STEP

ダウンロードしたモデルをStable DiffusionのControlNetのフォルダへ移動します。

[stable-diffusion-webui] > [extensions] > [sd-webui-controlnet] > [models]のフォルダに格納します。

ControlNetの主要機能の紹介

ControlNetは、Stable Diffusionの画像生成能力を飛躍的に向上させる多機能な拡張モジュールです。さまざまな機能を活用することで、プロンプトでは指示しきれない細かな描写や高度な編集ができるようになります。このセクションでは、ControlNetの主要な機能とその活用方法について詳しく紹介します。

Canny

画像の輪郭を抽出し、それをもとにした画像生成を可能にします。これにより、細部まで精緻なディテールを持つ画像を生成することができます。

ControlNet Cannyの使い方は以下の記事で解説しています。

UruruAILab

【Stable Diffusion】ControlNet「Canny」の使い方を解説！ | UruruAILab この記事では、Stable DiffusionでControlNet Cannyのインストール方法、画像生成の基本設定と操作手順までを詳しく解説します。

Depth

画像の深度情報を利用して立体感のある画像を生成します。奥行きを表現することで、よりリアルでダイナミックなビジュアルを作り出せます。

Inpaint

画像の欠損部分を補完したり、不要なオブジェクトを消去したりするために使用されます。これにより、画像の修復や編集が簡単に行えます。

ControlNet Inpaintの使い方は以下の記事で解説しています。

UruruAILab

【Stable Diffusion】ControlNet「Inpaint」の使い方を解説！ | UruruAILab この記事では、Stable DiffusionでControlNet Inpaintのインストール方法、画像生成の基本設定と操作手順までを詳しく解説します。

Lineart

画像の輪郭線を抽出し、手描き風の線画を生成します。この機能を活用することで、イラストやマンガ風の画像を作成することができます。

Openpose

人物のポーズ推定を行い、そのポーズに基づいた画像生成をサポートします。複雑なポーズや動きを再現する際に非常に有用です。

ControlNet OpenPoseの使い方は以下の記事で解説しています。

UruruAILab

【Stable Diffusion】ControlNet「OpenPose」の使い方を解説！ | UruruAILab この記事では、Stable DiffusionでControlNet OpenPoseのインストール方法、画像生成の基本設定と操作手順までを詳しく解説します。

Reference

参考画像を基に新しい画像を生成します。特定のスタイルや構図を持つ画像を作りたい場合に、この機能を使うことで精度の高い結果を得ることができます。

Scribble

手描き風のスケッチを基に詳細な画像を生成します。シンプルな線画から複雑なビジュアルを作り上げることができ、クリエイティブな表現が可能です。

Tile

タイル状のパターンや背景を生成するために使用されます。繰り返しパターンや連続した背景を作成する際に便利で、デザインの幅が広がります。

ControlNetのアップデート方法

STEP

Stable Diffusionの[Extensions]タブから[Installed]タブを開き、[Check for updates]ボタンをクリックします。

STEP

[Update]に[new commits(更新可能)]、[latest(最新版)]または[unknown(不明)]が表示されます。

STEP

[Apply and quit]ボタンをクリックすると、ControlNet含む拡張機能を一括で更新できます。

まとめ

この記事では、Stable Diffusionの拡張機能であるControlNetの基本からインストール方法、主要な機能の紹介まで、幅広く解説しました。ControlNetを導入することで、プロンプトだけでは実現できない高度な画像生成ができるようになります。

ControlNetを使うことで、生成AIの可能性を最大限に引き出して、プロ並みのクオリティの画像を作ることができます。これからも新しい機能や技術を活用し、作品作りに活かしてください。