(おまけ) DreamBooth学習

Previous導入の手引き NextTips：Linuxコマンド入門

Last updated 2 years ago

(おまけ) DreamBooth学習

Paperspace GradientにてDreamBooth学習を試したので方法を解説する。

本記事の手順は等を参考にしている。

なお先の章の方法でのstable diffusion webui導入が終わっていることを前提とする。RTX5000、A4000以上で動作することを確認している。

先の導入のコードの後の空欄に次のコードを書き足していくか、前回作成したstable-diffusion.ipynbの隣に別途新しいipynbファイルを作成しそちらに記述してほしい。

本記事のコードのnotebook版は↓

1. xformersの導入

通常の起動時と同様にxformersの導入を行う。DBではVRAM節約のため多くの場合xformersが必要になる。（毎回起動時に必要。）

下のコードをコピペし実行する。

%%bash
# https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
MINICONDA_INSTALLER_SCRIPT=Miniconda3-py39_4.12.0-Linux-x86_64.sh
MINICONDA_PREFIX=/usr/local
wget https://repo.continuum.io/miniconda/$MINICONDA_INSTALLER_SCRIPT
chmod +x $MINICONDA_INSTALLER_SCRIPT
./$MINICONDA_INSTALLER_SCRIPT -b -f -p $MINICONDA_PREFIX
rm $MINICONDA_INSTALLER_SCRIPT
# conda update conda -y
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch -y
conda install xformers -c xformers/label/dev -y

2. DreamBoothのインストール

Stable diffusionを起動しDreamBoothをインストールする。既にインストールが終わっている場合は不要「3. 学習画像を準備する」に飛べば良い。

下記のコードを実行しstable diffusion webuiを起動する。下記のコードの通り--enable-insecure-extension-accessオプションを付けて起動していないと拡張のインストールができないことに注意。

# 起動のおまじない（DBインストール用）
%cd /storage/atelier/stable-diffusion-webui
# webuiを自動更新するおまじない
# !git pull
%mkdir -p /storage/atelier/dataset/instance
%mkdir -p /storage/atelier/dataset/class
!python launch.py --share  --gradio-auth sd:test \
--enable-insecure-extension-access

出力されるURLをクリックしてwebuiを開く。

下記の画像の手順でExtensions タブからDreamBooth extensionをインストールする。

インストールの終了が確認できたらコードの実行を停止しwebuiを終了する。

3. 学習画像を準備する

学習させたいキャラや属性の画像ファイルを用意する。今回はテストとしてミチコ・マランドロの画像15枚を用意した。

学習画像群を/storage/atelier/dataset/instanceにアップロードする。画面左のファイルビューアを使って所定のフォルダまで移動し所定のフォルダにてドラッグ&ドロップすればアップロードされる。

正則化のための画像を用意する場合は/storage/atelier/dataset/classに同様にアップロードする。

今回は正則化画像は使用せず学習を行う。

4. DreamBoothの学習を行う

次のコードを実行して再度stable diffusion webuiを開く。使用するVRAMを抑えるため--xformersオプションは必須。

# 起動のおまじない（DB学習用）
%cd /storage/atelier/stable-diffusion-webui
# webuiを自動更新するおまじない
# !git pull
!python launch.py --share  --gradio-auth sd:test --xformers

webuiを開いたらDreambooth タブが現れているはず。これをクリックし、CreateModelタブからモデル名（ここではmichiko）、元となるモデルのファイル（ここではnovelaiのmodel.ckptを選択）、を選択し、Createボタンを押す。

作成が成功したら、Modelの欄で先に設定した名前を選択。Parameters タブでTraining Steps やSave Checkpoint Frequency、Save Previews Frequency等を設定する。

Training Steps：学習の量を設定
Save Checkpoint Frenquency：指定Stepごとに学習途中のモデルデータを生成する。Training Stepsより大きければ学習終了後のみモデルデータを生成する。
Save Preview(s) Frenquency：指定のStepごとにプレビュー画像を生成する。Training stepsより大きく設定すればプレビュー画像は生成されない。
Learning rate：大きいほどstep当たりのモデルパラメータの変動量が大きなる。

その他各設定項目の説明はextensionの公式gitページにある。

学習時のGPUメモリ使用量の節約のため、Parametersタブの下部にあるAdvancedを開き、下記の画像の通り設定をする。これらの設定はA4000、RTX5000で動かす場合必須。

Use 8bit Adamにチェックを入れる
Mixed Precisionをfp16に設定
Memory Attentionをxformersに設定

Concepts タブを開き下記の通り設定する。

Dataset Directory：学習画像データの場所を指定。今回は/storage/atelier/dataset/instance
Classification Dataset Directory：正則化画像データの場所を指定（正則化を行う場合）。今回正則化画像は使用しないが/storage/atelier/dataset/classを指定する。
Instance prompt：学習画像の希望するプロンプトを入力。今回はillusutration of lady,michiko malandroとした。
Class Prompt：正則化画像に対応するプロンプトを入力。今回正則化は行わないが例えばillustration of lady等と入力。