(おまけ) DreamBooth学習
Last updated
Last updated
Paperspace GradientにてDreamBooth学習を試したので方法を解説する。
本記事の手順はAitrepreneurの動画等を参考にしている。
なお先の章の方法でのstable diffusion webui導入が終わっていることを前提とする。RTX5000、A4000以上で動作することを確認している。
先の導入のコードの後の空欄に次のコードを書き足していくか、前回作成したstable-diffusion.ipynbの隣に別途新しいipynbファイルを作成しそちらに記述してほしい。
本記事のコードのnotebook版は↓
通常の起動時と同様にxformersの導入を行う。DBではVRAM節約のため多くの場合xformersが必要になる。（毎回起動時に必要。）
下のコードをコピペし実行する。
Stable diffusionを起動しDreamBoothをインストールする。既にインストールが終わっている場合は不要「3. 学習画像を準備する」に飛べば良い。
下記のコードを実行しstable diffusion webuiを起動する。下記のコードの通り--enable-insecure-extension-accessオプションを付けて起動していないと拡張のインストールができないことに注意。
出力されるURLをクリックしてwebuiを開く。
下記の画像の手順でExtensions タブからDreamBooth extensionをインストールする。
インストールの終了が確認できたらコードの実行を停止しwebuiを終了する。
学習させたいキャラや属性の画像ファイルを用意する。今回はテストとしてミチコ・マランドロの画像15枚を用意した。
学習画像群を/storage/atelier/dataset/instanceにアップロードする。画面左のファイルビューアを使って所定のフォルダまで移動し所定のフォルダにてドラッグ&ドロップすればアップロードされる。
正則化のための画像を用意する場合は/storage/atelier/dataset/classに同様にアップロードする。
今回は正則化画像は使用せず学習を行う。
次のコードを実行して再度stable diffusion webuiを開く。使用するVRAMを抑えるため--xformersオプションは必須。
webuiを開いたらDreambooth タブが現れているはず。これをクリックし、CreateModelタブからモデル名（ここではmichiko）、元となるモデルのファイル（ここではnovelaiのmodel.ckptを選択）、を選択し、Createボタンを押す。
作成が成功したら、Modelの欄で先に設定した名前を選択。Parameters タブでTraining Steps やSave Checkpoint Frequency、Save Previews Frequency等を設定する。
Training Steps：学習の量を設定
Save Checkpoint Frenquency：指定Stepごとに学習途中のモデルデータを生成する。Training Stepsより大きければ学習終了後のみモデルデータを生成する。
Save Preview(s) Frenquency：指定のStepごとにプレビュー画像を生成する。Training stepsより大きく設定すればプレビュー画像は生成されない。
Learning rate：大きいほどstep当たりのモデルパラメータの変動量が大きなる。
その他各設定項目の説明はextensionの公式gitページにある。
学習時のGPUメモリ使用量の節約のため、Parametersタブの下部にあるAdvancedを開き、下記の画像の通り設定をする。これらの設定はA4000、RTX5000で動かす場合必須。
Use 8bit Adamにチェックを入れる
Mixed Precisionをfp16に設定
Memory Attentionをxformersに設定
Concepts タブを開き下記の通り設定する。
Dataset Directory：学習画像データの場所を指定。今回は/storage/atelier/dataset/instance
Classification Dataset Directory：正則化画像データの場所を指定（正則化を行う場合）。今回正則化画像は使用しないが/storage/atelier/dataset/classを指定する。
Instance prompt：学習画像の希望するプロンプトを入力。今回はillusutration of lady,michiko malandroとした。
Class Prompt：正則化画像に対応するプロンプトを入力。今回正則化は行わないが例えばillustration of lady等と入力。
全ての設定が完了したら右上のTrainを押し、学習を開始する。今回の設定（Steps1000程度、画像数15枚程度）ならA4000で11分程度かかる。
学習が完了すると/storage/atelier/stable-diffusion-webui/models/Stable-diffusion/にモデルが作成される。学習途中のモデルは「モデル名_学習ステップ数.ckpt」という名称になり、最終モデルは「モデル名_0.ckpt」という名称になる。
モデルを使って実際に画像生成を行ってみる。モデル一覧を更新し生成したモデルを選択。illustration of lady, michiko malandro, playing cards in hotel,というプロンプトで画像を生成する。
ミチコマランドロの特徴を捉えた画像の生成が確認できた。
