本記事はVTuber Tech #1 Advent Calendar 2019の9日目の記事です。
2018年の夏、どうしてもVTuberになりたくて、土日の時間をフルに使ってLive2DとFaceRig用のVTuberモデルを制作しました。
しかし、短期間で一から制作するのは非常に大変でした。
ここでは2019年に試した、パーツ分けをしない画像ベースのアバター表現を紹介します。画像を揺らすツール、AIで顔を変形する研究デモ、4枚の表情画像を切り替えるPuppet3は仕組みが異なります。すべてが1枚だけで口パクまでできるわけではありません。
イラストを描かずにVRoidから一枚絵を用意する方法
3Dアバターを作成できるソフト「VRoid Studio」を使い、VTuber用の一枚絵モデルを作成します。
VRoid Studio公式サイトから使用するOS向けの案内を確認します。本文の解凍・実行ファイル起動と「撮影・エクスポート」画面は2019年の旧版の記録で、正式版と画面構成が異なります。
各タブでパラメータを調整し、アバターモデルを作成します。
詳細な作成手順は下記の記事で解説しています。
モデルが完成したら「撮影・エクスポート」タブでポーズをつけ、右下の撮影ボタンから静止画を出力します。
こちらが今回使用する一枚絵です。
この表示例では輪郭が分かりやすいように背景を黒くしています。黒背景が全ツールに適するわけではありません。透過PNGなど、読み込み先に合う画像を別途用意します。
VRoid Studioガイドラインでは、特別なライセンス表記のない提供アイテムは商用利用などが認められています。ただし、提供素材の権利がすべて利用者へ移るという意味ではありません。
第三者の衣装・テクスチャ・サンプルモデルなどを使う場合は、その素材の利用条件も確認します。ソフトの利用条件と、使用する素材の条件は分けて確認してください。
Talking Head Animeを使って一枚絵でVTuber化する
当時紹介した動作例です。外部投稿の現在の再生状態は確認できていません。
Pramook Khungurn氏の「Talking Head Anime from a Single Image」は、画像の顔を変形させる研究デモです。作者のREADMEではGoogle製品ではなく、Googleのサポート対象でもないと明記されています。
作者のデモコードには、手動スライダーで姿勢を変える機能と、Webカメラ入力へ追従させる機能があります。旧デモのREADMEはNVIDIA GPUやPython環境などを前提としており、画像を置くだけで使える配信用アプリではありません。
旧デモの入力は256×256のRGBA PNGで、顔を中央128×128内に収め、背景を透明にする指定があります。上の黒背景の画像をそのまま渡す手順ではありません。コード・学習済みモデル・入力画像の利用条件はそれぞれ確認します。
既存のツールを使って一枚絵を動かしVTuber活動をする方法
以下は画像の一部を揺らしたり、複数の画像を切り替えたりする旧ツールの作例です。今回の更新で現行Windows上の再現試験は行っていません。
「XX-CAKE!」を使って一枚絵の一部を揺らす方法
配布サイトからZIPファイルをダウンロードして解凍し、XX-CAKE.exeを起動します。
読み込む画像のコピーを画面へドロップします。
旧作例では「設定」で重さを80%前後にし、動かす部分を左ドラッグで塗りました。この値は共通の推奨値ではなく、画像に合わせて動きを見ながら調整します。
消す際は右クリックでドラッグします。
「自動動作」ボタンを押すと、塗った領域がアニメーションします。
設定画面に戻り、揺らしたい境界部分をさらに細かくペイントして調整します。
調整を重ねることで、なめらかな揺れを表現できるようになります。
本ソフトは公開から年数が経過しているツールです。
これは画像の変形による揺れの表現で、カメラで顔を追跡して表情を再現する手順ではありません。
パーツごとにグループ化して個別に動かせるため、使いこなせば一枚絵でも多彩な動きを表現できます。
「チクワしか持ってねえ」を使って一枚絵から揺れアニメーションを作成する方法
「チクワしか持ってねえ」は疑似立体のGIFを生成するツールです。配布元のversion 4（2012年）の同梱説明を確認しました。記載OSはWindows 98〜7で、現在のOSでの実行は未確認です。
解凍したフォルダのtikuwa.exeが実行ファイルです。
「画像を開く」から元画像を選択します。ウィンドウへのドラッグ＆ドロップも同梱説明で案内されています。
立体情報の描画色で「黒」を選び、動かさない背景領域を塗ります。元絵を黒く塗り直す操作ではなく、黒は最も奥で揺れない領域を表します。
奥にあるパーツから順に紫、青と塗り分け、最も手前に来るパーツを赤で塗ります。
境界の塗り方で変形後の輪郭が変わります。作例では境界の範囲を調整しましたが、はみ出して塗れば常に改善するわけではありません。出力を見比べて調整してください。
GIFを書き出す前に、「立体情報」＞「保存」で塗り分けた深度情報をBMPファイルとして別途保存します。
後から調整を続けるときは、元画像を開き、「立体情報」＞「読み込み」で保存した情報を読み込みます。
元画像・立体情報のBMP・出力したGIFを分けて保管すると、深度を最初から塗り直さずに再調整できます。
同梱説明の「GIFの生成」で保存名を指定し、揺れの方向を選びます。
生成後に出力サイズを指定して保存します。
この保存・読み込み手順は2026年10月29日に配布元のversion 4同梱説明で確認したもので、現行Windowsでの実行は未検証です。
揺れの方向は横揺れと縦揺れから選択できます。
こちらも古くからあるツールですが、正確に塗り分けることで手軽に立体的な揺れを表現できます。
「Puppet3」を使って軽量なVTuber環境を構築する
Puppet3は、画像の切り替えで目パチと音声連動の口パクを表現できます。顔の形をカメラで追跡する方式ではなく、4種類の画像を準備する方式です。
VRoid Studioで表情だけを変え、目と口の開閉を組み合わせた4枚を用意します。画像サイズ・カメラ位置・キャラクター位置・背景をそろえ、切り替え時に位置が跳ねないようにします。
- 1_目あき口とじ.png
- 2_目とじ口とじ.png
- 3_目あき口あき.png
- 4_目とじ口あき.png
Puppet3の詳細な設定手順は下記の記事で解説しています。
旧作例ではPuppet3G.exeに4枚を登録しました。使用するマイクを選択し、入力に反応するか、口パクのしきい値とまばたきの設定を確認します。登録しただけで必ず音声に反応するとは限りません。
4枚の静止画のみでデスクトップ上に動くアバターを表示できます。
OBSのウィンドウキャプチャなどで取り込み、背景処理・音声・画像の切り替わりを録画で確認してから配信します。黒い背景を付けただけで自動的に透過されるわけではありません。
VTuberのセットアップ全般や配信設定の手順は、まとめ記事で解説しています。
アバターを表示するソフトは、ほかにも紹介しています。
パーツ分け不要のVTuber制作まとめ
「VRoid Studio」と「Puppet3」を組み合わせることで、イラストのパーツ分けをせずに手軽にVTuber環境を構築できます。
Puppet3のカスタマイズ説明ではアニメーションGIFも利用できます。ただし、今回の各ツールの出力を組み合わせた実機検証は行っていません。連番画像をそのまま読み込めるという説明ではありません。
あわせて紹介した「Talking Head Anime」のような技術にも注目です。
必要なのが揺れのループ、音声で切り替わる口パク、顔への追従のどれかで、選ぶ仕組みが変わります。ここに載せた旧環境の作例を、現在の動作保証としては扱わないでください。
よくある質問：パーツ分け無しでVTuberを作る方法
パーツ分け無しで、VTuberを作る方法はありますか？
画像を切り替える方法なら、Live2Dのようなパーツ分けをせずに口パク・目パチを表現できます。ただし本文のPuppet3の方法では、1枚ではなく4種類の表情画像が必要です。
イラストを描かずに、一枚絵を用意するには？
VRoid Studioでモデルを作り、画像として撮影する方法があります。記事の画像は2019年の旧画面なので、現在の正式版では公式案内も参照してください。
VRoidで作ったモデルは、商用でも使えますか？
特別なライセンス表記のない提供アイテムには商用利用が認められています。第三者の素材やサンプルに個別条件がある場合はそれにも従います。作成したという理由だけで、素材の権利や条件がなくなるわけではありません。
Puppet3では、どう動かしますか？
同じサイズ・位置の4枚を登録し、使用マイクと音量のしきい値、まばたき設定を確認します。顔追跡ではなく、画像の切り替えによる動きです。
一枚絵を揺らすツールはありますか？
XX-CAKE!では重さを塗った領域を動かし、「チクワしか持ってねえ」では深度情報からGIFを生成します。横揺れ・縦揺れの選択は後者の手順です。どちらも、その説明だけでリアルタイムの顔追跡ができるものではありません。
Talking Head Animeとは、何ですか？
Pramook Khungurn氏による画像の顔を動かす研究デモです。旧版には入力画像の寸法・透明背景、GPU・Python環境などの条件があります。Googleの製品として提供されたものではありません。
この記事のツールは、今も使えますか？
公開資料と一部の配布データは確認しましたが、現在のOSでのインストール・実行・配信試験は未実施です。旧作例の画面・操作と現行環境が一致するとは限りません。
