FaceRigで出力した動画、口パクがなんかズレているなぁと言うときに
試してほしい方法です。
そう普段使われていない○○_clean.wavを活用するとリップシンクがきれいにつかがるかもしれません。
FaceRigの口パクを合わせる方法
FaceRigの口パクを合わせる方法の紹介です。
パフォーマンスを録音で生成されるデータ
まず、FaceRigでパフォーマンスを録音すると3つのデータが生成されます。
- Sample.rpl
- Sample.wav
- Sample_clean.wav
動画を出力するにあたって、使用される音声データについて
そしてムービーとしてパフォーマンスをエクスポートする時は
- Sample.rpl
- Sample.wav
の2つ使用されます。
要するに同名の.rpl /.wavが合成されることになります。
※ちなみに.wavを消した状態でエクスポートすると音声無しの動画を作成することも可能です。
※そしてSample_clean.wavは使われてません！
「○○_clean.wav」について
この使われないSample_clean.wavデータについて調べてみました。
まず音声Sample.wavとSample_clean.wavの波形を重ねて、差の絶対値を視覚的にだすと下記のようになります。
ほとんど同じ波形の形で、音が綺麗になったわけではなさそうです。
- 上の波形 Sample.rplとSample.wavのデータから書き出した動画
- 下の波形 Sample.rplとSample_Clean.wavをSample.wavとリネームしたデータから書き出した動画
（もとのSample.wavは削除）
上図を見てのとおり、音のタイミングが違います。
動画と合わせてみるとわかるのですが、普通に書き出したものよりもリップシンクの動きが噛み合います。
要するにFaceRig動画の口パクのタイミングにより適している音声が合成されます。
FaceRigで口の動きと音声をより正確に合わせる動画の書き出し方まとめ
ということで元の〇〇.wavは使わず
〇〇_Clean.wavを〇〇. rplと同名にリネームしてから、動画出力することをおすすめします！
さらに付け加えると動画出力する前に.wavデータを音声編集ソフトで事前に編集。
ホワイトノイズや音量を修正したデータにしたものを動画出力にすると後々の編集に有効ですので、ぜひ試してみてください。
下記の記事では出力した動画データ（.Webm）を編集ソフトで読むこむためのやり方を紹介しています。
