カメラに映った顔が、その場で別の顔に変わる。初めてそれが動くのを見ると、「撮りながら顔を変えられるなら、撮影済みの動画を加工する必要はなくなるのでは？」と思うかもしれません。
私自身、リアルタイム顔入れ替えの製品を開発するなかで、むしろ単純に新しい方式が古い方式を置き換える話ではない、と感じるようになりました。
どちらもAIによる顔の入れ替えですが、役立つのは制作の異なる段階です。
動画の顔入れ替えは、撮り終えた素材をどう仕上げるか
動画の顔入れ替えを使う典型的な場面では、すでに素材があります。
撮影済みの動画に登場する人物の顔を変えたい。短い動画やGIF、宣伝用の素材を公開前に加工したい。こうした場合に重視するのは、完成した映像の仕上がりです。
素材をアップロードし、処理を待ってから結果を確認できます。一部の仕上がりが気になれば、生成し直したり、編集し直したりすることもできます。
これは撮影後の編集作業の一つです。
リアルタイム顔入れ替えは、今起きていることに対応する
リアルタイム顔入れ替えでは、処理するタイミングが撮影中に移ります。
カメラの前で話す、顔を横に向ける、ライブ配信やビデオ通話に参加する。その間、AIは入力され続ける映像に合わせて、新しい結果を出し続ける必要があります。
ここでできるようになるのは、単に動画の加工を速くすることではありません。撮影後に使う編集機能だった顔入れ替えを、その場のやり取りにも使えるようにすることです。
配信中に別のキャラクターに切り替える。ビデオ通話で見た目を変える。カメラの前で仕上がりを直接確かめる。こうした使い方では、すべてを撮り終えてから加工するわけにはいきません。
LiveFaceSwap AIを開発するうえで、私が特に意識しているのもこの違いです。リアルタイムの価値は、待ち時間が短いことだけでなく、「今、結果が必要」という場面に応えられることにあります。
リアルタイムで処理できても、撮影後の編集はなくならない
リアルタイムは便利ですが、制約もあります。
カメラ映像に追いつくには、速度、画質、計算にかかるコストのバランスを取らなければなりません。ネットワークやカメラの状態、動作を安定して続けられるかどうかも使い心地に影響します。
撮影済みの動画には、それほど厳しい時間の制約がありません。
公開する一本の映像を仕上げるのであれば、素材を調整し、生成し直し、編集し、複数の結果を見比べるために時間をかけたいことも多いでしょう。
リアルタイム顔入れ替えが得意なのは、今起きていること。動画の顔入れ替えが得意なのは、すでに撮り終えたものです。
片方の技術が進歩しただけで、もう片方の用途までなくなるわけではありません。
作り手は、両方を使うこともある
配信中はリアルタイム顔入れ替えを使い、配信が終わったら、その録画を動画ツールでさらに加工する。そんな使い方も考えられます。
普段は撮影後に顔を入れ替えて短い動画を作っている人でも、ライブ配信や視聴者とのやり取りではリアルタイム処理が必要になるかもしれません。
同じ制作のなかで、両方を使うこともできます。
撮影やその場のやり取りにはリアルタイム顔入れ替えを使い、撮影後の編集や最終的な仕上げには動画の顔入れ替えを使う。
互いに代わりになる二つのソフトというより、撮影と編集の関係に近いのだと思います。
省けるようになるのは、途中の作業かもしれない
リアルタイム技術が進めば、これまで仕方なく挟んでいた作業は減っていくと私は考えています。
たとえば、ある顔を自分のカメラ映像に重ねるとどう見えるか、少し確かめたいだけの場合。以前は短い動画を撮り、アップロードし、結果を待つ必要があることもありました。
今では、こうしたプレビュー目的の使い方の多くを、その場で済ませられます。
それでも、次のような作業が必要なら、動画の顔入れ替えには独自の役割が残ります。
- 撮影後に細かく仕上げる
- 複数の結果を繰り返し見比べて選ぶ
- すでにある動画を編集する
- その場のやり取りを必要としないコンテンツを、まとめて作る
リアルタイム顔入れ替えは、使い道を広げている
AIによる顔入れ替えを一つの分野として捉えると、動画の顔入れ替えは「すでにある映像を編集する」ものです。リアルタイム顔入れ替えは、そこに「今映っている映像を変える」という使い道を加えました。
使える場面は増えましたが、撮影済みの素材を加工する必要がなくなったわけではありません。
少なくとも今の段階では、私は両者を、いずれリアルタイム方式に一本化される技術ではなく、互いに補い合う二つの制作方法として見ています。
これから面白くなりそうなのは、どちらかが消えることよりも、一つの制作の流れのなかで両方を自然に使えるようになることではないでしょうか。