増毛、眼鏡、福笑いまで 顔写真が動いてしゃべる「MotionPortrait」のこんな使い道
薄くなった髪が増えて見える。モナリザに好きなせりふをしゃべらせられる。
自分の顔で福笑いができる。そう、あの技術を使えば……。
1枚の顔写真から多彩な表情の3Dアニメーションを作り出す「MotionPortrait」（モーションポートレート）の活用が広がっている。
開発当時「何に使えばいいんだろう」と思われていた技術に今、光が差している。
顔写真を3Dアニメ化し、録音したせりふに合わせて自動で口を動かすiPhoneアプリ「PhotoSpeak(iTunes)」は、昨年10月の発売直後から話題となり、6万ダウンロードを突破した。
イギリスの警察がMotionPortraitを使ってモンタージュ写真を3Dアニメ化したいと依頼してきたこともあった。
同社が断ったため実現しなかったというが、使い道はまだまだありそうだと感じさせる出来事だ。
開発したモーションポートレートの藤田純一社長が「ぶったまげた」というMotionPortraitのあのリアルさが、さまざまな分野で生きている。
増毛シミュレーション、逃亡犯の顔写真を3Dアニメ化も
MotionPortraitは、ソニー木原研究所が開発した技術を同社が引継いで事業化した。
技術の詳細は秘密だが、“肝”は独自の顔認識エンジンだ。
1枚の顔写真から目や鼻など特徴点を自動抽出し、3D画像へ変換。
さらに、まばたきや微笑みといったリアルな動きを付けてアニメーション化する。
特徴点は無数にあり、顔の各パーツの位置や形も詳細に検出できるという。
顔写真から作成した3Dアニメに眼鏡を合成したり、瞳の色を変えるといった装飾も可能だ。
アデランスの増毛シミュレーションサイト「ヘアTRY」など、2008年度は15件のキャンペーンで採用された。
PSP用ソフト「涼宮ハルヒの約束
」でも活用されているほか、客の顔写真にさまざまな髪型を合成して見せる試みを店頭で行っている美容室もある。「髪を切るときもMotionPortraitで“インフォームドコンセント”が可能」（藤田社長）だ。日本のテレビ番組で逃亡犯の顔写真を3Dアニメ化して見せたこともある。
イギリスの警察からモンタージュ写真を動かしたいという依頼もあったが、「本人の顔と全く同じ表情を再現するわけではないため、エンタメ以外の用途は慎重に進めたい」と藤田社長は考えている。
アプリでモナリザやグリコの看板も動く
MotionPortraitを活用したiPhoneアプリも話題だ。
PhotoSpeakは発売翌日、日本のAppStoreの有料アプリランキングで 1位となった。
北米やイギリスでも人気で、売り上げの半分以上を海外が占めるという。
「PhotoSpeakを知って、iPhoneを買いたくなった」「これを人に見せると絶対ウケる」――ユーザーがTwitterなどに書き込んだアプリの感想を見て、アプリを開発した同社の佐々木大地さんは「予想以上の反響」と喜ぶ。
動画が見れない場合はこちら
PhotoSpeakは、正面から撮影した顔写真をアップロードすると、十数秒～2分ほどで3Dアニメ化。
顔が左右に揺れたり、タッチした部分を目で追ったりする。
アプリ上で音声を録音し、再生ボタンを押すと、音声に合わせて口を動かす。
顔認識の精度は、正面を向き、光が均等に当たっている写真を使うほど高まるという。
記者も試してみたところ、お札の肖像画やリカちゃん人形の写真もぐりぐり動かせた。
モナリザや大阪・道頓堀のグリコの看板を3Dアニメ化した様子をYouTubeに投稿しているユーザーもいる。
佐々木さんによると、人の顔だけでなく猫の写真も3Dアニメ化できる場合があるという。
一方、アイドルのグラビア写真ではうまくいかなかったことも。
「写真ががんがんレタッチされていたからかも」（佐々木さん）
動画が見れない場合はこちら
お気に入りの2次元キャラを3Dアニメ化し、好きなせりふをしゃべらせたい――こんな要望も多いそうだ。
だがMotionPortraitでイラストの顔から特徴点を自動抽出するのは難しいため、PhotoSpeakでは認識に失敗することが多い。
特徴点を手動で指定すれば、人間の顔以外も3Dアニメ化できるが、そのようなアプリの開発は未定だ。
今後はPhotoSpeakのAndroid対応を進める。
アプリで作成した3Dアニメをネット上にアップロードするといった共有機能も充実させていく計画だ。
福笑いアプリに驚愕
PhotoSpeak以外にも、MotionPortraitを使ったiPhoneアプリを投入していく計画だ。
昨年11月には、顔写真で福笑いを楽しめるアプリ「NullFace(iTunes)」（350円）を発売した。
動画が見れない場合はこちら
顔写真をアップロードすると、目や鼻、口などのパーツを個別に回転、拡大・縮小、移動させられる。
iPhoneを振ると、パーツが顔から滑り落ちてのっぺらぼうになる。
NullFaceでデザインした顔写真はメールで送れる。
記者も試したところ、パーツの位置を変えるだけで自分の顔が別人のように変身した。
目を拡大してプチ整形気分を味わおうと思ったが、拡大しすぎて輪郭からはみだしたため、宇宙人のようになり大失敗だった。
その顔写真をメールで送り、PhotoSpeakで使ってみた。
大きな目がギョロリと動き、まばたきする様子は、自分の写真ながら相当気持ち悪い。
PhotoSpeakを知らない友人たちに見せると「不気味すぎる」「夢に出てきそう」と言われて散々だったが、飲み会などで披露すれば盛り上がりそうだ。
MotionPortraitで3Dアニメ化した女の子のキャラが、曲に合わせてダンスしたり、歌詞に合わせて口を動かすアプリも開発中だ。デモ版を見せてもらったところ、アップテンポの曲に合わせてキャラが動くたびに、おっぱいが“ぷるんぷるん”と揺れていたのが印象的だった。記者は公開を心待ちにしている。
PhotoSpeak
←iTunesからダウンロード350円
NullFace
←iTunesからダウンロード115円(通常：350円)
【関連】
【アプリ】愛くるしい笑顔で迫ってくる小悪魔な「板垣あずさ」の挑発にクラクラ
【アプリ】面白すぎるが見たくない 自分の老いた顔 HourFace セール
【アプリ】カメラアプリ２種 ProCamera と Camcorder
【情報】iPhoneのカメラで自分の顔を正面から撮る方法
【アプリ】考えている事が吹き出しでわかっちゃいます･･･つぶやきカメラ
クリックはこちら
