Gatebox をご存知ですか？
好きなキャラクターと一緒に暮らそう、をモットーに開発された機械ですが、つい最近 AI の ChatGPT 対応版の支援をクラウドファンディングで行なったところ、５０００万円以上が集まり話題になりました。
今回、この Gatebox（別名：俺の嫁召喚装置）をブリージングレッスン等に応用できないだろうか？という事でテスト用のプログラムを作ってみました。
専門的にはスマホのゲーム等でもお馴染みの Unity というのを使って作っています。
Gatebox に対して、こちらが声で指示すると、対応してくる仕組みで、最近流行りの AI「ChatGPT」も組み込んでみました。
以下の動画になります。
今、話題の AI、ChatGPT と、以前作ったバーチャル由美かおる 3D モデル、それに音声認識と音声合成を組み合わせて、架空の由美さんと会話をしてみました。
Unity 上の ChatdollKit というプログラムを使わせていただき実験しています。
現在の声は、由美さんとは似ても似つかない声ですが、とりあえず萌え音声に切り替え、近いうちに AI 合成した由美さんの声に差し替えたいと思っています。
会話の内容は、AI に「ブリージング」「女優」というような事を教えてあり、それを元に AI が勝手に「ブリージングは１分くらいから」とか、「村上春樹作品を読んだ」、などともっともらしいフレーズを喋っているだけで、本人の意思とは関係ありません。
将来的に AI を教育して行き、現実の由美かおると架空の由美かおるの境目がなくなるようにしていきたいと思っています。
（プログラム担当者）
先日行われたメタバース関連の Iot リサーチ＆デザインの講演会で使用したビデオです。
このビデオは他のメタバース関連イベントでも使用する予定です。
由美かおる 3D モデルは先日フォトグラメトリで作成した物を使用しています。
声は本人のものですが、動作は他人のモーションを使用し、リップシンクは uLipSync を使って、ブレンドシェイプを動かしています。
ブレンドシェイプは VRM 準拠しなかったので、笑いながら喋るというのが出来ない事に気づき、次回修正しなければ、という事になっています。
今後は声や人格も含めてデジタル化したいと考えています。
先日、VR の動きを収録した時、健康診断でお世話になっている、帯津先生もモーション収録に挑戦しました！
帯津先生が来ているスーツには白くて丸いマーカーが付いていますが、これを周囲に並べた複数の赤外線センサーで拾い、コンピューター上に位置データを作成します。
帯津先生はお腹が出ているので（笑）スーツのお腹の所に白い部分が出ているのですが、この部分は人間の目には見えていますが、赤外線センサーには反応しません。
先生の動きは、コンピューターに表示された由美かおるさんの 3D データに反映され、由美かおるモデルが先生と同じ動きをします。
先生と由美かおるは体型が違いますが、コンピューター内で Humanoid と呼ばれるフォーマットに変換されて、全体に辻褄が合うように動きます。
四ツ谷のデジタルモーションさんにて、バーチャル由美かおる VR ブリージングレッスンのデータ作成のシーンです。
黒いスーツに付いた丸い反射素材（自転車の反射版なんかと同じ）を、周囲の多数（２０台くらい？）のセンサーが赤外線で拾い、そのポイントを以前作った、3D 由美かおるのデータに適用しています。
まだ、表情がついていませんが、ブレンドシェイプと呼ばれる表情データも作成中です。
下の動画では手を頭の後ろに回したら、マーカーが髪の毛に引っかかってしまい、作業中断です（笑）
四ッ谷にあるモーションキャプチャースタジオ、デジタルモーションさんで、AR ブリージングレッスンの動きを取り込みました。
専用のスーツを着て、そこに目印になる白い球を貼り付けて動くと、その動きが以前収録した３Ｄモデルに反映されます。
不思議な感じです。
ブリージングレッスンを AR 体験できるソフトのテスト動画です。
以前のブログで取り込んだ本人のデータを使って作っています。
ちょっと首が長かったりとか、ありますが、まずはテストという事で…
由美かおるブリージングレッスンの VR ソフトを開発中ですが、オマケのお風呂ソフト部分のテスト画像を公開します。
お風呂に入る、かげろうお銀の上半身が床から生えています、ちょっと不気味ですよね（笑）
