手話をリアルタイムで通訳してくれるAIを開発。動きをテキストで変換(2/22 カラパイア)
https://karapaia.com/archives/52310323.html
手話通訳AIは、腕や指など体の複数のパーツの動きを分析して、アメリカ式の手話を英語に変換する。
開発したのは、インド、ヴェロール大学工学部の3年生プリヤンジャリ・グプタさんだ。
現在認識できる手話は、「はい」「いいえ」「こんにちは」「ありがとう」、そして「愛してる」の基本的なものだけだ。こうしたモデルの信頼性を高めるには大量の手話データでAIを学習させねばならない。
グプタさんはこのAIモデルをソフトウェア開発のプラットフォーム「Github」に公開した。オープンソースにすることで、コミュニティの力を借りながら、課題を解決しつつ、作業をさらに進められるだろうと期待している。
(サイトより引用)
—
少ないパターン認識だと現時点でここまでできるのだな、と思いながら拝見しました。
AIの判定状況でしょうか、%の数字で表現されているのが逐次表示されるのもすばらしいです。
この記事の手話、インド手話じゃないんですね。
手話単語は日本の場合高校生レベルで約5000でしょうか、単語以外の非手指動作もあるので、AI通訳が実現するには相当時間がかかりそうだと思っています。しかも地域により手話も異なりますし。
表現するだけでも、アニメの手話通訳が25年以上研究されて、一部はかなり違和感が少なくなってきているものの、人が読み取れる単語数を増やすのが課題かな。

