東芝、手話するヒト型ロボ 阪大などと開発 (日本経済新聞10/5)
http://www.nikkei.com/article/DGXLZO77986110U4A001C1TJC000/
東芝は手話をするヒト型ロボットを大阪大学などと開発する。産業用ロボットや音声合成、音声認識の技術を生かし2020年までに手話で会話が可能なロボットを完成させる。7日に開幕する家電見本市「シーテック」で165cmの試作機を初めて公開する。
(サイトから引用)
--
楽しそうな話題です!
音声認識した上で、文章に沿った手話単語回答するのは技術的な流れとしては、比較的やりやすいのではと思われます。
鍵になるのはむしろ音声認識で正確に内容をつかむことだと思われます。