「ディープラーニングによって義手やビデオゲームを操作」というNVIDIA Blogがちょっと面白い。
「SF 映画のように、思考することで義肢を動かす技術の実現が着々と進められています。
手足の一部を切断した人の思考を読み取って指の動きに変換し、さらにはビデオゲームのコマンドにまで変換するという画期的な研究成果は、人間が心であらゆるデジタル機器をコントロールできる可能性を示しています。
研究者グループは、GPU を使用して、コンパクトで電力効率の高い NVIDIA Jetson Nano システムオンモジュール（SOM）上で動作する AI ニューラルデコーダを学習させ、46 歳の Shawn Findley さんの思考を個々の指の動きに変換しました。
さらに、Far Cry 5 と Raiden IV を搭載した PC に Findley さんが接続し、ゲーム内のアバターを動かしたり、ジャンプさせたり、さらには仮想のヘリコプターを操縦させたりすることにも成功したのです。
これは、四肢を切断された人がより自然に、より敏感に義肢をコントロールできるようになることを約束するだけではありません。
いつの日か、ユーザーに超人的な能力を与えることができるかもしれません。」
「この取り組みは、"A Portable, Self-Contained Neuroprosthetic Hand with Deep Learning-Based Finger Control "と題されたドラフト論文に詳述されています。
この論文では、人間が思考によってあらゆるデジタル機器を制御できるようにするシステムを実現するための、異分野間の共同作業について詳しく説明しています。
論文の筆頭著者で、現在はミネソタ大学で Zhi Yang 准教授の指導を受けているポスドク研究員の Anh Tuan Nguyen 氏は、「このアイデアは、ビデオゲーマーにとって直感的なものだと語ります。
熱心なゲーマーでもある Nguyen 氏は、電気工学の学士号と生物医学工学の博士号を取得しています。
東テキサスの牧師で、17 年前に機械工場での事故により手を失った Findley 氏は、NVIDIA TITAN X GPU で学習され、NVIDIA Jetson に搭載された AI デコーダを使用して、自分の考えをリアルタイムで、もちろん別の NVIDIA GPU 上でも動作する仮想環境内の行動に変換することができた、と説明しています。」
「Findley さんは、米国国防総省高等研究計画局の HAPTIX プログラムの支援を受けて実施された臨床試験に参加した数少ない患者の一人です。
その取り組みは、世界中の何百万人もの切断者の生活を改善することを目的としています。
毎年、100 万人以上の人が手足を切断し、これは 30 秒に 1 人の割合となっています。
義肢は過去数十年の間に急速に進歩し、より強く、より軽く、より快適になりました。
しかし、神経データから動作の意図を読み取るニューラルデコーダは、劇的な進歩を約束します。
数時間のトレーニングで、Findley さんは携帯型の義手の指を素早く正確に、そして直感的に動かすことができるようになりました。
その鍵となるのは、オンラインショッピングから音声認識まで幅広く利用されている、GPU で加速されたディープラーニングであることがわかりました。
切断者の場合、手がなくなっても、なくなった手を制御していたシステムの一部が残っています。
例えば、切断された手でコーヒーを飲むことを想像するたびに、その考えは切断された体の部分とつながっていた末梢神経にアクセスできるのです。
UTSW の Cheng 博士は、切断された前腕部に残っている正中神経と尺骨神経に、微小な電極の配列を外科的に挿入して、その思考を捉えました。
これらの電極は、カーボンナノチューブの接点を持ち、末梢神経からの電気信号を検出するよう設計されたものです。
GPU は、ディープラーニングフレームワークである PyTorch で動作するリカレントニューラルネットワークをベースに設計された AI ニューラルデコーダを加速させます。」
「このようなニューラルネットワークは、過去 10 年間で爆発的に普及し、画像認識や音声認識、自動運転車など、従来のハンドコーディングでは対応できないような複雑なタスクのシステムをコンピュータ科学者が学習できるようになりました。
課題は、このニューラルデコーダ（推論と呼ばれるプロセス）を迅速に実行するのに十分な性能を持ち、かつ十分な携帯性を備えた電力効率のよいハードウェアを見つけることです。
そこでチームは、TensorFlow、PyTorch、Caffe などの一般的なディープラーニングライブラリをフルサポートする CUDA コアを搭載した Jetson Nano を採用しました。
この学習したニューラルネットワークを、クレジットカードサイズのパワフルな Jetson Nano に実装することで、ユーザーが個々の指の動きをリアルタイムにコントロールできる、携帯可能な自己完結型の神経義手が完成しました。
これを使って、Findley さんは、実験室や実世界のさまざまな環境で、指の動きを高精度かつ低レイテンシーで制御できることを実証しました。
次のステップは、ワイヤレスで埋め込み可能なシステムで、ユーザーは必要なときに携帯型の義手を装着することができ、体からワイヤーが出てくることもありません。
このチームが開発した AI 対応のニューラルインターフェースの技術は、研究室から生まれたスタートアップ企業である Fasikl Incorporated にライセンス供与されています。
その目的は、切断された患者や神経疾患の患者、さらには考えることでロボットや機器を制御したい健常者が使用できる神経調節システムを開拓することです。
この技術が普及することで、世界中の多くの義肢を必要とする人たちに希望が生まれ、義肢以外の様々な活用方法が広まっていくでしょう。」
First-Hand Experience: Deep Learning Lets Amputee Control Prosthetic Hand, Video Games | The Official NVIDIA Blog
https://blogs.nvidia.com/blog/2021/05/24/deep-learning-amputee-prosthetic-hand-video-games/?linkId=100000049829140&fbclid=IwAR3p0eaBnwQfjrrtE0mmzYiSq86zqjCqQlpR6xfLc2_cIisvE9DJyBXViiM
ＩＴ起業研究所ITInvC代表 小松仁