深層学習とロボット工学の融合の可能性

サイエンスライターの森山和道さんが、「現在のロボットと将来の可能性日本ロボット学会セミナー『ロボット工学の未解決問題』レポート」で紹介している内容が面白い。

https://robotstart.info/2019/10/29/moriyama_mikata-no99.html?fbclid=IwAR2C4wAk0oZQdVQE9lpHuuISVBGSFDrIZcya7jZ7ld4mSw0KAJUnJHNA9KQ

・特に、東京大学大学院東京大学大学院工学系研究科人工物工学研究センター教授の松尾豊氏が、「深層学習とロボット工学の融合の可能性」と題して講演している内容は参考になると思う。

・「AlphaZero」は、将棋の序盤で王将を中段に動かすなど、今までの理論の枠組みとは違う戦略を取る。これは人間の思考の癖にとらわれない良い戦略を機械学習技術が見出し得ることを示しているという。また、アミノ酸配列からタンパク質の三次元構造を推定することができる「AlphaFold」のような応用も出てきている。

・ディープラーニング革命によって、認識から身体性や運動の習熟を経て、言語の意味理解へと進むというのが松尾氏の考える機械学習の発展だ。アプリケーションとしては防犯や自動運転を経て、家事や介護、そして本当の意味での言語処理を経て翻訳やホワイトカラー支援へと進むという予測を2014年に出しており、いまのところ、だいたい予想どおりだという。

・UCバークレーの「BRETT」や、グーグルの分散学習、OpenAIによるロボットハンドの研究例を示した。また、松尾研究室発ベンチャーの一つであるDeepXはフジタとの共同研究で、画像認識を使った建機の自動制御に取り組んでいる。

・自然言語処理については2018年に登場した「BERT」による機械翻訳や、Googleトランスレートがトピックスだった。いまでもすごい勢いで進化しているという。

・ディープラーニングは一言でいうと「深い関数を使った最小二乗法」だと述べた。ざっくり言ってしまうと変数が桁違いに多い最小二乗法で、ただし、入力と出力が直接繋がっているのではなく中間の関数が２層、３層となっていることで表現力が豊富になっているのがディープラーニングだと説明しているという。深い関数が使えるようになった理由は計算機のパワーが上がってきたからだ。ただし、ディープラーニングはデータが多いと言われるが、実はパラメータの数に比べるとデータ量は少なくていい。そこがディープラーニングの本当に面白いところだという。

・翻訳のようなタスクの場合はRNN（再帰型ニューラルネットワーク）を使うことが多いが、RNNを「Transformer」に置き換える方法が面白いと紹介した。「Transformer」とはマルチヘッドのセルフアテンション機構をN段重ねるというもの。アテンション（注意）とは隠れ層への特定の注目を実現する機構だが、そのベクトルには別のニューラルネットワークの隠れ層の情報を使う。ここで「セルフ」というのはネットワークが自分がどこを見るのか決めることができるという意味だ。つまりアテンションの機構を複数持ち、N段繰り返したアーキテクチャになっている。すると言語理解タスクの精度が上がるというもので、「面白いけど、なぜうまくいくのかよくわからない」と言われていたのだという。

・Palm創業者のジェフ・ホーキンスがかつて言ったように予測が重要だと述べた。自動運転のように実世界で動くためには「自分が行動するとこうなる」とわかっていて、フィードフォワードで制御して動かないと、うまく動けない。

・DeepMindから発表された「GQN（Generative Query Network)」という手法も面白いという。三次元的空間再構成ができる手法だ。人は、空間のなかで、どこの位置に立つとどう見えるか、予測ができる。だがそういう技術はまだない。また、人間の場合はこの世界が３次元であると教わってないにもかかわらず、視覚や聴覚センサーからの時系列入力の結果、世界が３次元構造だということに気づいて世界モデルを作っている。

・なぜパラメータが多すぎるのに汎化できるのかという問題については「宝くじ仮説」というものがあると紹介した。一般的にはフラットな局所解のほうが汎化性能が高いから汎化するんだという説が有力だが、「宝くじ仮説」はそれとは異なっている。学習済みネットワークで重みが小さいコネクションの多くを刈り取って再学習させても精度がそれほど下がらない「プルーニング」と呼ばれるやり方が、軽量化が重視される実装では用いられることが多い。プルーニングがなぜうまくいくのかについて研究が行われた結果、ネットワークの構造と初期値の組合せが重要であり、その当たりくじをひくかどうかが重要なのではないかと言われはじめているという。

・人工知能の世界は記号派とパターン派が戦ってきたが、どちらも正しいと述べた。松尾氏は、人間の知能は身体性にもとづく「動物OS」が、記号の世界である「言語アプリ」を駆動するような構造になっていると考えているという。たとえば「大きなリンゴの木がある」という言葉を聞くと、我々は大きなリンゴの木を実際に見ていなくても脳のなかにその姿を描き、シミュレートする。これがつまり、言語アプリが動物OSを呼び出してシミュレータとして使っているということであり、また言語に戻しているということを示しているという。

・単にいま見えているものだけを相手にするのではなく、「今ここ」では見えてないものを想像して、模擬的なセンサー入力とするのは人間しかやらない。これはある意味では非常に危険だからだ。実際のセンサ入力と自分が脳のなかで作り出した情報を混ぜるのは、幻想や幻覚をうむ可能性がある。だが人間の場合は、虚構を信じることがたまたま集団としての生存確率を上げるので、そういう特異なことをやるようになったのではないかと松尾氏は述べた。

・そして言語アプリが主体となる記号操作系を知能の根源だと考えており、知能は「二階建て構造」をしていると強調した。ソシュールのいうシニフィエシニフィアン／シニフィエはそれぞれ動物OSが言語アプリへのコマンドと考えられ、呼び出し命令のことをシニフィアン、実行内容をシニフィエといっているのではないかと考えられるという。また二階建て構造になっていることで学習速度の向上にも貢献しているのではないかと述べた。

・いまはまだ「動物OS」の部分がないが、画像認識やロボティクスの分野でそれができ、さらにそれが記号系と結びつくと、本当の意味での言葉理解ができるようになるはずだと述べ、それは近い将来、五年、十年くらいでできるようになるのではないかと語った。コンピューターがメールの理解や言葉がわかるようになるというわけだ。

・また、多数パラメーターの科学、高次元科学の時代が来るとも述べた。そして人間が「理解する」ということそのもののメタ理解ができるのではないかという。現在の我々がいう「理解する」というのは「理解とは言語アプリにとっての再現可能性のこと」だという。動物OSにおける世界のモデル化は「理解」とは言っていない。たとえば自転車の乗り方は言語化はできていないが動物OS部分でじゅうぶんこなすことができる。現在の言語における「理解」とは再現性ある操作系列に直すということでしかないが、それを我々は理解と呼んでいる。

・たとえば量子力学と化学、政治学と経済学などはきれいには繋がっていない。だが多数パラメーターの途中に少数パラメーターの系が現れることがある。人にも捉えられやすい「少数パラメーターの系が学問分野になっているのではないか」と述べて、「多数のパラメーターさえ使えればモデル化はできるはずだ」と語った。ただし高次元科学は人間には理解できないかもしれない。また、なぜところどころに少数パラメーターの系が出現するのかというと、下のレイヤーを上のレイヤーにあわそうとするとパラメータ数が減ることによるものではないかと述べて、人工物工学のミッションとして、その辺を明らかにしたいと語った。

・いずれにしても将来は、人間が「わかった」と言うときに、それが何を意味していたのかが明らかになるはずだ。人間は人間の認知的特性のなかでしかモデル化することはできないので、謙虚になるしかないという。人間がいうところの「わかる」ということ自体に限界があることを認めて、どうやって新しい世界を作るかが重要であり、科学技術のパラダイム自体を大きく変える可能性があると語った。

ＩＴ起業研究所ITInvC代表　小松仁