東芝は2024年5月10日、あらかじめ作成したデータでロボット制御に用いられるAI（人工知能）の機械学習を行う「オフライン強化学習」において、少量の画像データで複雑なロボット操作を高精度に制御する技術を開発したと発表した。これまでロボット制御AIのオフライン強化学習では数千以上のデータが必要だったが、新技術は10分の1以下のとなる100程度のデータで精度を向上できる。公開ベンチマーク環境によるシミュレーション評価の結果、平均成功率が従来比で2倍となる72％に向上した。少量の画像データから複雑なロボット操作を高精度に制御するAI技術は「世界初」（東芝）、公開ベンチマーク環境における72％の成功率は「世界最高精度」（同社）だという。
産業用ロボットは、製造業の工場における加工や組み立てなどで広く用いられてきた。単純作業を人手よりも効率良く行えることが利点であり、作業内容の入力方法は実際にロボットを動かして記録する「ティーチング」が一般的だ。一方、モノの仕分け作業や物流倉庫のピッキングのように、対象物や周辺の状況によって毎回異なる複雑な作業を求められる場合、産業用ロボットの作業内容をティーチングによって人手で入力することは大きな負荷になり、導入のハードルが高くなる。
この導入のハードルを下げると期待されているのが、AIが自律的に試行錯誤しながら適切な制御方法を学習する強化学習である。強化学習の中でも、実際の運用環境で産業用ロボットに試行錯誤を繰り返させる「オンライン強化学習」と、あらかじめ作成した操作データから制御を学習するオフライン強化学習がある。ただし、オンライン強化学習は試行錯誤を繰り返す際に安全上の懸念があり、オフライン強化学習はそういった安全上の懸念がないものの、一定以上の精度を確保するのに必要な大量の操作データを作成する膨大な手間と労力が課題になる。
今回東芝が開発した技術は、少量のデータでもオフライン強化学習を効率良く行えるとともに高い精度を実現できることが特徴だ。従来のオフライン強化学習では、想定される物の配置や作業のパターンを網羅的に学習するため数千以上の学習データが必要であり、その学習データの作成に数週間～1カ月以上かかっていた。新開発の技術は、100程度の学習データを作成するだけ高い精度を実現でき、学習データの作成にかかる時間は半日程度で済む。
ロボットアームの操作範囲を2段階に分けて制御し学習する
新技術を開発する上で重要な要素となったのが、ロボットアームの操作範囲を2段階に分けて制御し学習することだ。1段目の制御では撮影した画像からロボットアームの移動先を決定し、2段目の制御では移動先周辺のみを切り取った画像から移動先を補正する。
従来のオフライン学習で行っていたのは1段目の制御だけだった。新技術で導入した2段目の制御の学習は、注目領域のみを含む画像が入力され、画像の回転／切り取り／合成などによってデータを増やすデータの水増しができ、効率的に学習可能な移動先の補正のみを学習対象としている。これらのことにより、少量のデータでも高い精度のロボット制御が可能なAIのオフライン学習が可能になった。
新技術を用いてロボット操作100回分の画像データで学習したロボット制御AIについて、公開ベンチマーク環境であるRLBenchによるシミュレーション評価を行った。その結果、ピッキングや物を置くなどの8種類の作業をそれぞれ500回行った際の平均成功率は、従来のオフライン強化学習の36％から倍増となる72％に向上した。
作業ごとの成功率では、鍋のふたを持ち上げる「TakeLidOffSaucepan」が79％から99％、傘立てから傘を取り出す「TakeUmbrellaOutOfUmbrellaStand」が40％から90％など、90％を超える事例も出た。成功率が最も低かった、ブロックをつかんで持ち上げる「PickAndLift」でも、4％から47％と大幅な改善を確認している。
なお、今回の新技術の開発は、理化学研究所 革新知能統合研究センター長 兼 東京大学 大学院新領域創成科学研究科教授の杉山将氏との共創の成果によるものだ。また、新技術の詳細は、ロボティクス分野の国際学会である「ICRA（IEEE International Conference on Robotics and Automation） 2024」（2024年5月13～17日、パシフィコ横浜）で、同年5月14日に発表される予定だ。