ロボットとAIの融合を進め技術の革新に貢献～「ロボット基盤モデル」の共創研究～

トヨタ自動車株式会社 未来創生センター（以下、トヨタ）は、「すべての人に移動の自由を提供」することを目指し、人と共存するロボットの研究に取り組んでいます。またその研究方法は世界中の多くの研究者との自由闊達な参加型の連携、いわゆる「共創研究」を取り入れています。今回は、ロボットがより多くの分野で活躍する社会を実現するための共創として、生活支援ロボット“Human Support Robot”（以下、HSR）を利用した「ロボット基盤モデル」の研究開発への取り組みを紹介します。

－まず、ロボット基盤モデルとはどのようなものなのでしょうか？

有馬

ロボット基盤モデルは、多様な環境で集めたロボットの動作データを学習し、多様なタスクに汎用的に適応できるロボット制御モデルのことです。例えば、GPTやGeminiなどの大規模言語モデルは、大量のテキスト情報から学習し、チャットアプリなどで円滑な会話を実現しています。一方、ロボット基盤モデルは、センサーデータや動作データなど実際の物理環境で得られる情報を統合的に学習します。このため、言語指示をもとにロボットが家庭や小売店、工場、医療、建設など多様な実世界の環境でタスクを実行できるようになります。こうした技術は、日本の社会課題解決に貢献することが期待され、ここ数年で特に注目されている研究分野です。実際にロボット基盤モデルを構築していくためには、①大規模なデータ収集、②ロボット基盤モデルの学習、③検証、④さらなるデータ収集という、一連のサイクルを進める必要があると考えています。また、大規模言語モデルは、インターネット上にある大量のデータを取得しやすいのに対して、ロボットのデータは同規模で集めるのが難しく、いかに大量のロボット動作データを獲得するかが大きな課題となっています。

－このプロジェクトを始めた経緯を教えていただけますか？

有馬

HSR開発コミュニティでは、多くの先生や学生さんがロボット研究について意見交換をしています。2023年秋ごろにちょうど、ロボット基盤モデルの可能性について着目していたときでした。その中で、「これだけ多拠点でHSRを動かしているなら、それらのデータを集めてロボットの学習に利用するのはどうか？研究としても面白い。ロボット基盤モデルもこうした活動から生まれるのではないか？」という気軽な雑談がきっかけだったと記憶しています。この話を東京大学の松嶋達也さんがHSR開発コミュニティで呼びかけたところ、多くの賛同者が集まり、草の根的に始まりました。

－多拠点からデータを効率よく収集するための工夫や苦労について教えてください。

有馬

ロボットのデータを大量に収集するにあたっては、大きく2つの課題がありました。

1つ目の課題は、人間がロボットを遠隔操作してデータを収集する場合、データの質は高いものの、1台のロボットにつきっきりで操作しなければならない点です。また、操作した動作がどのようなタスクを行ったのか、といったアノテーションを付与する作業時間も、操作時間に加えて必要になります。HSRがRoboCup@Homeの標準プラットフォームとして利用されてきた背景もあり、HSR開発コミュニティ内の研究拠点には家庭環境で片付けを行う自律システムが複数存在していました。そこで本プロジェクトでは、これらの自律システムによるデータ収集を活用することで、人間がロボットを操作できない時間帯でも効率よくデータを集められるようにしました。そうすることで、自律システムが稼働している間は、人間による遠隔操作が不要になるだけでなく、ロボット自身が物体認識技術を用いて「どの物体をどう扱うか」という情報を把握し、自動的にアノテーションを付与してくれるようになりました。

2つ目の課題は、標準的なHSRの操作インターフェースであるゲームコントローラーを使用する場合、アームの各軸を1つずつ操作する必要があるため、効率的にかつ多様な軌道のデータを収集することが難しいという点です。これに対しては、より直感的にHSRを操作できる新たな操作インターフェースを開発し、多様な動作データを効率よく収集できるようにしました。

－より直感的にHSRを操作できる新たな操作インターフェースを開発したんですね。具体的にどのようなインターフェースなのでしょうか？

若山

今回開発した遠隔操作インターフェース“Teleoperation system for HSR”（以下、THSR）は、HSRの関節構造を1/2スケールで再現していて、THSRの動きをHSRの動きにリンクさせ動作指示を行うことで直感的な遠隔操作を可能にします。これにより、初めてHSRを使うユーザーでも短時間で習熟でき、習熟度を高めれば複雑なタスクも実行できます。

若山

もともとHSRの能力の限界を遠隔操作でテストしたいという目的でTHSRの開発を開始しました。従来のゲームコントローラーを使った遠隔操作では複数の軸を同時に動かしにくく、複雑な操作が困難でした。そこで、より使いやすく、直感的な操作が可能なインターフェースの開発を目指しました。スケールを縮小したロボットアームの試作から始め、自由度の少なさに起因する操作のしづらさを解消するため旋回軸、昇降軸を追加する形でTHSRを作成しました。

一般的にロボットは、制御したい対象の自由度（例えば、位置と姿勢の場合は、横、縦、高さ、ロール、ピッチ、ヨーの6自由度）以上の自由度をもつ必要があります。しかし、HSRはロボットアーム部だけを見ると4自由度のため、これだけでは自由自在にものを操ることは困難です。そのため旋回と昇降を組み合わせた6自由度を用いることで、手先の位置姿勢の6自由度を制御しています。そこで、THSRではロボットアーム部、旋回部と昇降部を組み合わせ、6自由度を有するシステムとすることで、手先の位置と姿勢を自在に制御できるようになっています。

－たしかにTHSRはHSRと同じ形をしているので、より直観的に操作できそうですね。ところで、大量に集められたデータはどこで保管するのでしょうか？

高羽

集められたデータは、前処理を行った後、クラウドのストレージサービスに保管されます。データの保管だけでなく、膨大なデータを確実に収集し、それを活用して研究開発を効率的に行うために、さまざまなクラウドサービスを活用したシステムを構築しています。

システム構築の具体例として、本プロジェクトでは、AIの大規模開発を効率的に進めるためにMLOpsを導入しています。MLOpsとは、機械学習におけるデータの前処理、モデルの学習、学習済みモデルの検証、そして実環境へのモデルの展開など一連のプロセスを効率化する仕組みです。従来は、ロボットから集めたデータを学習可能な形式に手動で変換し、学習環境に配置していましたが、これらの作業を自動化し、ロボット基盤モデルの開発をより効率的に進めるためのMLOpsパイプラインを開発しています。

さらに、収集したロボットデータを可視化・分析するWebサービスの開発も進めています。このサービスでは、収集データをもとに、タスクごとにHSRの動作を動画で確認できる機能や、タスクの種類を分析する機能があります。ロボット基盤モデルは、多様なタスクのデータを学習することで、さまざまなタスクを実行できる柔軟性を持つことが可能です。データの可視化・分析環境を活用することで、データが不足しているタスクを集中的に収集するなど、効果的なデータ収集計画を立てることができます。

－効果的なデータ収集ができるような工夫もされているんですね。データ収集の現在の開発進捗について教えてください。

有馬

HSRのデータ収集については、自律システムと遠隔操作を併用することで、トヨタを含む8拠点から約350時間分のデータを集めることができています。人間による遠隔操作はこれまで、ロボットが設置された現場で直接行っていましたが、現在は離れた場所からでも操作できるよう開発を進めています。実際に、豊田市から共同プロジェクトを行っている東京大学のロボットを遠隔操作するなどの検証を行っていて、これにより多くの人がデータ収集に協力でき、収集スピードの向上が期待されます。

－今後のデータ収集が楽しみですね。ロボット基盤モデルの学習の進捗について教えてください。

有馬

HSRで収集したデータをもとに、ロボット基盤モデルの学習も並行して進めています。現在はオープンなロボット基盤モデルとして「Octo^＊3」と「π0^＊4」を学習し、物体を拾うといった短いタスクの実行が可能になってきました。しかしながら、まだデータの量が十分ではないこともあり、多様な環境で柔軟に対応できるロボット基盤モデルには至っていません。今後は、より多様なデータを効率的に収集するとともに、ロボット基盤モデルの学習アルゴリズムの研究も加速していきたいと考えています。

－なるほど。最後に今後の展望について教えてください。

有馬

このプロジェクトはHSR開発コミュニティの有志で始まりましたが、現在この活動は「一般社団法人AIロボット協会（AIRoA）^＊5」と連携して発展させ、より大きな共創研究に成長しています。今後はさらに協力の輪を広げ、世界中の研究者や企業が協力して、ロボット基盤モデルの研究を加速させていきます。そして我々の取り組みを一日も早く社会実装をし、社会貢献できることを目指します。

参考資料

本件に関するお問い合わせ先

未来創生センター

メールアドレスfrc_pr@mail.toyota.co.jp