日本科学未来館のオリジナルパートナーロボット「ケパラン」を通じたインタラクション研究～ロボットをより身近に感じる未来を目指して～

東京・お台場にある日本科学未来館（以下、未来館）にて、2023年11月に常設展示の大規模リニューアルが行われ^＊1、「ロボット」「地球環境」「老い」をテーマにした4つの新しい常設展示が誕生しました。そのうち、ロボットとふれあえる展示「ハロー！ロボット」に誕生したのが、未来館オリジナルパートナーロボット「ケパラン^＊2」です。ケパランは「みんなで育てる」をコンセプトにお客様と共に成長していくロボットで、その技術開発は、未来館とトヨタ自動車株式会社 未来創生センター（以下、トヨタ）が共同で行いました。今回はケパランのインタラクション開発について、開発メンバーの山本にヒアリングしました。

なぜ、トヨタがマスコットロボットの開発をするのか？

－ケパランは生きているみたいでカワイイですね、すっかりファンになってしまいました。トヨタは小さなロボット「マスコットロボット」を多く作っていますが、そもそもなぜトヨタがマスコットロボットの開発をしているのでしょうか？

山本

トヨタは東京2020オリンピック・パラリンピック競技大会の公式マスコットキャラクター「ミライトワ」「ソメイティ」をロボット化^＊3したり、NHKのSDGs教育番組「リフォーマーズの杖」のMCロボット「ベアツシ」やアルバルク東京のマスコット「ルーク」をロボット化した「ルークロボ^＊4」を開発したりしてきました。これらを称してマスコットロボットと呼んでいるのですが、トヨタはマスコットロボットの開発を通じて、人とロボットが共に生きる社会の実現に向けたインタラクションの研究をしています。

－たしかにケパランは、私の動きに対して常に反応してくれますね。

山本

マスコットロボットは見た目はカワイイのですが、実はその中にはトヨタが長年培ってきたヒューマノイドロボットの技術が詰まっています。ケパランは身長70cmほどですが、その中に34個もの関節があり、その関節ひとつひとつにマスコットロボット用に独自に開発した小型高出力サーボアンプや小型バッテリーと組み合わせることで、小さなボディでも二足歩行や片足立ちができるようにしました。さらにヒューマノイドロボット開発^＊5で得た運動制御の知見を組み合わせることで、手足が短くて頭が大きいという制御が難しい体型ながらも自立歩行が可能になりました。

－着ぐるみの下には、そんな技術が隠されていたんですね。この愛らしい動きや表情にもなにか技術が隠されているのですか？

山本

はい、あります。ケパランは長い言葉によるコミュニケーションができないためジェスチャーや表情で自身の気持ちを表現しなければなりません。全身の動きは、ヒューマノイドロボット開発で培ったモーター制御や遠隔操縦の知見を活かし、滑らかな動きができるようにしました。また、手足の動きに加えて、目や眉、口の動作により感情を表現するようにしました。さらに、着ぐるみで部品を隠し、メカらしさを想起させないようにしました。結果、まるで生きているかのように感じていただけるロボットになったのかなと思っています。

－歴代マスコットロボットも、カワイイからつい手を振ってみたくなります。またマスコットロボットが予想外のリアクションを返してくれると、私もさらに別の反応を求めて声をかけてみたくなります。これがインタラクション研究だったんですね。お客様が何度もマスコットロボットに反応したくなるための工夫はあったのでしょうか？

山本

実は従来のマスコットロボットは、モーションキャプチャーを装着した人が舞台裏で操縦し、お客様とのインタラクションを行っていました。私自身もマスコットロボットの操縦を通じて、お客様とコミュニケーションをしてきた経験があります。

山本

しかし、未来館は常設展示ですので、常に人が操縦することが難しく、ロボットが自律的に反応することが求められます。そこで、物体認識を用いて周囲の人やその行動を判別し、ケパランが自律的にリアクションを行うアルゴリズムを開発しました。展示ブースには、ケパランに実施して欲しいことが書いてある団扇（うちわ）や、ケパランの好きなモノ、嫌いなモノが置いてあります。お客様がこれらをケパランに見せたり、手を振ったり、スマホで写真を撮ろうとしたりすると、ケパランはお客様の行動を認識しそれに応じたリアクションをします。

－物体認識をベースにしたインタラクションを研究するうえで、なにか難しさはあったのでしょうか？

山本

ありました。実は試作中の物体認識のアルゴリズムをルークロボに導入してみたのですが、操縦でのインタラクションに比べお客様の反応はあまり良くありませんでした。ルークロボが展示されているアリーナ施設内では、バスケットボール試合を見るために来られた大勢のお客様がルークロボの前を行き交っています。そのため、どのお客様がルークロボに反応を求めているのか判別しにくいという問題がありました。結果、ルークロボに興味を持って近づいてくださった方やルークロボに手を振っている方に対してルークロボ自体が反応しなかったり、足を止めて長時間見ている方に対してルークロボが何度も同じリアクションを返したりと、操縦時と比べてお客様との意思疎通が取れていないように感じられました。こうしたコミュニケーションの行き違いをなくすため、「3秒でお客様の心をつかみ、5分間一緒に楽しむ」ことを目標に定め、アルゴリズムを見直しました。

「3秒でお客様の心をつかむ」ための状況判断

－お客様によりケパランに興味を持ってもらうために、どのような工夫をされたのでしょうか？

山本

自分自身の操縦を振り返ったところ、新しく来てくれた方、近くにいる方、手を振ってくれた方に優先的にリアクションを返していることに気付きました。そこで、今一番注目すべき人や行動を直ちに判断し、アクションを取る概念をアルゴリズムにも入れるため、物体認識に位置と時間の要素を取り入れることにしました。具体的には、まず深度が計測できるステレオカメラを用い、認識した人やモノまでの三次元距離を計算。その情報を元に人やモノの位置変化をトラッキングすることで、人やモノがケパランの視野内にいる時間を計測できるようになりました。これらの情報を元に、認識した人やモノごとに種類、距離、時間をスコアリングし、トータルスコアを算出することで、今どの人やモノに注目すべきかを判断する仕組みを考えました。

－状況判断に使える情報が増えたということですね。この手法を導入したことでケパランの反応にはどういった変化が見られましたか？

山本

未来館でトータルスコアの算出方法や重みの調整を繰り返し、結果、積極的にケパランに働きかけているお客様を優先しながらも、周りのお客様にもまんべんなくリアクションを返すという想定通りのインタラクションを実現することができました。未来館に行かれた際は、ぜひケパランがどのお客様のどの動きに注目しているか観察してみてください。

「5分間一緒に楽しむ」ための行動決定手法

－もう一つの「5分間一緒に楽しむ」ための工夫についても教えてください。

山本

基本的にケパランは、お客様に手を振ってもらえたら手を振り返すといった、人の動作やモノに合わせたリアクションの選択を行っています。ただケパランが毎回同じ反応をしているだけではお客様もすぐに飽きてしまいます。なので、お客様が手を振っていてもたまにはケパランがお辞儀を返したり、うなずいたりなど、確率的に行動が変化するようにしました。

－ケパランのリアクションパターンを増やしたんですね。

山本

さらに、行動判断にも位置や時間の概念を取り入れています。例えば、手を振るという反応だけでも両手を大きく振ったり、右手だけを小さく振ったりと9種類の動作パターンがあります。遠くから手を振っているお客様には大きく手を振り返す、ケパランの目の前で手を振っているお子さんには小さく手を振り返すなど、お客様の位置や手の振り方に合わせて反応を選んでいます。
また、お客様がケパランに対してモノを見せている時間の長さによってもリアクションを変えました。例えば、ケパランの嫌いなほうきを見せるとケパランが嫌がったり怒ったりしますが、それでもなお見せ続けるとケパランはお客様の方を向いてくれなくなります。それ以外にもケパランが手を振る時間が長くなると疲れた反応を見せたり、ケパランの好きなクリームソーダを見せ続けるとより欲しがったりなど、さまざまなリアクションの変化があります。

－まるでケパランが感情を持っているかのようですね。ここにも操縦の経験が生きているのでしょうか？

山本

はい。小さなお子様は、何度も同じ行動を繰り返すことでケパランがどんな反応を返すのか見て楽しんでいるようです。その繰り返しの中でリアクションが変化すると、喜んでさらにいろいろなインタラクションを試してくれます。実はケパランの動作は全部で60種類以上あります。ぜひいろいろなリアクションを引き出してみてください。

ケパランの今後

－ケパランを公開してからの反響はいかがでしょうか？

山本

未来館に行くと、ケパランの周りに多くのお客様がいらしていて、ケパランとインタラクションを楽しんでいただいている姿を見ると、大変嬉しく思います。またケパランとのインタラクションを機に、将来ロボットエンジニアになってみたいと思うお子さんが出てきてくれたら、それは私たちが未来館と一緒に仕事をしたいと思った理由でもあるので、いいなと願っています。

－今後ケパランはどのようになっていく予定でしょうか？

山本

ケパランは「みんなで育てる」ロボットです。今後、お客様の声を聞きながら、未来館と協力しケパランを成長させていく予定です。ここまで読んでくださった皆様もぜひケパランを見に行っていただきたいですし、また今後の進化にも注目していただければと思います。数ヶ月後、数年後にはまた違ったケパランの姿が見られますよ！

著者

山本 一哉
未来創生センター R-フロンティア部 ダイナミックロボティクスグループ

参考資料

本件に関するお問い合わせ先

未来創生センター

frc_pr@mail.toyota.co.jp