ヒューマノイドロボットの音声インタラクション研究

トヨタ自動車 未来創生センター（以下、トヨタ）では、これまでインタラクションの研究と実証を目的に、小型のマスコットロボットを研究してきました^＊1。
最近では、トヨタのオウンドメディア「トヨタイムズ」の富川 悠太アナウンサーをモデルにした「トミーくん」や、豊田 章男会長をモデルにした「AIモリゾウ」を通じて、生成AI技術を用いた音声対話の研究をしています。今回は、この音声インタラクションの研究について、メンバーの山本にヒアリングをしました。

実在人物をモデルにしたマスコットロボットの研究をはじめた経緯

－まず、マスコットロボットでの音声対話の研究をはじめた経緯を教えてください。

山本

これまで研究してきたマスコットロボットは音声対話の機能を持たず、遠隔操縦や画像認識を用いた全身動作での感情表現によるコミュニケーションを主としていました。一方で、大規模言語モデル（以下、LLM）の発展により、ロボットの対話能力は飛躍的に向上しました。実在の人物をモデルにしたトミーくんやAIモリゾウの音声対話の研究では、本人らしい対話を実現することこそが、人とロボットとのインタラクションにおいて重要な要素であると考えています^＊2。

－ロボットの音声対話には、どういった技術が使われているのでしょうか。

山本

音声認識、LLMによる回答生成、音声合成の順です。音声認識で人の発話をリアルタイムにテキスト化し、LLMで回答を生成、音声合成で発話します。さらに、カメラによる画像認識を用いた状況理解や、発話に応じた動作出力も組み合わせることで、実体のあるロボットならではの多角的なコミュニケーションを実現しています。

－こうした音声対話を研究するうえで、どういった課題があるのでしょうか。

山本

大きく3つの課題があります。1つ目は本人らしさの再現、2つ目は回答の質とレスポンス速度の両立、3つ目は状況理解や感情表現といった音声以外のコミュニケーションです。

ロボットとの自然な音声対話の課題

－1つ目の課題について、LLMを用いた対話において、本人らしさをどうやって再現したのでしょうか。

山本

見た目だけでなく、発話音声の声色や、回答生成に用いる知識や考え方にも本人らしさを取り込んでいます。声については、ご本人の音声を学習させた音声合成モデルを作成し、そっくりな声を再現しています。

山本

特に本人の知識や考え方については、どのようなデータをどの程度入れるかの判断が非常に難しい要素です。本人の過去の発言を大量に学習させて同じように回答させる方法もありますが、我々が目指しているのは、どんな質問や話題に対しても本人らしさが感じられる受け答えができることです。そのため、知識としてインプットするのはプロフィールなどに絞り、過去の発言からはその回答の元になっている本人の考え方や哲学を抽出してLLMに与えることを重視しました。幅広い会話を通じて、本人の考え方や思いが伝わるコミュニケーションを意識しています。

－2つ目の回答の質とレスポンス速度の両立においては、どのような難しさがあるのでしょうか。

山本

一般的に、人間らしい音声対話では応答開始までの時間は概ね1秒以内が望ましいとされています。一方で、音声対話は音声入力→回答生成→音声出力の過程で多くの遅延要素を抱えており、応答時間の短縮が容易ではありません。回答の質を上げるには、事前に用意したデータベースから関連情報を検索するRAG（検索拡張生成 ： 知識検索をして回答に活用する手法）や、Web検索による外部情報の活用、LLMを複数回実行して内容を精査するといった工夫が有効ですが、これらを使うほど最終回答までの遅延が大きくなるというトレードオフがあります。

－具体的にはどういった工夫をしているのでしょうか。

山本

挨拶のような簡単な問いかけには知識検索をせずに即時回答し、時事問題のようなWeb検索が必要な入力に対しては検索を待ってから回答を生成する、という判断をします。ただし、この判断を行ってから検索・回答生成と順に進めていては遅延が大きくなるため、判断・検索・各段階の回答生成を並列で開始し、不要になったものは破棄するという方法で極力時間を短縮しています。

山本

2つ目は、フィラー（いい淀み）と聞き返しの活用です。1つ目の並列実行を行っても、特にWeb検索を伴う場合は応答の遅延がどうしても発生します。そこで、本回答に遅延が生じる場合に、「えーと」「うーん」などのフィラーを先に生成したり、「〇〇についてですか」のような聞き返し文を音声認識後にすぐ生成したりすることで、本回答までの沈黙を避ける手法を取っています。ただし、毎回フィラーや聞き返しを先に出す発話順では、回答パターンが単調になり、不自然な印象を与えてしまいます。そのため、本回答・聞き返し・フィラーの順に優先度を付け、優先度の高い回答の生成が間に合わないときだけ下位の回答を補助的に出力する手法を取っています。こうすることで、回答手法の判断やLLMの応答時間のばらつきに応じて自然と出力パターンにバリエーションが生まれ、生成待ち時間も埋めることができます。

山本

さらにAIモリゾウでは、「聞きながら考える」回答生成手法を新たに導入しています。音声認識が完了した時点で、途中で生成しておいた回答を使っても内容にずれがないかを音声認識結果間の比較から判定し、ずれのない範囲で一番前に生成開始したものを本回答として採用しています。これにより、先回りして生成しておいた回答をそのまま使えるため、応答時間の短縮が図れます。どの程度短縮できるかは入力文の構成次第ですが、回答品質を損なうことなく応答時間を短縮できる手法です。

山本

以上の手法を組み合わせることで、トミーくんやAIモリゾウの回答は本人らしさや知識の豊富さを担保しつつ、レスポンスの速さを確保しています。とはいえ、これらの工夫を入れてもなお安定して1秒以内で応答することはできておらず、今後も継続して改良が必要です。

－音声以外のコミュニケーション部分に関しても教えてください。

山本

トミーくんやAIモリゾウにはカメラがついていて、そのカメラ画像を使って人や環境の解析を行い、その結果を回答に反映しています。具体的には、機械学習ベースの画像認識モデルで「今ロボットが注目すべき人物」を決定し、高速なVLM（視覚言語モデル）でその人物の外見や行動を解析することで、注目相手の状況をより柔軟に理解できるようにしています。さらに、この画像解析の結果と音声対話の内容をもとに、ロボットの動作や表情の選択を高周期で行っています。ここにも高速なLLMを用いることで、状況理解や動作・表情の出力を従来と比べて柔軟に、かつリアルタイムに実現できています。

山本

一方で、これらにはまだ課題も多くあります。今注目すべき対象は誰で、どのような行動をしているかを精度良く判断すること、そしてそれらをどう表情や動作に結びつけるか、ここが今後の課題であると感じています。また、表情や動作自体のバリエーションもまだ不足しています。これらは現在いくつかのパターンの中から選択したものを出力していますが、今後は動作や表情を適宜生成、出力する手法を取り入れ、より豊かな表現力を獲得していきたいと考えています。

お客さまと直接お話できる場の存在

－トミーくんやAIモリゾウはどういった場で活躍していますか。

山本

トミーくんは2024年11月より愛知県豊田市にある展示施設「トヨタ会館」に展示され、施設案内やトヨタに関する質問、お客さまの疑問に答えています。また、英語も話せるようにアップデートを行い、2025年7月には大阪・関西万博（2025年日本国際博覧会）^＊3＊4、同年12月にはWorld Robot Summit 2025 AICHIにも出展し^＊5、日本のみならず、海外からのお客さまと対話する機会をいただきました。AIモリゾウは、2025年トヨタのステークホルダー向けイベント「WORLD ARIGATO FEST. 2025」で展示^＊6され、豊田 章男会長からも「回答がボクにそっくりだね」といっていただきました。
このように、ロボットとの対話を試していただき、直接フィードバックをいただける環境があることはたいへん貴重であり、ご協力いただいているお客さまにとても感謝しています。また、ロボットとの音声対話を通じて「すごい！」「面白い！」と喜んでくださっているお客さまの声が研究のモチベーションにつながっています。一方で、こうした実証を通じて、先ほど挙げたような課題も多く存在します。それらの課題を解決し、研究開発を通じて、ロボットがお客さまにとってより身近で親しみのある存在になれるよう、パートナーロボットの研究に取り組んでいきたいと思います。

山本 一哉
未来創生センター R-フロンティア部 ソーシャルロボティクスグループ

参考資料

本件に関するお問い合わせ先

未来創生センター

メールアドレスfrc_pr@mail.toyota.co.jp