研究組織

公募班

A01 対話継続関係維持研究グループ

リアルなＣＧとのマルチモーダル対話システムを用いた楽しい雑談対話の要因解明

研究代表者
北岡 教英（豊橋技術科学大学 情報・知能工学系）
専門分野：音声言語処理
研究役割分担：研究統括、音声・マルチモーダル対話のモデル化とシステム化

人間-機械共生・協奏を目指し、機械との対話が要望されている。特にリアルなアンドロイドやCGエージェントの登場で、より人間らしい楽しめる対話・雑談ができることが必要となってきた。そこで、フォトリアルな高校生CGエージェントに着目し、まるで人間と話すかのように音声や表情・視線を用いたマルチモーダル対話ができるシステムを構築するために以下の項目に取り組む。

  1. 雑談対話に必要な実時間で高精度な音声・表情・ジェスチャ認識の実現
  2. 多様な入出力や文脈に合わせた韻律・表情・ジェスチャ制御に基づく応答生成の実現
  3. フォトリアリスティックなCG出力の実現と対話システムへの実装

そして、構築したシステムを用いた対話実験を通して「音声・マルチモーダル対話が楽しめる要因は何か？」を明らかにする。