マルチモーダル対話モデルを用いた情動アウェアな対話の実現

研究組織

公募班

A02 対話理解生成研究グループ

研究代表者: 長井隆行（大阪大学基礎工学研究科）

専門分野：知能ロボティクス
研究役割分担：研究統括

現状の対話システムは、陽に意味を扱っていない。つまり記号接地していない。一方、人間側は意味理解に基づいて対話を行う。このギャップは、対話の継続や再度対話する意思を阻害する。また意味を理解しない対話システムでは不適切な発話を生成して、倫理的問題などを引き起こす可能性がある。これに対して代表者のグループでは、ロボットが自身の身体を利用して、環境や人と相互作用することで言語を獲得するアルゴリズムを開発してきた。しかし、このアプローチの大きな問題は、経験するための機会や時間が膨大になることである。実際人間は、全ての語彙を物理的な経験に基づいて学習しているわけではない。そこで本研究で目指すのは、記号接地と記号非接地を融合させた意味理解モデル（部分記号接地モデル）に基づいた、マルチモーダル対話基盤の構築である。