Activity

AR(拡張現実)
コミュニケーションを支援する

発達障害の状態のひとつである語用障害は、発話の内容を言葉通りに受け取ってしまう障害です。定型発達者(発達障害をかかえていない人)との会話のトラブルを解決するために、語用障害をかかえた人がどのような状態なのか理解してもらい、会話を支援するシステムを開発しました。

このシステムを使って、定型発達者が、ホロレンズ(AR デバイス)を装着し、投影される語用障害をかかえた3Dキャラクター「あすやくん」と対話をしながら、どのように話せば伝わるのかを学習できます。語用障害をかかえる人が、会話をどのように理解しているかが吹き出しで表示され、どのような発話が適切なのかを判断しながら学ぶことができます。

将来的には、語用障害をかかえたキャラクターを、専門家が遠隔操作で操り、学習者の理解をより促すようなツールにしていきたいです。

2022年8月オープンキャンパスにて撮影