普段多くの人が便利に使っているスマホやパソコンは、画面を見ることが前提にデザインされているので、重度視覚障害者にとって使いづらいものが多いのが現状です。そこで、私たちは聴覚の複合現実（MR）技術とAI技術を駆使して、目で見なくても空間情報を正確に認知して操作や行動が可能な情報システムのヒューマンマシンインターフェース（HMI）をデザインする研究を行っています。その研究成果は、画面を見なくても音声対話でAIが操作してくれるカーナビなど、あらゆる人のユーザ体験（UX）を科学的にデザインする研究にも活かされています。