タブレット端末を活用した指点字の感情打点教示システムの開発(臨床工学科　松田康広教授)

最新研究情報

2018.01.19

タブレット端末を活用した指点字の感情打点教示システムの開発(臨床工学科　松田康広教授)

臨床工学科　松田康広教授

指点字を習得した盲ろう者と習得していない健常者のコミュニケーションを支援する、打点教示システムを開発しています。言葉だけでなく、感情も伝達できるようなシステムを目指しています。

目と耳の両方が不自由な方を盲ろう者といいます。盲ろう者はいろいろなコミュニケーション手段を使用していますが、その1つに指点字があります。指点字は、盲ろう者の指を点字タイプライタのキーボードにみたてて、点字を打つことで、コミュニケーションを行います（図1、図2）。指点字には、文節末や文末を長く強く打点するといった抑揚表現があって、盲ろう者の理解を促し、音声会話に近いスピードで会話が可能となっています。また指点字を習得した盲ろう者は、打点の速さや強さを変化させることで、多様な感情表現を行っています。しかし、指点字を習得した健常者は少なく、指点字通訳者とのコミュニケーションに限定されています。
　
そこで、われわれは、指点字を習得した盲ろう者と習得していない健常者のコミュニケーションを支援する、打点教示システムを開発しています。打点教示システムは、健常者の音声を認識し、その内容を点字表記に変換、文節分かち書き化し、指点字の打点方法を教示します（図3）。健常者はその打点教示インタフェースを見ながら、盲ろう者に指点字を打点します（図4）。打点教示システムはタブレット端末で開発され、健常者が操作します。ですから盲ろう者は通常の指点字のコミュニケーションを行えばよいのです。

さらに、われわれは、健常者の音声に含まれる感情を認識し、指点字による感情表現方法の教示するシステムを目指しています。これまで、指点字通訳者の感情表現を分析し、喜び、悲しみ、怒り、平静の感情表現方法を、言葉で健常者に教示する方法を導きました。喜びは「リズムカルでテンポよく打ってください」、悲しみは「ゆっくりと、弱く打ってください」、怒りは「少し速く、強く打ってください」、平静は「一定のリズムで丁寧にゆっくりと打ってください」と、感情表現方法を教示します。それに加えて、打点の速さと強さの抑揚表現を教示するために、打点教示インタフェースの打点パターン（点字パターン）の形状を変更しました。健常者の感情をより誘起するために、背景色を変えたり、顔文字や絵文字を表示したりしました。このようにすることで、盲ろう者にとってより自然で、豊かなコミュニケーションが可能になればと思っています。

コミュニケーションで大切なのは、双方向の伝達ができることです。われわれは、盲ろう者から打点された指点字を、健常者の指に装着した加速度センサとタブレット端末を使用して認識し、音声合成で健常者に伝える、打点認識システムも開発しています。また、打点に込められた感情を認識するシステムの開発も進めています。

これまで、打点教示システムは、Windowsのタブレット端末で開発してきました。現在、Androidのタブレット端末でも開発を進めています。みなさんが使っているスマートフォンやタブレットで、気軽に盲ろう者とコミュニケーションをとれるような社会を目指して、研究を進めています。