受験生応援サイト
ティーチングアシスタントロボットの開発 ―自分のペースで質問できる、答えてもらえる世界―（健康福祉支援開発センター／情報学部 情報システム学科 教授 吉野 和芳）
授業中に、授業内容や作業内容が分からなくなったことはありませんか？ 質問しても、先生がなかなか自分のところに来てくれないなんてことはありませんか？ 特に、ものづくりなどの作業系の授業では、学習者の進み具合が異なるために先生も個別に対応する必要がでてきてしまい、多くの学習者の質問に答えるのも難しいのです。健康福祉支援開発センターでは、そのような状況で先生を支援し、学習者の学びを助けるティーチングアシスタントロボットの構築を目指しています。
健康福祉支援開発センター／情報学部 情報システム学科 教授 吉野 和芳
はじめに―ティーチングアシスタントロボットがあれば...
授業中に、授業内容や作業内容が分からなくなったことはありませんか？
質問しても、先生がなかなか自分のところに来てくれないなんてことはありませんか？
先生としては、多くの学習者の質問に回答しながら授業を進めていくことが大事です。しかし、ものづくりなどの作業系の授業では特に、学習者の進み具合が異なるために先生も個別に対応する必要がでてきてしまい、多くの学習者の質問に答えることが難しくなります。健康福祉支援開発センターでは、そのような状況で先生を支援し、代わりに質問に答えてくれるティーチングアシスタントロボットの構築を目指しています。
先生としては、多くの学習者の質問に回答しながら授業を進めていくことが大事です。しかし、ものづくりなどの作業系の授業では特に、学習者の進み具合が異なるために先生も個別に対応する必要がでてきてしまい、多くの学習者の質問に答えることが難しくなります。健康福祉支援開発センターでは、そのような状況で先生を支援し、代わりに質問に答えてくれるティーチングアシスタントロボットの構築を目指しています。
本研究では、LEGO MINDSTORMS EV3というロボットキットを使用して車輪型のロボットを組み立て、組み立てたロボットを動かすためのプログラムを作成するというロボットプログラミング授業を想定し、ティーチングアシスタントロボットの開発を進めています。
図１は、学習者がロボットを組み立てているときに「このパーツはどこに付けるのかな？」と困り、ティーチングアシスタントロボットに質問している様子です。
図１ ティーチングアシスタントロボットに質問している様子
※ソフトバンクロボティクスのPepperを活用し神奈川工科大学が独自に実施しています。
ティーチングアシスタントロボットの構成と動作
ティーチングアシスタントロボットとして、図1のようにソフトバンクロボティクスのPepperを活用しています。システムとして必要な大部分の処理は、Pepperとネットワークで接続したPCを利用して行い、処理後に必要な動作をPCから送り、Pepperを制御しています。
ティーチングアシスタントロボットが教室内で質問のある学習者（質問者）に対応するためには、①質問者を見つけ、②その質問者のところへ行き、③質問の内容を理解し、④質問に回答する、という行動をさせる必要があります。ここでは、学習者が組み立て手順書を見ながら車輪型ロボットを組み立てているときの質問を想定し、ティーチングアシスタントロボットの行動について検討します。
①質問者を見つける
質問者はティーチングアシスタントロボットを見ながら手を挙げていると想定し、そのような人を教室内から検出します。まず、Pepperについているカメラで教室内を撮影し、その映像をPCに送信します。PCでは、その映像を画像処理して顔認識を行い、顔の位置を検出すると同時に、その周りの領域で挙げている手（肌色の領域）がないか確認します。手があった場合、その手の位置と顔との位置関係から質問者を検出することができます。
図2では、2人の質問者を検出した例を示しています。この図では、四角の枠が顔、丸印が手の位置を表しています。
図2 質問者検出例
②質問者のところへ行く
質問者の位置が検出できたら、その位置に向かうようPCからPepperに指示を送ります。Pepperは自分自身についているセンサで障害物を避けながら指示された位置へと移動します。
③質問の内容を理解する
既存キットを使ってロボットを組み立てているので、学習者からの質問の多くは、「このパーツはどこに付けるのかな？」というものです。そのため、ティーチングアシスタントロボットは、図1のように質問者が質問しているパーツを認識する必要があります。そこで本研究では、PyTorchという機械学習ライブラリに車輪型ロボットで利用するパーツを学習させ、その学習データを利用して質問者が手に持っているパーツを認識しています。図3にパーツを学習するためのデータセットの例と、学習データを利用して質問者の持っているパーツを認識した例を示します。
図3 パーツ認識のためのデータセットと検出結果の例
④ 質問へ回答する
質問者が手に持っているパーツがどの位置に組み込まれるのかを、組み立て手順書の図中に丸印や矢印で示し、その画像をPepperの胸についているディスプレイに表示して回答します。
図4は、図3で質問のあったパーツの取り付け位置を画像で示した回答例です。
図4 取り付け位置の回答例
まとめと今後の研究－もっと難しい質問や、いろんな人からの質問にも答えて欲しい
健康福祉支援開発センターでは、ロボットを組み立て、その動きをプログラミングするという実習系授業を想定し、先生が授業の進行を円滑に進められるよう、学習者の質問に対応するティーチングアシスタントロボットの構築を行っています。今回は、ロボットを組み立てている学習者の質問に答えるティーチングアシスタントロボットの技術について簡単に説明しました。
今後は、プログラミングしている学習者の質問に答えたり、他の実習系の授業でも対応したりできるよう、ティーチングアシスタントロボットの機能を拡張することを目指します。また、学習障害のある方に寄り添って指導できるようなシステムへの拡張も検討しています。
「組み立てられたのに、どうしてロボットが動かなの？」という質問も出るかもしれません。動かない理由を見つけ、回答する方法はこちらの記事をご覧ください。
