授業映像や学習ログの分析に基づく授業状況・学習状況の推定と可視化(Estimation and visualisation of teaching and learning situations based on analysis of class videos and learning logs)

研究の概要

本研究では、授業などの教育現場におけるさまざまな情報を獲得して分析し、教育・学習の支援に活用することを目的とする。具体的には、講義やアクティブ・ラーニングにおける教員・学生の行動データを、授業映像やさまざまなセンサを用いて獲得し、学生の視線、姿勢、動きなどを抽出した上で、授業状況や学生の集中度、グループ活動の活性度などを推定し、可視化する。
また、タブレットなどの学習ログを取得して分析し、学生の学習状況の可視化や解答停滞箇所の推定などを行う。

研究の背景と結果

Society5.0における情報技術の急速な発展によるセンシング技術の進歩や普及に加えて、教育現場におけるデジタル化も進み、教育・学習に関するさまざまなデータが取得可能になっている。教育再生実行会議の提言「ポストコロナ期における新たな学びの在り方について（第十二次提言）」においても、教育DXや教育データ活用が期待されており、この分野の研究が求められていると考えられる。
ここでは、これまでに取り組んできた研究成果について紹介する。まず、大学の授業における授業の雰囲気として “ 授業への関心 ” と “ 活性度 ” の2つの要因を設定し、この2要因を推定するための観測特徴量として受講者の前向き比率とフレーム間差分を用いて、授業映像から授業の雰囲気の推定ができることを明らかにした。
アクティブ・ラーニング型授業の授業状況として5種類を定義し、授業映像からフレーム間差分と教員のマイク、教室の環境音の音量を特徴量として設定した上で、機械学習の一種である Bag-of-words の手法を用いて分類し、その結果を可視化することで、授業改善に活用できるようにした。
さらに、受講者のさまざまな挙動も含めた多様な授業状況を認識することを目指し、授業映像に基づいて授業状況を獲得することを試みた。同じ挙動における各受講者の観測姿勢の違いや、同じ授業状況における受講者の挙動の多様性を乗り越え、その授業で実際に生じうる受講者の挙動や授業状況を獲得できることを確認した。
また、中学校の数学において生徒がつまずいた部分を適切に把握できるようにするために、タブレットのペンストロークデータの解析に基づいて答案の解答停滞箇所を可視化する研究や、小学校の国語の授業において児童がページ遷移や文章へのマーカー付けをどのように行っていたのかを可視化する研究などを行っている。これらによって、教員の児童・生徒への指導方法を支援することが可能となる。

研究の意義と将来展望

本研究では、データに基づく教育支援を目指して、さまざまな作業の自動化・可視化を行っており、実際の教育改善に有用となる知見を、情報学の研究を活用して導出している点に意義があると考えている。これまで、教育学の分野では手動で行っていた作業を、情報工学や人工知能の研究に基づいて、授業映像から自動的に情報を抽出・分析して授業状況を推定したり、学習ログを収集して可視化することができるようになり、その結果を用いて教育や学習の支援に活用することができる。
今後は、脳波や心拍数といった生体指標のデータなども合わせて分析し、より詳細な受講生の学習プロセスを導出することや、大学におけるさまざまなデータを組み合わせて分析することで多様な観点から教育の効果を検証する取り組みを行っていきたい。

担当研究者

教授　村上 正行（全学教育推進機構　教育学習支援部）

キーワード

教育データ分析／Learning Analytics／FD（Faculty Development）

応用分野

教育工学／大学教育学

参考URL

http://www.murakami-lab.org/wp/
https://www.ssi.osaka-u.ac.jp/activity/topics/murakami/

※本内容は大阪大学共創機構 研究シーズ集2023（未来社会共創を目指す）より抜粋したものです。