教育データサイエンス部が Qubena導入による学力向上を検証した話【メンバーインタビュー#29】
こんにちは、採用広報の五ノ井です。前回の記事では、「COMPASSの理想の学びの環境」の理解を深めることを目的として6月に開催された全社イベントのレポートをお届けしました。読んでいただけましたでしょうか？
本日は、COMPASSのデータ・AIユニット 教育データサイエンス部より、COMPASSが力を入れている、Qubena導入による学力向上についての検証をどのように行なっているのかについてご紹介したいと思います。
もしこの記事を読んで、データ・AIユニット 教育データサイエンス部のお仕事に興味が湧きましたら、こちらも見てみてくださいね。
それではここからは、教育データサイエンス部でデータサイエンティストとして働く、中嶋さんにバトンタッチします！よろしくお願いします。
▼教育データサイエンス部中嶋さんの過去インタビューはこちらからも読めます（※教育R&Dチームは現教育データサイエンス部の名称です）
中嶋：
こんにちは！株式会社COMPASS教育データサイエンス部の中嶋です。COMPASSは「新しい学びの環境を創り出す」をミッションに、学習eポータル＋AI型教材キュビナを開発し、全国の小中学生に提供している会社です。
COMPASSでは2023年1月より慶應義塾大学SFC研究所（所在：神奈川県藤沢市、所長：飯盛 義徳）上席所員（常勤）中室 牧子氏（総合政策学部 教授）と連携し、「ICTを活用した学びにおける児童生徒および教員への影響に関する研究」を進めています。
私の所属する教育データサイエンス部では、ビジネス推進ユニットのメンバーと恊働しながら、キュビナを活用したことによる効果を検証しています。キュビナを使った際の効果はさまざま考えられますが、その中でもまずは学習教材という立場から学力向上に寄与できるかを検証しました。今回のnoteでは、私たちがどのように検証を行なっているのかについて、設計から実際の分析結果例までをご紹介します。
効果検証の目的と意義
「新しい学びの環境を創り出す」のミッションのもと、キュビナを通じて子どもたちの学力向上に寄与できているかどうかを客観的に評価することが、私たちの取り組みの中心にあります。効果検証の意義は、大きく2つあると考えています。
1つ目は、キュビナを導入した自治体に安心して使ってもらうことです。効果検証を通じて、キュビナの実際の効果をデータで裏付け、導入自治体・学校の先生方にとって信頼できるツールであることを証明することが重要だと考えています。
2つ目は、より効果的な学びの提供に繋げることです。データに基づいてキュビナの取り組み方の改善点を発見し、キュビナをどのくらい・どのように使うことで子どもたちの学力向上をサポートできるかを確認することで、教育の現場でより効果的な活用が行われることを目指しています。
効果検証のプロセス
効果検証は、まず検証したい仮説の設定から始めます。デジタル教材の導入に伴う課題は多岐にわたりますが、私たちは「キュビナの活用度合いによって、子どもたちの学力の伸びに違いが出るのではないか」という問いをベースに検証を設計します。
次に、データ収集と整理を行います。キュビナを利用することで生成されるデータは、いつどの問題に取り組んだのか、回答までにかかった時間がどのくらいか、問題に正解したのか、など多岐にわたります。これらのデータは量が膨大であり、適切に整理することで、仮説を検証するための準備が整います。
例えば対象期間中に取り組んだ問題数を「取り組み問題数」として、また、対象期間中にキュビナで1問でも取り組んだ日数を対象期間で割った値を「利用頻度」としてキュビナ指標を作り、分析に使用しました。
（どのような意図でどのようなデータを収集して指標を作ったのかの詳細は、別のnoteで紹介予定です。）
また、外部データとして、自治体全体で実施された学力調査を組み合わせて、分析に利用します。※この部分は連携しているSFC研究所にて分析いただいています
分析手法とアプローチ
効果検証において、私たちは主に重回帰分析を採用しています。
この手法を用いて、キュビナの利用度合いと学力の変化の関係性を分析し、キュビナをどのように、どのくらい利用すれば、どの程度テスト得点が向上するのかを推定しています。
また、算出された推定値が統計的に意味のあるものであるかどうかは、統計的仮説検定を通じて検証しています。
具体的には、事後の学力調査の得点を目的変数とし、説明変数として事前の学力調査の得点、キュビナの学習ログ、そして学校変数を導入しています。
学校変数を入れることで、分析の中で学校ごとの固有の影響（各学校の教育方針や授業内容、学習環境など）をコントロールし、キュビナの利用度合いと学力の変化との関係性を純粋に見ることができるようになります。
これにより、キュビナ自体の効果を明確にしやすくなり、どの程度の利用が学力向上に寄与するのかをより正確に判断することができます。
この「キュビナの学習ログ」の部分には、例えば「取り組み問題数」を説明変数として入れた式や、「利用頻度」を入れた式など、異なるログデータを組み合わせて分析を行っています。
それぞれのログ指標を入れ替えることで、どの要素が学力向上に強く関連しているかを確認し、最適な利用方法を特定しています。
検証結果の活用と改善提案
効果検証で得られた知見は、ただ分析結果として留めるのではなく、教育現場にフィードバックすることが非常に重要です。
例えば、キュビナの利用頻度が高いほど学力が向上するという結果が得られれば、学校の先生に「定期的な利用を推奨」することができます。また、学力層別に取り組み方の効果が異なることが分かれば、その知見を活かして、個別最適な問題選出だけでなく、各生徒に応じた学習方法のサポートも提供できるように改善するのはどうかなどの議論が可能になります。
データに基づく提案は、現場での利用の質を高めるだけでなく、プロダクトの改善にも直結します。
▼実際に自治体と効果検証を実施した例
今後の展望
現在の取り組みには限界もあり、私たちはさらなる改善と発展を目指しています。例えば、効果検証を通じて得た知見を、さらにキュビナの改善に活かしていく余地があると考えています。今後は、データを活用した迅速なプロダクト改善サイクルを確立することが課題です。
今後データドリブンなアプローチは、教育業界全体に大きなインパクトを与える可能性があります。COMPASSでは、このアプローチを通じて、教育の質を大きく向上させる未来を描いています。私たち教育データサイエンス部は、その実現に向けた重要な役割を担っています。
終わりに
COMPASS教育データサイエンス部での効果検証の取り組みは、非常にやりがいのある仕事です。データ分析を通じて、子どもたちの学びを支え、教育現場に貢献できるという実感が得られることは大きな魅力です。もし、このような取り組みに興味を持たれた方がいらっしゃいましたら、ぜひ以下のページからご応募ください。
▼データ・AIユニット／教育データサイエンス部 の募集要項はこちらへ
まずはざっくばらんにCOMPASSの話を聞いてみたい！という方は、カジュアル面談をお申し込みください。
▼カジュアル面談のお申し込みはこちらへ
中嶋さんありがとうございました。
教育データサイエンス部が取り組んでいる学力検証についてお分かりいただけましたでしょうか。COMPASSではデータ・AIユニット／教育データサイエンス部で、一緒に走ってくれる仲間を募集しています！皆さんのご応募ぜひお待ちしております。