Duolingoの使命は、世界最高の教育を開発し、それを誰もが利用できるようにすることです。しかし、Duolingoのコースを利用する学習者が目標を達成できているかどうかは、どうすればわかるのでしょうか？...ここで、研究チームの出番です！
Duolingoにどれだけ効果があるかについては、学習効果に関する研究を行っています。学習者がDuolingoを使って新しい言語を学ぶことで、その言語でのコミュニケーションに必要なスキルが身につくことを確信したいからです！
学習効果に関する研究の実施方法については、アプリでの学習の鍵となる項目を評価することができるよう、独自の評価手法を開発しました。この評価手法は、学習者がアプリ外で言語をどのように使っているかを理解するのにも役立つようにもできています。なぜなら、大部分のユーザーは、XPを獲得するためだけに学んでいるのではなく、現実世界での真面目な目的のために学んでいるのですから！
今回のブログでは、研究プログラムを進める際の有効性の評価手法で使われている、4つの質問を紹介します。
1. 学習者は、Duolingoが楽しく、継続しやすく、役に立っていると思っているか？
この質問は、継続できるかどうかと、Duolingoでの学習を好きと感じられるかどうかに関するものです。 結局のところ、Duolingoのレッスンにどれだけ工夫を凝らしても、次の日もやろうと思ってもらえなければ意味がありません。
この質問の答えは、学習者からの直接フィードバックを収集することで得られます。これを行う方法の1つに「ユーザー・エクスペリエンス・インタビュー」があります。これは、学習者と実際に対面し、彼らの経験、目標、課題について話し合うというものです。また、何千人もの学習者を対象に、レッスンへの取り組み方や、コースをどの程度有用であると感じているかについてアンケートを実施しています。そしてもちろん、学習者の使用状況のデータも、アプリ内で分析の対象となっています。たとえば、学習者が毎日レッスンを継続してくれているかどうか、どのくらいの時間を学習に費やしているか、どの種類のレッスンが日々好まれているかなどです。これらの質問はそれぞれ、Duolingoの学習者がアプリをどれだけ気に入って使ってくれているかという指標になるのです。
2. 学習者は、Duolingoが教えた知識とスキルを習得しているか？
私たちは、何かを教えたからといって、学習者がそれを学んでいるとは限らないということをよくわかっています。そのため、コースで教えたスキルと情報を学習者が習得しているかどうかに注目しています。学習者がコースの内容をどれだけ習得したかををテストすることで、きちんと教えられている箇所と、改善すべき箇所を理解することができます。
この質問に答えるために、私たちは、学習者がレッスンで教わった語彙や文法をどれだけ理解しているか、そしてDuolingoアプリの使用によってリーディング、リスニング、スピーキング、ライティングのスキルが身についているかどうかをテストします。またDuolingoでは、学習成果が最大化されるようにコースを企画・開発しています。たとえば、Duolingoの教え方が科学的で最新の研究と一貫しているかどうか、コースのコンテンツの品質、そしてAIモデルが学習コンテンツを正しくパーソナライズし、各学習者の現在のレベルに合わせてレッスンを調整し、上達に応じて適応し続ける能力を持っているかどうかなども評価します。
3. 学習者は、コースで学んだことを実際のコミュニケーションに活用できているか？
学習者の大部分は、アプリ内で完全正解を目指すことを学習の最終目標にしているわけではありません。学習者は、現実世界の実際の活動で、新しい言語を使いたいと考えています。評価手法のこの部分は、応用力に着目しており、学習者がDuolingo内で学んだことを他の学習コンテキストや現実のシナリオにどれだけ応用できるかを測るものです。
この質問に答えるために、学習者の運用能力や、現実にありうる状況で言語をどのように使用するかに焦点を当てたテストや課題を用いて調査分析を実施します。たとえば、学習者の動機が旅行である場合、Duolingoで学んだ言語で旅行関連の課題（例：航空券の予約、ホテルへのチェックイン）をクリアできるかどうかなどを見るのです。
4. 学習者は、学習成果として、目標の習熟度に達しているか？
上記3つの質問は学習プロセスを評価するものですが、加えて学習者の目標達成度も把握する必要があります。私たちは、学習者が最終的に目指すレベルの習熟度に到達してほしいと考えています。Duolingoのコースは、国際的な言語能力基準であるヨーロッパ言語共通参照枠（CEFR）に準拠し、ユーザーの学習目標を「基礎段階の言語使用者（A1／A2）」、「自立した言語使用者（B1／B2）」「熟達した言語使用者（C1／C2）」として分類しているため、コースの各セクションにも明確な習熟度目標があります。たとえば、学習者がDuolingoでA2コンテンツを修了すれば、A2の習熟度レベルに達することが期待できるのです。
この質問には、標準化された技能テストで学習者の言語スキルを評価し、確立された習熟度の評価基準に基づいてスコアを判定することによって答えることができます。これにあたっては、コースのさまざまな時点で学習者を対象に調査や分析を実施し、さらに、語学力を客観的に評価するために第三者機関の語学テストを受けてもらっています。学習者が目標とする習熟度に達するということは、移民審査に合格する、外国の映画を吹き替えなしで楽しむ、留学の要件を満たす、あこがれの国へ旅行する、海外の企業に就職するなど、言語を使って人生の目標を達成するということに他なりません。
学習効果がすべて
この4つの問いからなる学習効果の評価手法は、世界最高の教育を提供するというDuolingoの使命を支えるものです。Duolingoでは、学習効果についての研究 を通じて、コースがどの程度効果的であるか、どの分野やレベルで高い効果が得られているか、学習者の成功を支援するにはさらにどこを改善すべきかなどを常に考えています。