At Duolingo, we make learning a language fun and accessible to learners all over the world. We use gamification and beautiful design to keep our learners engaged, but we're more than just makers of a game — we're serious about learning, too! To understand how effectively our courses teach, we formally tested Duolingo learners and compared them to language students in university courses. What did we find? Duolingo learners performed as well on reading and listening tests as students who took four semesters of university classes — and in less time. In this post, we’re excited to share everything we learned from this new study.

How did we measure learning?

We wanted to see how well our learners compare to U.S. university students, so we started by finding Duolingo learners in the U.S. who were studying Spanish or French on the app. We contacted some of these learners as soon as they completed Unit 5. This is a good place to measure learning because it's the end of the A2 portion of the course, in line with the A2 proficiency level from the CEFR scale — this is where learners start intermediate material! You can see how much material is covered in A2 by checking out the Spanish and French Scope and Sequence documents! Here you can see a part of the Spanish course and the units, which are marked with castles.

Two side-by-side screenshots of the Spanish course for English speakers. The left screenshot shows the Spain flag at the top left, Duolingo crowns, streak, and hearts across the top, and the beginning of the course. It starts with a castel tower and a banner reading "UNIT 1" and below it are rows of skills (colorful bubbles representing different topics and lessons): first "Basics 1" and in the following row "Phrases" and "Travel." In the right screenshot, you see the end of Unit 1: four more skill bubbles for Fiction, We like it, Requests, and Travel. At the very end of Unit 1 is a locked castle door labeled "Checkpoint 5."

Since we really wanted to focus on how well Duolingo teaches, we were careful to study only learners who didn't know the language before they started our course and who weren't using other classes, apps, or programs while using Duolingo. Using these requirements, we chose 225 learners to test in this study.

We compared Duolingo learners to U.S. university students whose language scores were reported in other research from Tschirner (2016) and Rubio and Hacking (2019). Those university students also studied Spanish or French, and they took two tests from the American Council on the Teaching of Foreign Languages (ACTFL): a reading proficiency test and a listening proficiency test. Using the ACTFL tests meant we could be totally objective in how we measured learning, so we had our Duolingo learners take the ACTFL reading and listening tests, too. We then compared Duolingo learners' scores to university students' scores.

Did we make the grade?

As you might expect, university students' test scores improved a little each semester they kept studying the language. So where did the Duolingo learners' scores fall? How many semesters is learning up to Unit 5 equivalent to?

The reading and listening proficiency levels of the Duolingo learners were comparable to the proficiency levels of U.S. university students at the end of their fourth semester of Spanish or French courses, as demonstrated in the following figure:

Two bar graphs, side-by-side. The graph on the left shows "Listening proficiency" and the one on the right is "Reading proficiency." For each graph, the horizontal x-axis has four bars for semester of university study (2nd semester, 3rd semester, 4th semester, and 5th semester). For each graph, the vertical y-axis has ACTFL proficiency ratings 1-6. Each graph also has a horizontal dotted line labeled "Duolingo." For listening proficiency, the 2nd, 3rd, and 4th semester bars are below the dotted Duolingo line, and the 5th semester bar is above the Duolingo line: Duolingo learners scored above 4th semester and below 5th semester. The reading graph on the right also shows the 2nd, 3rd, and 4th semester bars below the Duolingo line, and the 5th semester bar is also above the Duolingo line. For reading, Duolingo learners also scored above 4th semester and below 5th semester.

Duolingo learners' scores on reading and listening tests match university students who completed four semesters of language study.

How long did it take Duolingo learners to complete 4 semesters' worth of study?

Each semester in the U.S. is about four months' worth of study, and language classes might average about 60 hours of class time each semester (estimating 4 hours per week for 15 weeks). That means four semesters of university classes takes at least 240 hours to complete, not counting homework and studying!

The median amount of time the Duolingo learners spent studying to reach Unit 5 was about 120 hours, with some variation between Spanish and French. That's only half the number of hours needed for four semesters of university classes! Duolingo learners of Spanish and French got the same learning value, in half as many hours, and they enjoyed the convenience of learning at their own pace, any time, anywhere. Plus, Duolingo learners never had to pull an all-nighter.

High-quality language education for everyone

Our mission at Duolingo is to bring high-quality language teaching to the world, for free, forever, and these new results show just how much our learners are able to get out of our courses: Duolingo learners reach four semesters of language proficiency in half the time as U.S. university students. But we're not finished yet — we also want to deliver this world-class teaching at even more advanced levels, in every one of our 97 courses, across all language skills.

Check out all the details of our research study in our research report and on our teaching efficacy page. As always, happy learning!

References

Rubio, F., & Hacking, J. F. (2019). Proficiency vs. performance: What do the tests show? In P. Winke & S. Gass (Eds.), Foreign language proficiency in higher education (pp. 137-152). Springer International. Retrieved from http://ebookcentral.proquest.com/lib/wvu/detail.action?docID=5622543.

Tschirner, E. (2016). Listening and reading proficiency levels of college students. Foreign Language Annals, 49, 201-223.

Español: ¿Qué tan bien funciona Duolingo?

En Duolingo hacemos que aprender un idioma sea divertido y accesible para personas en todo el mundo. Empleamos la ludificación y un hermoso diseño para que nuestros usuarios se involucren con Duolingo, pero nos interesa ser más que los creadores de un juego: ¡también estamos comprometidos con el aprendizaje! Para entender qué tan bien enseñan nuestros cursos, evaluamos formalmente a usuarios de Duolingo y los comparamos con estudiantes en cursos universitarios. ¿Qué descubrimos? Que los usuarios de Duolingo tuvieron el mismo desempeño en evaluaciones de comprensión oral y escrita que estudiantes que cursaron cuatro semestres de idiomas en la universidad ¡y en menos tiempo! En esta publicación, nos emociona compartir todo lo que aprendimos gracias a este nuevo estudio.

¿Cómo medimos el aprendizaje?

Queríamos saber cómo se comparaban nuestros usuarios con los estudiantes universitarios en Estados Unidos, así que empezamos por buscar usuarios de Duolingo en Estados Unidos que estuvieran aprendiendo español o francés en la app y nos pusimos en contacto con ellos una vez que alcanzaron la Sección 5. Este es un buen punto donde medir el aprendizaje, ya que se trata del final de la porción A2 del curso, que está alineado con el nivel de dominio A2 de la escala del MCER (en inglés), donde se empieza a aprender contenido de nivel intermedio. Puedes consultar la documentación de alcance y secuencia de los cursos de español y francés para ver todo el contenido que cubre el nivel A2. Aquí puedes ver parte del curso de español y los Puntos de control, marcados con castillos.

Placeholder

Dado que nos interesaba enormemente conocer qué tan bien enseña Duolingo, tuvimos cuidado de estudiar a aquellos usuarios que no conocían los idiomas antes de empezar nuestros cursos y que no usaban otras apps o programas ni tomaban clases de idiomas mientras usaban Duolingo. A partir de estos requerimientos, elegimos a los 225 usuarios que evaluamos en el estudio.

Comparamos a los usuarios de Duolingo con estudiantes universitarios en Estados Unidos cuyos resultados de idiomas aparecieron en otros estudios, desde Tschirner (2016) hasta Rubio and Hacking (2019). Estos estudiantes también aprendieron español o francés y completaron dos exámenes del ACTFL (Consejo Americano para la Enseñanza de Lenguas Extranjeras): un examen de comprensión escrita y un examen de comprensión oral. Utilizar los exámenes del ACTFL nos permitía ser objetivos al evaluar cómo medimos el aprendizaje, así que pedimos a nuestros usuarios de Duolingo que también completaran los exámenes de lectura y comprensión auditiva del ACTFL. Luego, comparamos los puntajes de los usuarios de Duolingo y de los estudiantes universitarios.

¿Obtuvimos buenas calificaciones?

Como es de esperarse, los puntajes de los estudiantes universitarios mejoraron poco a poco cada semestre a medida que estudiaron el idioma. Entonces, ¿cómo fueron los puntajes de los usuarios de Duolingo? ¿A cuántos semestres equivale aprender hasta alcanzar la Sección 5?

Los niveles de lectura y comprensión auditiva de los usuarios de Duolingo fue comparable con los niveles de dominio de estudiantes universitarios en Estados Unidos al final del cuatro semestres de sus cursos de español o francés, tal como lo señala el siguiente gráfico:
ch university students who completed four semesters of language study.

placeholder

Los puntajes de lectura y comprensión auditiva de los usuarios de Duolingo en el examen equivalen a los puntajes de estudiantes universitarios que completaron cuatro semestres de estudio de idiomas.

¿Cuánto tiempo le llevó a los usuarios de Duolingo completar lo que equivale a 4 semestres de estudio?

Cada semestre en Estados Unidos equivale a cuatro meses de estudio. Las clases de idiomas pueden ocupar, en promedio, unas 60 horas de clase cada semestre (a razón de 4 horas cada semana, durante 15 semanas). Esto quiere decir que completar cuatro semestres de clases en la universidad lleva al menos 240 horas, ¡y sin contar las tareas y las horas de estudio!

El tiempo promedio de aprendizaje de los usuarios de Duolingo para alcanzar la Sección 5 es de aproximadamente 120 horas, con cierta variación entre los cursos de español y francés. ¡Eso es solo la mitad de horas necesarias para cuatro semestres de clases en la universidad! Los usuarios de Duolingo que aprenden español y francés obtuvieron un aprendizaje del mismo valor en la mitad de tiempo y, además, disfrutaron de la conveniencia de aprender a su propio ritmo, en cualquier lugar y a cualquier hora. Por si fuera poco, ¡los usuarios de Duolingo no tuvieron que quedarse estudiando toda la noche antes de un examen!

Una educación de idiomas de alto nivel para todos

Nuestra misión en Duolingo es llevar la educación de idiomas de alto nivel a todo el mundo, siempre gratis, y estos nuevos resultados demuestran cuánto pueden obtener nuestros usuarios de nuestros cursos: los usuarios de Duolingo alcanzan el nivel de dominio de idiomas de estudiantes universitarios en Estados Unidos en la mitad de tiempo. ¡Pero esto es solo el principio! También queremos ofrecer esta educación de alto nivel en los niveles más avanzados en todos y cada uno de nuestros 97 cursos y en cada una de las habilidades lingüísticas.

Conoce todos los detalles de este estudio en nuestro reporte de investigación y nuestra página de eficacia. Como siempre decimos, ¡feliz aprendizaje!

Referencias

Rubio, F., & Hacking, J. F. (2019). Proficiency vs. performance: What do the tests show? En P. Winke & S. Gass (Eds.), Foreign language proficiency in higher education (pp. 137-152). Springer International. Recuperado de http://ebookcentral.proquest.com/lib/wvu/detail.action?docID=5622543.

Tschirner, E. (2016). Listening and reading proficiency levels of college students. Foreign Language Annals, 49, 201-223.