Learning a language on Duolingo is fun, totally free, and research shows it's effective, too! Last year we shared results about how learners who complete Unit 5 have reading and listening scores equivalent to four semesters of university language classes.

We've just completed a new research study with great news for speaking skills, too: about half of Duolingo learners in our Spanish and French courses achieved at least A2-level speaking skills, meaning they're able to produce complete sentences, remember words quickly, and speak comfortably about everyday topics at a conversational pace. In this post, we're sharing how we measured learners' speaking skills and what these exciting results mean for our learners and courses.

Testing learners' speaking abilities

By reaching the end of Unit 5, Duolingo learners have completed all the lessons in the beginner sections of our courses, called A1 and A2, and are starting intermediate B1 material. These proficiency levels are based on international standards established in the Common European Framework of Reference for Languages (CEFR). Unit 5 is already significant progress, so we wanted to know how well our courses are preparing learners to speak.

In order to test speaking ability, we first needed to find a very specific group of Duolingo learners. We wanted to test learners in the Spanish and French courses who had just finished Unit 5. But that wasn't all: we also wanted to be sure that the learners we tested didn't know the language before they started Duolingo and that they didn't use any other study materials. This would help us answer how much the Duolingo courses alone were able to teach speaking skills to brand-new learners.

Image labeled "CEFR levels." There are six bars side-by-side horizontally, sort of like a bar chart. Each of the six bars is a different color and they gradually get taller: the left-most bar is the shortest and the right-most bar is the tallest. The bars are paired together and each pair has a light gray box and label around them. The first pair of bars, on the left, are labeled "Beginner", and the first bar is labeled A1 and the next bar, a bit taller, is A2. The second pair of bars, in the middle, are labeled "Intermediate" and are labeled B1 and B2. The third pair of bars, on the right, are labeled "Advanced" and the bars are C1 and C2.

The CEFR scale is a way to describe different levels of proficiency. In this study we tested learners at Unit 5, which is the end of the A2 sections in Duolingo courses.

When learners in these courses completed Unit 5, we asked some of them to participate. After confirming eligibility, learners then took the Pearson Versant test for either Spanish or French. In total, 258 Duolingo learners completed the speaking study.

The Versant test measures a range of speaking skills to get a nuanced understanding of learners' speaking abilities. For example, in some of the sections of the test learners listen and repeat, say the opposite of words they hear, answer short questions, and retell stories in their own words. The Versant results give an overall score as well as four subscores about different areas of speaking ability.

How well do Duolingo learners speak after Unit 5?

We first analyzed overall speaking scores to understand how learners at Unit 5 (end of the A2 sections) are learning speaking skills. About half of all learners we tested met or exceeded the goal of achieving A2 speaking skills!

Duolingo Spanish learners scored somewhat higher than learners in the French course, and 66% of Spanish learners had overall scores at A2 or higher. For French learners, 53% scored A2 or higher. Overall, Duolingo learners demonstrated on-level speaking skills at Unit 5.

Graph of results. The graph title is "About half of Duolingo's beginner learners achieve A2 speaking proficiency or higher." Below the title are two horizontal bars, starting at the left and extending right. Each bar is divided into a dark green section on the left and a light green section on the right. The x-axis is the percent of learners, from 0% to 100%. On the y-axis, the top bar is labeled Spanish and the bottom French. For Spanish, a dark green bar starts at 0% and extends to about 40%; this is the % of learners who achieved A2. Then the bar continues to the right and is lighter green: it extends to about 65% and is for learners who achieved B1 or higher. For French, the dark green bar starts at 0% and extends to about 40% for the learners who achieved A2. Then the lighter green bar continues from 40% to about 52%, for learners who achieved B1 or higher.

About half of Duolingo learners met or exceeded expectations for speaking skills: 66% of Spanish learners and 53% of French achieved A2 speaking proficiency or higher.

Understanding the nuances of speaking skills

Learners in both Spanish and French achieved A2 scores for speaking overall, but there were some interesting differences between languages and across the subscores for different areas of speaking. The subscores measure:

  • sentence mastery: producing words and phrases in complete sentences
  • vocabulary: recognizing common words when spoken by others and being able to produce them quickly and appropriately in sentences
  • fluency: remembering words quickly, not having a lot of pauses when speaking, and knowing how to pause at the right places in phrases and sentences
  • pronunciation: knowing how words and letters sound and pronouncing them in a clear and understandable way

Graph of results. The title is "Duolingo Spanish leaners excel in pronunciation," and below is a chart like the overall scores above. Now there are 4 horizontal bars, one for each speaking subscore, and the x-axis is percent of learners from 0 to 100. Each bar is divided into a dark green section on the left and a light green section on the right. For sentence mastery, the dark green bar extends to about 32% for A2 achievement and the light green continues to about 62% for B1 or higher. For vocabulary, the dark green bar extends to about 22% for A2 and the light green continues to about 45% for B1 or higher. For fluency, the dark green bar extends to about 35% for A2 and the light green continues to about 60% for B1 or higher. Finally, for pronunciation, the dark green extends to about 50% for A2 and the light green continues to about 90% for B1 or higher.
Graph of results. The title is "Duolingo French learners achieve A2 for most speaking skills," and below is a chart like the Spanish chart above. There are 4 horizontal bars, one for each speaking subscore, and the x-axis is percent of learners from 0 to 100. Each bar is divided into a dark green section on the left and a light green section on the right. For sentence mastery, the dark green bar extends to about 40% for A2 achievement and the light green continues to about 62% for B1 or higher. For vocabulary, the dark green bar extends to about 40% for A2 and the light green continues to about 52% for B1 or higher. For fluency, the dark green bar extends to about 38% for A2 and the light green continues to about 60% for B1 or higher. Finally, for pronunciation, the dark green extends to about 18% for A2 and the light green continues to about 22% for B1 or higher.

Duolingo learners' speaking subscores also demonstrate on-level speaking performance. With the exception of French pronunciation, all scores were in the A2 range, and Spanish pronunciation nearly reached B1.

Spanish learners excel in pronunciation. Learners in the Duolingo Spanish course had especially strong pronunciation scores: Spanish pronunciation had the highest score of any subscore in either language, and learners nearly scored at the higher B1 level! ¡Excelente!

For French pronunciation, there's room for improvement. If you've ever seen a meme about studying French, you can guess which area of speaking gave our French learners the biggest headache: pronunciation! This was the lowest of the four French subscores, and pronunciation pulled down the overall French score, too. There's more work for us to do to teach French sounds and pronunciation patterns, which can be complex for English learners, and we're developing new teaching tools to accomplish the task!

Learners have strong fluency and sentence mastery. For both Spanish and French learners, fluency and sentence mastery received solid A2 scores. These subscores indicate how well you know something, not how much you know. (Even beginners can score highly on "fluency" if they're able to quickly remember all their beginner-level vocabulary and grammar.) This means Duolingo learners are right on track when it comes to quickly remembering what they know and putting words and phrases together in meaningful sentences.

This study has given us a window into where our learners excel and where they could use more support. Research like this guides the development of new features and improvements in all our courses!

Getting you closer to reaching your learning goals

Last year we learned about the progress Duolingo learners make on reading and listening, and our latest study shows that our courses are effective at teaching speaking skills, too: about half of learners in the Duolingo Spanish and French courses achieved A2 speaking proficiency or higher. Next we're challenging ourselves to get learners to even more advanced speaking levels and to bring these strong results to learners in all 102 of our courses.

You can learn more about our new speaking study by reading our research report, and check out our teaching efficacy page for more about our research program and data-driven pedagogy.

Español: ¿Qué tan bien enseña Duolingo a hablar idiomas?

Aprender un idioma en Duolingo es divertido, totalmente gratis y, como demuestran nuestros estudios, ¡efectivo! El año pasado compartimos los resultados de los estudios que revelaron que los usuarios de Duolingo que completan la sección 5 obtienen puntajes en lectura y comprensión oral equivalentes a cuatro semestres de clases de idiomas de nivel universitario.

Recientemente completamos un nuevo estudio que también trae excelentes noticias para las habilidades al hablar: cerca de la mitad de los usuarios de Duolingo de nuestros cursos de español y francés desarrollaron habilidades conversacionales de, al menos, nivel A2. Esto significa que son capaces de producir oraciones completas, recordar palabras con rapidez y hablar con confianza de temas de la vida cotidiana con la velocidad de una conversación regular. En esta publicación, te compartimos cómo medimos las habilidades al hablar de los usuarios y qué significan estos emocionantes resultados para nuestros usuarios y nuestros cursos.

Cómo evaluar las habilidades conversacionales

Una vez que alcanzan el final de la sección 5, los usuarios de Duolingo han completado todas las porciones para principiantes de sus cursos, denominados A1 y A2, y comienzan con el contenido intermedio B1. Estos niveles de dominio se basan en los estándares internacionales establecidos por el Marco Común Europeo de Referencia para las lenguas (MCER). Alcanzar la sección 5 ya demuestra un progreso significativo, así que queríamos saber qué tan bien preparan los cursos a nuestros usuarios para conversar.

Para poder evaluar las habilidades al hablar de nuestros usuarios, primero debíamos encontrar un grupo muy específico de ellos. Queríamos evaluar a usuarios de nuestros cursos de español y francés que hubieran completado recientemente la sección 5. Sin embargo, eso no era todo: también queríamos asegurarnos de que estos usuarios no tuvieran conocimientos previos del idioma antes de empezar a aprender en Duolingo y que tampoco hubieran utilizado otro material de estudio.

Imagen llamada "Niveles de MCER" Hay seis barras horizontales, y cada una de las barras es de un color diferente y gradualmente se vuelven más largas. La barra de la izquierda es la más corta y la de la derecha es la más larga. Las barras están en pares y cada par está dentro de un recuadro gris y tiene una etiqueta arriba. El primer par a la izquierda dice "Principiante", el siguiente dice "Intermedio", y el de la derecha dice "Avanzado". De izquierda a derecha, las barras tienen una etiqueta que dice A1, A2, B1, B2, C1, y C2.

La escala del MCER es una manera de definir diferentes niveles de dominio. En este estudio, evaluamos a los usuarios en la sección 5, que corresponde al final de la porción A2 en los cursos de Duolingo.

Una vez que los usuarios en estos cursos completaron la sección 5, les pedimos a algunos de ellos que participaran en nuestro estudio. Luego de confirmar su elegibilidad, los usuarios completaron el examen Versant de Pearson para español o francés. En total, 258 usuarios de Duolingo completaron el estudio.

El examen Versant mide entre una amplia gama de habilidades para obtener un entendimiento claro de las habilidades al hablar de los examinados. Por ejemplo, en algunas de las secciones del examen, los examinados deben escuchar y repetir palabras, decir lo opuesto de lo que escuchan, responder preguntas cortas y volver a contar cuentos en sus propias palabras. Los resultados del examen Versant son expresados tanto con un puntaje general así como con cuatro resultados individuales para las diferentes áreas de las habilidades al hablar.

¿Cómo hablan los usuarios de Duolingo después de la sección 5?

Primero analizamos los resultados generales de conversación para entender qué tan bien nuestros usuarios en la sección 5 (el final de las secciones A2) estaban desarrollando sus habilidades al hablar. ¡Cerca de la mitad de los usuarios que evaluamos alcanzaron o superaron la meta de llevar estas habilidades al nivel A2!

Los usuarios que aprenden español en Duolingo obtuvieron puntajes un tanto más altos que los usuarios que aprenden francés y, además, el 66 % de los usuarios que aprenden español obtuvieron un puntaje general de nivel A2 o superior. En el caso de los usuarios que aprenden francés, el 53 % obtuvo un puntaje de nivel A2 o superior. En general, los usuarios de Duolingo demostraron poseer habilidades al hablar satisfactorias en la sección 5.

Gráfica de resultados. El título es "Cerca de la mitad de los usuarios principiantes de Duolingo alcanzó un dominio conversacional de nivel A2 o más". Debajo del título están dos barras horizontales que van de izquierda a derecha. Cada barra está dividida en una parte verde oscuro y una parte verde claro. El eje X es el porcentaje de usuarios de 0 % a 100 %, y el eje Y tiene arriba el idioma "español", y abajo el idioma "francés". Para español, una barra verde oscuro va del 0 % al 40 %, y esto es el porcentaje de estudiantes que alcanzaron al nivel A2. Para francés, una barra verde oscuro va del 0 % al 40 % de usuarios que llegaron al nivel A2. La barra verde claro continúa del 40 % al 52 % para los usuarios que llegaron al nivel B1 o más.

Cerca de la mitad de los usuarios de Duolingo alcanzó o superó las expectativas: el 66 % de los usuarios que aprenden español y el 53 % de los usuarios que aprenden francés alcanzaron un dominio conversacional de nivel A2 o superior.

Los matices de las habilidades al hablar

Tanto los usuarios que aprenden español como los que aprenden francés alcanzaron puntajes generales de nivel A2 para sus habilidades al hablar, pero hubo algunas diferencias interesantes entre los idiomas y entre los resultados individuales para cada una de las áreas que conforman las habilidades al hablar.

  • dominio de oraciones: producir palabras y frases en oraciones completas.
  • vocabulario: reconocer palabras comunes cuando son pronunciadas por otros, ser capaz de adoptarlas rápidamente y emplearlas correctamente en oraciones.
  • fluidez: recordar las palabras con facilidad, no hacer muchas pausas al hablar y saber cuándo hacer pausas en el momento indicado en frases y oraciones.
  • pronunciación: saber cómo las palabras y las letras suenan y pronunciarlas de forma clara y fácil de entender.

Graph of results. The title is "Duolingo Spanish leaners excel in pronunciation," and below is a chart like the overall scores above. Now there are 4 horizontal bars, one for each speaking subscore, and the x-axis is percent of learners from 0 to 100. Each bar is divided into a dark green section on the left and a light green section on the right. For sentence mastery, the dark green bar extends to about 32% for A2 achievement and the light green continues to about 62% for B1 or higher. For vocabulary, the dark green bar extends to about 22% for A2 and the light green continues to about 45% for B1 or higher. For fluency, the dark green bar extends to about 35% for A2 and the light green continues to about 60% for B1 or higher. Finally, for pronunciation, the dark green extends to about 50% for A2 and the light green continues to about 90% for B1 or higher.
Graph of results. The title is "Duolingo French leaners achieve A2 for most speaking skills," and below is a chart like the Spanish chart above. There are 4 horizontal bars, one for each speaking subscore, and the x-axis is percent of learners from 0 to 100. Each bar is divided into a dark green section on the left and a light green section on the right. For sentence mastery, the dark green bar extends to about 40% for A2 achievement and the light green continues to about 62% for B1 or higher. For vocabulary, the dark green bar extends to about 40% for A2 and the light green continues to about 52% for B1 or higher. For fluency, the dark green bar extends to about 38% for A2 and the light green continues to about 60% for B1 or higher. Finally, for pronunciation, the dark green extends to about 18% for A2 and the light green continues to about 22% for B1 or higher.

Los resultados individuales de las habilidades al hablar de los usuarios de Duolingo también demuestran un nivel de desempeño satisfactorio. Con la excepción de la pronunciación del francés, todos los puntajes alcanzaron el nivel A2, y la pronunciación del español alcanzó casi el nivel B1.

Quienes aprenden español se destacan por su pronunciación. Quienes aprenden en el curso de español de Duolingo obtuvieron puntajes especialmente altos para su pronunciación: la pronunciación del español obtuvo el puntaje más alto de entre los resultados individuales de ambos idiomas y los usuarios obtuvieron un puntaje cercano a lo más alto del nivel B1. ¡Excelente!

Aún puede mejorarse la pronunciación del francés. Si alguna vez viste un meme de alguien que aprende francés, te podrás imaginar cuál es el área de las habilidades al hablar que dio más dolores de cabeza a los usuarios del curso de francés: ¡la pronunciación! Este fue el resultado individual más bajo de los cuatro en francés, lo que también disminuyó el puntaje general del idioma. Aún nos queda mucho trabajo por hacer para enseñar los sonidos y los patrones de pronunciación del francés (algo que puede ser muy difícil para todos los hablantes de español). ¡Estamos desarrollando nuevas herramientas educativas para lograr esta tarea!

Los usuarios tienen una alta fluidez y un alto dominio de oraciones. Tanto los usuarios que aprenden español como los que aprenden francés recibieron puntajes A2 para su fluidez y dominio de oraciones. Estos resultados individuales indican qué tan bien sabes algo, no cuánto sabes (incluso los principiantes pueden obtener puntajes altos para su “fluidez” si son capaces de recordar con rapidez todo el vocabulario y la gramática de nivel principiante). Esto significa que los usuarios de Duolingo van por buen camino cuando se trata de recordar con rapidez lo que saben y unir palabras y frases para formar oraciones completas.

Este estudio nos ha permitido ver las áreas en las que nuestros usuarios se están desempeñando bien y en qué áreas necesitan más apoyo. ¡Estudios como este son los que marcan el camino para las nuevas funcionalidades y las mejoras en todos los cursos!

Tus metas de aprendizaje, cada vez más cerca

El año pasado aprendimos acerca del progreso que logran nuestros usuarios en relación con la lectura y la comprensión oral y nuestro estudio más reciente demuestra que nuestros cursos también son efectivos para enseñar habilidades conversacionales: cerca de la mitad de los usuarios de los cursos de español y francés en Duolingo alcanzaron un dominio conversacional de nivel A2 o superior. Nuestro próximo desafío será llevar a los usuarios a niveles de conversación aún más avanzados y lograr que todos los usuarios de nuestros 102 cursos alcancen estos resultados sólidos.

Puedes leer más sobre nuestro nuevo estudio de habilidades al hablar en nuestro reporte de investigación y consultar nuestra página sobre la eficacia de nuestro método educativo para más información sobre nuestro programa de investigación y pedagogía basada en datos.