Learning a new language is hard even under the best circumstances—it takes commitment and patience to make progress! At Duolingo, we spend a lot of time and effort making sure that your time and effort is put to good use. To make sure that every minute you spend on Duolingo brings you closer to your goal, we are constantly working with our learners (yes, you!) to find ways to improve our courses, both big and small. Here are a few of the ways that you help make the Duolingo experience both fun and effective!
User experience research helps us understand what learners think of new features
As we develop new ideas and features for Duolingo, we want to make sure that we hear what our learners think of them. One of the ways we do this is through User Experience (UX) research, which involves engaging directly with our learners to understand their needs, attitudes, behaviors, and motivations.
UX research takes many forms: we might send out a survey to hundreds or thousands of learners to learn about attitudes at scale, or we might invite a handful of people to sit down with us for one-on-one interviews to hear more about how they use a specific feature.
For example, through a series of interviews, we learned more about how Duolingo learners think about the mistakes they make while learning a language. We found that learners wanted to know what mistakes they’ve made in past lessons, and wanted the opportunity to practice their “weak areas” so they could improve. One learner shared her particular frustrations: “Why do I keep making these mistakes? I'm eternally asking, Wait, what are the forms for this tense?” That got us thinking…
The research was the inspiration for a new subscription feature called the “Practice Hub.” Practice Hub provides a central place for learners to revisit previous mistakes with targeted practice, and also provides specific practice lessons for speaking and listening skills. This is just one example of how Duolingo is constantly shaped by candid input from our learners!
Small-scale experiments with learners help us test-drive new features
We’re constantly testing new ways to teach language in our courses. To understand how new course features impact learning, we use small-scale, targeted, controlled experiments. For example, we ran an experiment to see how effective grammar lessons were at teaching learners how to talk about events in the past (such as “they traveled”), using the Spanish preterite tense.
We recruited Duolingo learners from our Spanish course who hadn’t encountered the preterite yet in lessons, and who said they didn’t know much Spanish before starting the course. This gave us more confidence that any improvements we saw would be due to what they learned in the app. These learners were randomly assigned to one of two groups. One group (the "control" group) was introduced to the topic through our regular lessons, where we teach new grammar topics like the preterite alongside vocabulary related to a theme, like “travel”. The other group (the "experimental" group) was introduced to the topic through specific grammar lessons that focused just on the preterite, with no other theme. These grammar lessons also included minimal explicit instruction, such as verb conjugation tables.
Both the control group and the experimental group were tested before (pre-test) and after (post-test) these lessons, and comparing the pre-test and post-test scores allowed us to measure how much the two groups learned. Both groups of learners made fewer grammatical mistakes after the lessons, which tells us that both types of lessons were effective. But grammar lessons were more effective: the group who learned through regular lessons improved their accuracy from 40% to 54% (an increase of 14% on average), but those who learned through grammar lessons improved their scores from 36% to 86%—a whopping 50%! These kinds of data from our learners help us see that a new feature is on the right track to enhance learning.
Large-scale experiments help us evaluate new features
Once a feature has been developed, even if learners have told us it delivers a great experience and we have initial evidence that learners benefit from the feature, our work doesn’t stop. We spend a lot of time understanding how millions of learners interact with Duolingo: what features you use, which ones you don’t, and whether or not it seems like you’re mastering language concepts. We do this by launching new features through A/B tests. This means we launch the feature to a subset of learners to see how it impacts their experience, compared to another subset of learners who don’t have the new feature. This is one reason why everyone’s Duolingo app is a little different, even if you’re practicing the same language as a friend!
For example, it is very important that we translate instructions on Duolingo really clearly across languages. As we test various translation options, you and your friends might see different messages at the end of a session.
At any given time, there are hundreds of experiments testing a variety of features and messages meant to help make learning more fun and effective. This means that right now, you are very likely part of several experiments that make your Duolingo experience unique compared to other learners, and every lesson you complete gives us valuable data about what’s working, and what isn’t!
Efficacy studies help us assess learners’ outcomes in our courses
Finally, we also work hard to make sure that Duolingo courses improve learners' overall language proficiency. We run research studies and collaborate with university researchers to assess how well our learners are acquiring particular skills, like reading, listening, and speaking. This research confirms that our courses are effective learning tools, according to standardized language tests. In a pair of recent studies, we found that learners who completed five units of their French or Spanish course on Duolingo performed as well on reading and listening tests as students who had completed four semesters of university language study! We also saw that learners who completed seven units on Duolingo scored as well as students who completed five semesters of study!
These types of efficacy studies help us to continually evaluate our own teaching methods, and ensure that our lessons are fun and effective.
Thanks for your help!
At Duolingo, we are committed to delivering the best language education in the world. To achieve this goal, we rely on the most valuable part of Duolingo: you, our learners! Whether it’s through UX interviews, controlled experiments, in-app testing, efficacy studies, or one of the many other methods in our toolbox, we are constantly working to make Duolingo both effective and delightful. So keep your eyes open, you may get an email from us to help out! And if you do, know that you’re making language education better for everyone.
Español: Cómo nuestros usuarios (¡o sea, tú!) nos ayudan a mejorar Duolingo
Aprender un nuevo idioma es algo difícil, incluso en las mejores circunstancias: ¡progresar requiere paciencia y compromiso! En Duolingo trabajamos duro para asegurarnos de que el tiempo y esfuerzo que tú dedicas sea bien empleado. Para que cada minuto que pases en Duolingo te acerque a tus metas, trabajamos constantemente con nuestros usuarios (¡sí, tú!) para encontrar formas de mejorar nuestros cursos, sin importar su tamaño. ¡Estas son algunas de las formas en las que nos ayudas a que la experiencia en Duolingo sea tanto divertida como efectiva!
La investigación de experiencia de los usuarios nos ayuda a entender qué piensan de las nuevas funcionalidades
A medida que desarrollamos nuevas ideas y funcionalidades para Duolingo, queremos asegurarnos de escuchar lo que nuestros usuarios piensan de ellas. Una de las formas para lograrlo es a través de la investigación de experiencia del usuario (UX), en la que interactuamos directamente con nuestros usuarios para entender sus necesidades, actitudes, comportamientos y motivaciones
La investigación UX puede tomar varias formas: podemos enviar una encuesta a cientos o miles de usuarios para conocer sus actitudes a gran escala o invitar a un grupo pequeño de personas a una entrevista personal para escuchar cómo utilizan una funcionalidad en específico.
Por ejemplo, gracias a una serie de entrevistas, pudimos conocer mejor qué piensan nuestros usuarios sobre los errores que pueden cometer al aprender idiomas. Descubrimos que los usuarios querían saber qué errores habían tenido en lecciones anteriores y querían la oportunidad de practicar sus “puntos débiles” para poder mejorar. Una usuaria en particular nos compartió su frustración: “¿Por qué sigo cometiendo estos errores? Todo el tiempo digo ‘Un momento, ¿cuál es la conjugación para este tiempo verbal?’”. Esto nos hizo pensar.
Esta investigación fue lo que inspiró una nueva funcionalidad para nuestros suscriptores llamada “Centro de práctica”. El Centro de práctica es un lugar donde los usuarios pueden repasar sus errores previos en una práctica dedicada y que además contiene lecciones de práctica específicas para las habilidades de conversación y escucha. ¡Este es solo un ejemplo de cómo Duolingo cambia constantemente gracias a los comentarios sinceros de nuestros usuarios!
Experimentos con usuarios en menor escala para probar nuevas funcionalidades
Estamos constantemente probando nuevas maneras de enseñar idiomas en nuestros cursos. Para entender cómo las nuevas funcionalidades en los cursos afectan el aprendizaje, hacemos experimentos controlados con usuarios específicos en menor escala. Por ejemplo, hicimos un experimento para saber qué tan efectivas resultaban nuestras lecciones de gramática para enseñar a nuestros usuarios a hablar de eventos del pasado (como “ellos viajaron”) utilizando el pretérito imperfecto del español.
Reunimos a usuarios de los cursos de Duolingo de español que aún no habían visto el tiempo pretérito en sus lecciones y que dijeron que no sabían mucho español antes de empezar el curso. Esto nos aseguró que cualquier mejora que viéramos sería producto de lo que aprendieron en la aplicación. Estos usuarios fueron asignados al azar a uno de dos grupos. A uno de los grupos (el grupo de control) se le presentó el tema en nuestras lecciones normales, en las que aprendes los nuevos temas de gramática como el tiempo pretérito junto con vocabulario relacionado al tema, como “viajes”. Al otro grupo (el grupo “experimental”) se le presentó el tema a través de lecciones de gramática específicas que se enfocaban únicamente en el tiempo pretérito, sin ningún otro tema. Estas lecciones de gramática también incluían instrucciones explícitas y breves, como tablas de conjugación de los verbos.
Tanto el grupo de control como el experimental fueron evaluados antes (preexamen) y después (posexamen) de estas lecciones. Al comparar los puntajes de los preexámenes y los posexámenes podríamos determinar cuánto aprendieron los dos grupos. Ambos grupos tuvieron menos errores gramaticales luego de las lecciones, lo que nos dice que ambos tipos de lecciones fueron efectivas. Sin embargo, las lecciones de gramática fueron más efectivas: mientras que el grupo que aprendió a través de las lecciones normales mejoró su precisión en un 14 % en promedio, aquellos que aprendieron a través de lecciones de gramática mejoraron su precisión… ¡en un impresionante 50 %! Este tipo de información de nuestros usuarios nos ayuda a determinar cuándo una funcionalidad va por buen camino para mejorar tu aprendizaje.
Los experimentos a gran escala nos ayudan a evaluar las nuevas funcionalidades
Una vez que desarrollamos una funcionalidad, incluso si los usuarios nos dijeron que les resultó una gran experiencia y tenemos evidencias de que se benefician con esta funcionalidad, debemos seguir trabajando. Dedicamos mucho tiempo a entender cómo millones de personas interactúan con Duolingo: qué funcionalidades usan, qué funcionalidades no y si parece que están dominando los conceptos del idioma o no. La forma en que evaluamos esto es al lanzar las nuevas funcionalidades en pruebas A/B. Esto significa que lanzamos la funcionalidad para un grupo determinado de usuarios para ver qué impacto tiene en su experiencia en comparación con otro grupo de usuarios que no recibe la nueva funcionalidad. Esa es la razón por la que la aplicación de Duolingo de cada usuario es un poco diferente, incluso cuando estás aprendiendo el mismo idioma que un amigo.
Por ejemplo, es muy importante que las instrucciones de Duolingo se traduzcan con claridad en todos los idiomas. A medida que probamos nuevas opciones de traducción, es posible que tú y tus amigos encuentren mensajes diferentes al completar sus lecciones.
En todo momento hay cientos de experimentos activos que evalúan toda una variedad de funcionalidades y mensajes para ayudar a hacer más divertido y efectivo el aprendizaje. Esto significa que es muy probable que en este momento tú seas parte de varios de los experimentos que hacen que tu experiencia en Duolingo sea única en comparación con otros usuarios y que cada lección que completes nos dé información muy importante para saber qué está funcionando y qué no.
Los estudios de eficacia nos ayudan a evaluar los resultados de los usuarios en nuestros cursos
Por último, también trabajamos arduamente para asegurarnos de que los cursos de Duolingo mejoren el dominio del idioma en general de los usuarios. Llevamos a cabo estudios de investigación y colaboramos con investigadores universitarios para determinar qué tan bien están adquiriendo nuestros usuarios determinadas habilidades específicas, como leer, escuchar y hablar. Esta investigación confirma que nuestros cursos son herramientas de aprendizaje efectivas, según exámenes estandarizados de idiomas. En algunos de los estudios recientes, descubrimos que los usuarios que completaron cinco secciones de los cursos de español o francés para hablantes de inglés en Duolingo [tuvieron el mismo desempeño] en exámenes de lectura y comprensión oral que estudiantes que completaron cuatro semestres de clases de idiomas en la universidad. También descubrimos que los usuarios que completaron siete secciones en Duolingo obtuvieron los mismos puntajes que estudiantes que completaron cinco semestres de estudio. ¡Impresionante!
Estos tipos de estudios de eficacia nos ayudan a evaluar de forma continua nuestros propios métodos de enseñanza y a asegurarnos de que nuestras lecciones sean divertidas y efectivas.
¡Gracias por tu ayuda!
En Duolingo estamos comprometidos a ofrecer el mejor aprendizaje de idiomas en el mundo. Para lograr este objetivo, confiamos en la parte más importante de Duolingo: ¡ustedes, los usuarios! Ya sea a través de entrevistas UX, experimentos controlados, evaluación de la aplicación, estudios de eficacia u otro de los tantos métodos en nuestra caja de herramientas, estamos constantemente trabajando para que Duolingo sea tanto efectivo como entretenido. Así que, presta atención: ¡quizás recibas un correo electrónico de nuestra parte en el que te pidamos ayuda! Si colaboras con nosotros, ten la certeza de que estarás mejorando el aprendizaje de idiomas para todos.