An important part of learning is feedback: getting information about what you communicated well and whether you said something wrong. For language learning, feedback might be about how you used a new word, how you changed a word's ending, or how you pronounced something.

One of the newest ways we give Duolingo learners feedback is through smart tips. These tips pop up right when you make a mistake and give an explanation of the grammar rule or pattern to help you get it right next time.

We recently performed an experiment to check whether smart tips are effective at improving learners’ understanding of grammar. In this post, we'll tell you more about smart tips and how we know that they're helping you learn!

How do smart tips work?

Smart tips are explanations that appear in a lesson after a learner makes certain types of mistakes, like putting words in the incorrect order in a sentence. Because mistakes are a natural part of language learning, we designed smart tips to give you personalized feedback to help you learn from your mistakes.

Our courses pay close attention to each mistake, and after a learner makes a specific kind of error, they might see a smart tip. With the mistake fresh in the learner's memory, the smart tip provides helpful information, and the learner gets to practice applying the rule.

Learner mistake Smart tip explanation
Screenshot of a Duolingo exercise with the character Vikram saying in English Screenshot of a Duolingo smart tip that says 'In English, we say a black cat, but in Spanish, it's a cat black!' The adjective

For example, in Spanish, smart tips may give the learner more information about the order words go in (like in the smart tip above), how to change verb endings (so many endings!!), common word confusion (like ser and estar), and word gender (masculine and feminine). Smart tips don't show up after every single mistake because we don't want learners to feel overwhelmed -- it can take time to learn grammar rules! -- and because we know some errors are typos or accidental mistakes.

Learner mistake Smart tip explanation
Screenshot of a Duolingo exercise with the bear character saying in English Screenshot of a Duolingo smart tip that says

We designed smart tips to be simple, straightforward explanations, encompassing four dimensions that research shows are important for feedback. Duolingo's smart tips are:

  • immediate: they pop up right after you make a mistake.
  • personalized: our machine learning algorithm analyzes the exact kind of error you made.
  • explicit: they state what to pay attention to and what the rule is.
  • elaborate: they show more than just "incorrect" so you can better understand the pattern.

Do smart tips improve learning?

To be sure that Duolingo's smart tips were working as designed, we wanted to test if they actually improved learners' understanding of grammar. So we ran an experiment!

We tested whether learners who saw smart tips made fewer mistakes later on than learners who only received regular feedback ("correct" or "incorrect"). We tested more than 100,000 learners in our French course for English speakers. About half of these learners didn't see any smart tips, and about half were randomly picked to see smart tips after their mistakes. Would the smart tips group learn more than the group that didn't see smart tips?

Answer: oui ! That is, yes! Learners in the smart tips group made fewer subsequent errors than learners who didn't see the extra tips. It’s worth noting that this was only true for the kinds of errors we have smart tips for; seeing smart tips helped learners make fewer errors for the grammar topics covered in smart tips. The smart tips group really did learn exactly, specifically, what we taught them!

We were also pleased to see that learners found the smart tips helpful. After all, just because something is good for learning doesn't necessarily mean that it feels good. Learners in the experiment rated 90% of smart tips with a thumbs up, so we know we're on the right track in how we write and design them!

Learning with Duolingo is even smarter with smart tips

Smart tips are bite-sized grammar explanations that appear right when you’re most ready to learn from them. Designed through collaboration between our teaching experts and machine learning engineers, smart tips are an effective tool for helping learners understand language patterns.

You can find smart tips in our French and Spanish courses for English speakers, and in our English courses for Spanish and Portuguese speakers.

Español: Las notas útiles tienen la respuesta

Uno de las partes más importantes de aprender es la retroalimentación: recibir información sobre aquello que dijiste bien o mal. En el caso del aprendizaje de idiomas, esto podría ser cómo utilizaste una palabra nueva, cómo cambiaste la terminación de una palabra o cómo pronunciaste una palabra.

Una de las formas más novedosas en la que los usuarios de Duolingo reciben esta información es a través de notas útiles. Estas notas aparecen en cuanto el usuario se equivoca y le explican la regla o el patrón gramatical para ayudarle a hacerlo bien la próxima vez.

Recientemente, realizamos un experimento para determinar si las notas útiles son efectivas para mejorar la comprensión de la gramática de los usuarios. En esta publicación, vamos a contarte más sobre las notas útiles y sobre cómo sabemos que están ayudando a aprender.

¿Cómo funcionan las notas útiles?

Las notas útiles son explicaciones que aparecen en las lecciones después de que el usuario comete determinados tipos de errores, como colocar las palabras en el orden equivocado dentro de una oración. Dado que los errores son naturales en el aprendizaje de idiomas, diseñamos las notas útiles para darte una retroalimentación personalizada y para ayudarte a aprender de tus errores.

Nuestros cursos prestan mucha atención a cada error. Una vez que el usuario comete un tipo de error específico, es posible que encuentre una nota útil. Con el error fresco en su memoria, la nota útil le proporcionará al usuario la información necesaria y le permitirá poner en práctica la regla al aplicarla en un ejercicio.

Error del usuario Explicación de la nota útil
Captura de pantalla de un ejercicio de Duolingo eb inglés donde el personaje Vikram dice “una tienda elegante” en inglés. La traducción ingresada es “una elegante tienda”. El mensaje de corrección en la parte inferior dice “¡Es un error común!” y muestra la solución correcta con el sustantivo y el adjetivo invertidos: “Una tienda elegante”. Captura de pantalla de una nota útil de Duolingo que dice “En inglés decimos un negro gato, ¡pero en español se dice un gato negro!”. El adjetivo “negro” aparece en azul en cada oración para destacarlo. Debajo de la explicación aparecen dos ejemplos más: un gato negro y una amiga americana. Debajo de los ejemplos hay un ejercicio en el que hay que llenar los espacios en blancos que dice “una” y luego un espacio en blanco. Las dos opciones son “familia perfecta” y “perfecta familia”.

Por ejemplo, en inglés, las notas útiles pueden dar al usuario más información acerca del orden de las palabras (como en la nota útil más arriba), cómo cambia la terminación de los verbos (¡hay tanta variedad!) o las palabras que se suelen confundir (como you’re and your). Las notas útiles no aparecen después de cada error porque no queremos que los usuarios se sientan abrumados (¡aprender las reglas gramaticales lleva tiempo!) y porque sabemos que algunos errores son solo accidentales.

Learner mistake Smart tip explanation
Captura de pantalla de un ejercicio de Duolingo con un oso diciendo en inglés: Captura de pantalla de una nota útil de Duolingo que dice en inglés

Diseñamos las notas útiles como explicaciones simples y directas que abarcan cuatro dimensiones de la retroalimentación que nuestros estudios señalan como importantes. Las notas útiles de Duolingo son:
inmediatas: aparecen justo cuando se comete un error.
personalizadas: nuestro algoritmo de aprendizaje automático analiza el tipo de error específico que se cometió.
explícitas: muestran a qué debes prestar atención y cuál es la regla.
elaboradas: hacen más que simplemente decir “incorrecto” para que puedas entender mejor los patrones.

¿Las notas útiles hacen mejor al aprendizaje?

Para asegurarnos de que las notas útiles de Duolingo estuvieran funcionando para lo que fueron diseñadas, quisimos ponerlas a prueba para saber si mejoraban la comprensión de la gramática de nuestros usuarios. ¡Entonces, hicimos un experimento!

Evaluamos si los usuarios que encontraron notas útiles cometieron menos errores a partir de ese momento que aquellos usuarios que solo recibieron “correcto” o “incorrecto” como retroalimentación. Evaluamos a más de 100 000 usuarios de nuestro curso de francés para hablantes de inglés. Cerca de la mitad de esos usuarios no había visto ninguna nota útil y la otra mitad fue seleccionada al azar para ver notas útiles después de sus errores. ¿Quién aprendería más? ¿Aprendería más el grupo que vio las notas útiles que el grupo que no las vio?

¡La respuesta es oui! ¡Un sí rotundo! Los usuarios del grupo que vio notas útiles cometieron menos errores subsecuentes que aquellos usuarios que no recibieron esos tips extra. Cabe destacar que esto ocurrió solo para aquellos errores que cubren las notas útiles. Ver notas útiles ayudó a los usuarios a cometer menos errores en los temas de gramática que cubren las notas útiles. ¡El grupo que vio las notas útiles aprendió exacta y específicamente lo que les mostramos!

También nos alegró saber que nuestros usuarios sintieron que las notas útiles fueron muy productivas. Después de todo, que algo sea bueno para aprender no necesariamente significa que se sienta bueno. El 90 % de los usuarios en el experimento dieron un pulgar hacia arriba a las notas útiles, así que sabemos que estamos bien encaminados en cuanto a cómo las escribimos y diseñamos.

Notas útiles: un aprendizaje inteligente

Las notas útiles son explicaciones de gramática breves que aparecen en el momento indicado para que las aprendas. Gracias a la colaboración de nuestros expertos del aprendizaje y nuestros ingenieros de aprendizaje automático, las notas útiles son una herramienta efectiva que ayuda a nuestros usuarios a entender los patrones de los idiomas.

Puedes encontrar las notas útiles en nuestros cursos de español y francés para hablantes de inglés y en nuestros cursos de inglés para hablantes de español y portugués.