Do you have what it takes to be a legend? Discover how we developed Legendary Levels, our final new level experience in Duolingo. We'll also share a behind-the-scenes look at how we've used A/B testing to improve the feature over time!

Duolingo’s mission is to develop the best education in the world and make it universally available. We always strive to balance this goal with the need to build a sustainable business by developing exciting new features for our subscription service, Duolingo Plus, to delight our subscribers as they learn a language.

In a previous post, we talked about how we recently created a Plus feature to help subscribers better learn from their mistakes. In this blog post, we’ll highlight how we developed our latest Plus feature, Legendary Levels. With this new feature, we introduced an updated final level experience. Now you can finally showcase your language mastery and prove you’re a language-learning legend!

Making the Plus experience legendary

Over the last few months, we set out to develop a new feature for Duolingo Plus to get our learners even more excited about learning with Plus.

Through multiple rounds of in-depth user interviews, we heard learners -- especially those learning with Duolingo for a while -- were looking for new ways to challenge themselves and prove they had mastered different content areas.

In Duolingo, we introduce learners to sets of words through skills, colorful themed circles that make up the home screen. Each skill has five levels, and each level teaches you new vocabulary and grammar in increasingly challenging ways. Once a learner reaches the last level, their skill turns gold, signaling completion of the skill.

We wondered how we could create new ways for skills to challenge our learners in response to their feedback. What if we added an even harder level above gold?

We approached this problem Duolingo-style, focusing on how we could make this new level feel challenging, rewarding, and fun. After having seen gamification prove successful in the past, our team took inspiration from game boss battles to design a new sixth and final skill level: Legendary!

Adding a sixth and final skill level

We wanted the Legendary experience to look and feel different from other levels of Duolingo. This led us to explore a new visual design for skills mastered at the Legendary Level. We hoped this new look would be something learners would be excited to earn as a way of highlighting their course progress!

Two illustrations of a skill at the legendary level. Exploring different visual treatments for Legendary skills. One has darker purple and a gold crown, the other has lighter shades of purple.

Exploring different visual treatments for Legendary skills.

In order to reach Legendary Level, learners must progress through a series of hint-free, difficult lessons. We created these using machine learning for an individualized but rigorous experience. In the lessons, learners spend substantial time reading, writing, listening, and speaking in the language they are learning, making this boss battle a true test of one’s language skills.

Screenshots of the initial design for Legendary Levels. On the left, the purple legendary level option is available when you click on a golden skill, under the skill practice option. In the middle is the Duolingo owl chasing a purple crown that is just out of his reach, and below him is an explanation of the four timed challenges. On the right, after the Legendary Level is completed, the skill has turned purple.

Initial design for Legendary Levels.

Upholding our mission

Although we were developing Legendary Levels with Plus learners in mind, we wanted to align this feature with Duolingo’s mission.

To that end, we decided to make the Legendary Levels feature available to all learners. Learners using the free version of Duolingo can attempt to reach Legendary Level with gems, our in-app currency, rather than paying via subscription. Plus learners, however, have unlimited attempts at Legendary as part of their subscription, without paying gems. This way, we are able to keep access to this feature available for all our learners while providing an extra benefit to Plus subscribers.

Screenshot explaining that learners can access Legendary via gems for single attempts or Plus for unlimited attempts.

Users can access Legendary via gems for single attempts or Plus for unlimited attempts.

Testing everything

At Duolingo, we try to A/B test as much as possible. This is a great way for us to understand the quantitative impact of changes to the product and learners' experience. Our initial A/B test of Legendary Levels on iOS was a resounding success, yet we knew we could make this feature even better.

Once we had some initial data on how learners were responding to the new feature, we set out on another round of user research. We wanted to know whether this gamified boss battle experience made learners feel like they had proven their mastery on Duolingo.

Through research, a few areas for improvement emerged. The Legendary lessons were timed to create an extra challenge and help differentiate the experience from traditional lessons. But, learners reported feeling this was overly punishing. Doing something quickly doesn’t necessarily signal mastery. Instead, accuracy was more important to our learners. We swiftly iterated on the feature and switched from timed lessons to lessons that only allowed learners to make up to three mistakes.

Screenshots of the Duolingo owl explaining the legendary level, before and after the change. Switching from timed sessions (left) to limiting the number of allowed mistakes (right).

Switching from timed sessions (left) to limiting the number of allowed mistakes (right).

Looking at data from our A/B test, we also realized our machine learning algorithm designed to make Legendary challenging was a bit too hard. We ran a follow-up A/B test to make the sessions slightly easier and awarded more XP for completing these hard Legendary lessons. This increased the number of Legendary lessons by 4%. We even redesigned the look and feel of Legendary to help make it feel extra special!

Updating the look and feel of Legendary to make it extra-special! A purple Duolingo owl looks up at the floating, sparkling purple legendary crown, and the owl's pupils are enormous and he looks hyponotized.

Updating the look and feel of Legendary to make it extra-special!

Results

Legendary Levels have now been launched on iOS and Android. Learners have loved showing off the exclusive new look of their skills. We’re working on bringing Legendary to web next!

Every day, our subscribers are getting the chance to challenge themselves and prove they have what it takes to become a legend. We’re excited to keep investing in this feature and continue improving our subscribers' learning experience. Stay tuned for more updates!

Español: Demuestra tu dominio con los niveles legendarios, la nueva funcionalidad de Plus

¿Tienes lo que se necesita para ser una leyenda? Hoy vamos a contarte cómo desarrollamos los niveles legendarios, el nivel definitivo en la experiencia de aprendizaje de Duolingo. También vamos a dar un vistazo a cómo utilizamos pruebas A/B para mejorar la funcionalidad a lo largo del tiempo.

La misión de Duolingo es crear el mejor método educativo y hacerlo disponible para todos. Buscamos constantemente un equilibrio entre esta meta y la necesidad de crear una compañía sostenible a través de la creación de nuevas funcionalidades para nuestro servicio de suscripción, Duolingo Plus, para que los suscriptores puedan disfrutar al mismo tiempo que aprenden idiomas.

En una publicación anterior, hablamos acerca de la reciente creación de una funcionalidad de Plus para que nuestros suscriptores pudieran aprender mejor de sus errores. En esta publicación, vamos a abordar en detalle cómo desarrollamos la funcionalidad de Plus más reciente, los niveles legendarios. Con esta nueva funcionalidad, hicimos una actualización a la experiencia de los niveles. ¡Ahora podrás poner a prueba tu dominio del idioma y demostrar que eres una leyenda del aprendizaje!

Plus: una experiencia de aprendizaje legendaria

Durante los últimos meses, nos concentramos en desarrollar una nueva funcionalidad para Duolingo Plus que motive aún más a nuestros suscriptores.

Tras múltiples rondas de entrevistas, escuchamos que los usuarios (especialmente a aquellos que llevan mucho tiempo en Duolingo) buscaban nuevas formas de desafiarse a sí mismos y de demostrar que dominaron diferentes áreas de contenido.

En Duolingo, los usuarios aprenden grupos de palabras a través de unidades, unos coloridos círculos con un tema específico que se encuentran en la pantalla principal. Cada unidad contiene cinco niveles, que enseñan gramática y vocabulario nuevo de formas cada vez más desafiantes. Una vez que un usuario alcanza el último nivel, la unidad se vuelve dorada, lo que indica que fue completada.

A partir de los comentarios de nuestros usuarios, nos preguntamos: ¿cómo podríamos crear nuevas y desafiantes unidades? ¿Qué tal si añadimos un nivel incluso más difícil, más allá del dorado?

Decidimos enfrentar este problema a la manera de Duolingo, enfocados en qué podíamos hacer para que este nuevo nivel se sienta desafiante, gratificante y divertido. Después de ver el éxito de la gamificación en el pasado, nuestro equipo se inspiró en las batallas finales de los videojuegos y creó un sexto nivel definitivo: ¡el nivel legendario!

¿Cómo añadimos un sexto nivel definitivo?

Queríamos que esta experiencia se sintiera y viera diferente del resto de las unidades en Duolingo. Esto nos llevó a explorar nuevos diseños visuales para las unidades dominadas en el nivel legendario. Esperábamos que esta nueva apariencia fuera algo por lo que nuestros usuarios se emocionarían y que quisieran obtener para resaltar su progreso en el curso.

Dos ilustraciones de una unidad en el nivel legendario, que muestran diferentes estados visuales para las unidades legendarias. Una es de color morado oscuro, con una corona dorada, y la otra con tonos más claros de morado. Las ilustraciones dicen la plabra "phrases" en inglés, que significa "frases".

Algunos de los diferentes diseños que probamos para las unidades legendarias.

Para poder alcanzar el nivel legendario, los usuarios deben completar una serie de lecciones difíciles y sin pistas. Estas fueron creadas a través de aprendizaje automático para generar una experiencia personalizada, pero rigurosa. En las lecciones, los usuarios pasan un tiempo considerable leyendo, escribiendo, escuchando y hablando en el idioma que están aprendiendo, lo que hace que estas batallas finales sean una verdadera prueba de las habilidades de idiomas de una persona.

Capturas de pantalla en inglés de tres diseños iniciales para el nivel legendario. A la izquierda, la opción morada de nivel legendario está disponible cuando haces clic sobre una unidad dorada. En el medio, Duo está persiguiendo a una corona morada que está lejos de su alcance, y abajo de Duo hay una explicación acerca de los cuatro retos contrarreloj. A la derecha, una vez que el nivel legendario está completo, la unidad se vuelve morada.

Diseño inicial de los niveles legendarios.

Siempre con nuestra misión como guía

Si bien creamos los niveles legendarios con los usuarios de Plus en mente, queríamos que esta funcionalidad estuviera en línea con la misión de Duolingo.

Por ese motivo, decidimos que los niveles legendarios estuvieran disponibles para todos. Los usuarios que utilicen la versión gratuita de Duolingo pueden intentar alcanzar el nivel legendario con gemas, la moneda virtual de la aplicación, en lugar de pagar una suscripción. Sin embargo, los usuarios de Plus tendrán intentos ilimitados como parte de su suscripción, sin usar gemas. De esta forma, todos nuestros usuarios pueden acceder a esta funcionalidad, mientras que los suscriptores de Plus tendrán un beneficio extra por su apoyo.

Captura de pantalla en inglés explicando que los usuarios pueden acceder al nivel legendario con gemas para un solo intento, o con Plus para intentos ilimitados.

Los usuarios pueden usar gemas para intentar el desafío legendario una vez o pueden usar Plus para intentarlo cuantas veces quieran.

¡Pongamos todo a prueba!

En Duolingo, utilizamos pruebas A/B tanto como sea posible. Es una excelente manera de entender el impacto cuantitativo de los cambios en el producto y en la experiencia de los usuarios. Nuestras pruebas A/B iniciales en iOS fueron un éxito rotundo, pero aun así, sabíamos que esta funcionalidad podía ser mejorada.

Una vez que reunimos información inicial sobre la respuesta de los usuarios a la nueva funcionalidad, comenzamos otra ronda de investigación. Queríamos saber si esta experiencia de gamificación como una batalla final de un videojuego lograba que los usuarios sintieran que habían demostrado su dominio en Duolingo

Gracias a la investigación, descubrimos ciertas áreas que podían mejorarse. Las lecciones legendarias eran contrarreloj para crear un desafío extra y para diferenciarse de la experiencia de las lecciones tradicionales. Sin embargo, los usuarios comentaron que esto se sentía demasiado difícil. Hacer algo de prisa no necesariamente demuestra que fue dominado. En cambio, para nuestros usuarios era más importante la precisión. Rápidamente, fuimos modificando la funcionalidad y cambiamos las lecciones contrarreloj por lecciones donde los usuarios pueden cometer un máximo de tres errores.

Capturas de pantalla de Duolingo en inglés que muestran a Duo explicando el nivel legendario, antes y después del cambio. Cambiando de lecciones contrarreloj a la izquierda, a lecciones con errorers limitados, a la derecha.

Cambiamos las lecciones contrarreloj (izq.) por lecciones con un número limitado de errores (der.)

Al analizar la información de nuestras pruebas A/B, también notamos que el algoritmo de aprendizaje automático diseñado para hacer desafiante este nivel generaba contenido demasiado difícil. Realizamos otras pruebas A/B para hacer un poco más fáciles las lecciones y otorgamos más EXP por completarlas. Esto incrementó el número de lecciones legendarias en un 4 %. ¡Incluso rediseñamos la apariencia del nivel legendario para que se viera más especial que antes!

¡Al actualizar cómo el nivel legendario se ve, lo hicimos súper especial! Un Duo morado mira hacia arriba, flotando sobre Duo hay una corona morada brillante, y las pupilas de Duo se ven enormes, como si estuviera hipnotizado.

Actualizamos la apariencia y experiencia del desafío legendario. ¿No se ve genial?.

Resultados

Lanzamos los niveles legendarios en iOS y Android y parece que a los usuarios les encanta mostrar la nueva apariencia exclusiva de sus unidades. ¡Ahora nos encontramos trabajando duro para que los niveles legendarios lleguen también a nuestra web!

Día a día, nuestros suscriptores tienen la oportunidad de desafiarse a sí mismos y demostrar que tienen lo que se necesita para convertirse en leyendas. Estamos muy emocionados por seguir invirtiendo nuestros esfuerzos en esta funcionalidad y en seguir mejorando la experiencia de aprendizaje de nuestros suscriptores. ¡No te pierdas nuestras próximas actualizaciones!