We all know and love (...OK, maybe fear) Duo’s playfully passive-aggressive tone, but does it evoke the same feeling in Hindi? How about French? Or one of the other 20+ languages in which we offer courses? Duolingo communicates with you in your primary language — think push notifications and interface copy — to help motivate, inspire, and teach you your new language. Each of these messages gets translated and adapted from English through the process of localization.
Speakers of different languages may not always perceive the tone we use in the same way, and what works in one language may not evoke the same feelings in others. How do we know we’re sending the best possible message for learners across different languages?
Enter… Expurrimenter!
Expurrimenter is part of our Computer Assisted Translation (CAT) tool, referred to internally as CopyCAT. Expurrimenter (get the cat pun now?) allows us to run A/B tests on different messages to ensure that messaging feels equally motivating and natural for all of our learners. (What works for a German speaker learning English might not work for an English speaker learning Spanish!)
Messages in the app are known as “copy.” This differs from course content, (the part that actually teaches you a new language!), but is critical to ensuring you can navigate the app and discover all of Duolingo’s fun features. Each of these messages has to be thoughtfully localized — that is, translated to all of our learners’ 22 primary languages — to ensure that we’re teaching in a way that best resonates with them!
As this image shows, there’s a lot of copy on each Duolingo screen. That means there’s also a lot of opportunity to optimize for each language — and why Expurrimenter is such an awesome tool for us.
Why we built a copy testing tool
From past experiments, we knew that localization could significantly affect how learners interact with Duolingo. However, these A/B tests required engineering time, which could make the process inefficient — just changing the localized text was a small step that took outsized effort.
Expurrimenter connects with Duolingo’s proprietary analytics tools to set up copy A/B tests. We can choose to run them on a language level, testing a specialized message for just one language — or on a global level, seeing whether a completely different motivation helps people engage with the app across the world.
Building this required us to programmatically revamp localization infrastructure, from the way that we reference copy in code to the way that we run localization experiments in the app. But there was a big payoff once the changes were made and the tool was built — within the first three months with Expurrimenter, we more than doubled our all-time volume of copy tests.
Expurrimentation in action
When deciding what experiments to run, we look at the screens that people interact with the most, particularly those where a learner might feel stuck, or need extra motivation or instruction to continue their language learning. Then, we form a hypothesis: based on the style and tone of the current copy, is there room for improvement?
This method has been a successful way to identify tests and improve localization. In Spanish, for example, we noticed that the message when you quit a lesson was a bit demotivating:
We hypothesized that Spanish learners might appreciate a warmer, more encouraging tone if they had to quit a lesson early. So, we adjusted the original text (“Do you want to end this session?”) to a more emphatic, “Don’t give up! Do you really want to end this session?”. The new copy directly addressed the learner, and acknowledged that they might be leaving because they feel discouraged by their session. With this subtle change, we were able to reduce the number of people that quit sessions and increase the time spent learning — more learning for everyone!
Similarly, we used cultural insights to refine our copy in German, running a test on messages that ask users to opt-in to receiving notifications. We had noticed that German learners were less likely to opt into push notifications, even though we know they can make learning more manageable by helping build the habit. So, we re-wrote the copy to emphasize the link between notifications and learning goals:
This change yielded an 8% increase in opt-in to notifications for German learners! We were so excited by the result that we tried to run the test again in Spanish… but it had no significant impact. We learned enough to better support German learners, but it was not a one-size-fits-all solution.
Copy testing has also helped us improve how we explain Duolingo’s features. For example, the Chinese localization team noticed that we had short messages to describe the features in Duolingo Plus. Since Chinese characters allow a lot more space, we could be more descriptive about what a Duolingo Plus subscription provides.
We expanded “Unlimited Hearts” (无限红心) to a more descriptive “No heart loss on errors” (答错不丢心), and “Mastery quiz” (小测验) to “Test your knowledge anytime” (随时摸底自测). This update — which wasn’t feasible in any of our longer languages — increased free trial sign-ups for Plus by giving learners a much clearer idea of how to make the most of their subscription!
Never stop testing
One of Duolingo’s operating principles is to put “Learners First.” For Duolingo Localization, that means speaking (and writing!) in ways that support and encourage, for any cultural context. We’ll continue to expand copy testing to make Duo sing… for learners in any country!
Español: Cómo ajustamos nuestra forma de comunicarnos con usuarios en diferentes idiomas
Todos conocemos y amamos (bueno, y le tenemos algo de miedo) al tono pasivo-agresivo juguetón de Duo, pero ¿transmite la misma sensación en hindi? ¿Qué tal en francés? ¿O en los más de 20 idiomas en los que puedes aprender? Duolingo se comunica contigo en tu lengua materna (cuando recibes notificaciones o mensajes dentro de la aplicación) para motivarte, inspirarte y ayudarte a aprender un nuevo idioma. Cada uno de esos mensajes es traducido y adaptado del inglés a través de un proceso llamado localización.
Hablantes de diferentes idiomas podrían percibir el tono que usamos en formas diferentes y lo que funciona en un idioma podría no transmitir el mismo sentimiento que en otro. Entonces, ¿cómo sabemos si estamos transmitiendo nuestros mensajes de la mejor manera a los hablantes de diferentes idiomas?
Les presentamos… ¡Expurrimienter!
Expurrimenter forma parte de nuestra herramienta de traducción por computadora asistida (en inglés, CAT), a la que nos referimos internamente como CopyCAT. Expurrimenter (¡“purr” como el ronroneo de un gato en inglés!) nos permite llevar a cabo pruebas A/B con distintos mensajes para asegurarnos de que los mensajes se sientan tanto motivadores como naturales para todos nuestros usuarios. ¡Lo que funciona para un hablante de alemán que aprende español podría no funcionar para un hablante de español que aprende inglés!
Los mensajes que aparecen dentro de la aplicación son conocidos como copy. Son distintos del contenido de los cursos (la parte donde aprendes tu nuevo idioma), pero son vitales para asegurar que puedas navegar por la aplicación y descubrir todas las divertidas funcionalidades de Duolingo. Cada uno de estos mensajes debe ser localizado con atención (es decir, traducido en los 22 idiomas en que puede usarse la aplicación) para garantizar que enseñamos un idioma de una forma que realmente llegue a nuestros usuarios.
Como puedes ver en la imagen, hay un montón de copy en cada pantalla de Duolingo. Eso significa que también hay muchas oportunidades para optimizar la aplicación para cada idioma. ¡Por eso Expurrimenter es una herramienta genial para nosotros!
Por qué desarrollamos una herramienta para hacer pruebas de copy
Gracias a [experimentos previos](/lessons-from-asia-turning -local-research-into-global-experiments/) aprendimos que la localización puede afectar en gran medida la forma en la que los usuarios interactúan con Duolingo. Sin embargo, estas pruebas A/B requerían tiempo de nuestros ingenieros, lo cual podía hacer al proceso algo ineficiente. Tan solo cambiar el texto localizado era un pequeño paso que implicaba un esfuerzo extra.
Expurrimenter está conectado con las herramientas analíticas de Duolingo para realizar pruebas A/B. Podemos elegir si las llevamos a cabo en un idioma en específico, para probar un mensaje especializado (o a escala global), para ver cómo una forma de motivación completamente diferente ayuda a personas en todo el mundo a involucrarse con la aplicación.
Desarrollar esto nos llevó a rehacer la programación de la infraestructura de la localización, desde la forma en que señalamos el copy en el código a la manera en que llevamos a cabo experimentos de localización dentro de la aplicación. Sin embargo, la recompensa por haber hecho los cambios y desarrollar la herramienta fueron enormes: desde los primeros tres meses desde su creación, Expurrimenter nos permitió duplicar el volumen de pruebas de copy que habíamos realizado en toda nuestra historia.
Empurrimenter en acción
Al decidir qué experimentos realizar, prestamos atención a las pantallas con las que las personas interactúan con más frecuencia, en especial aquellas en las que un usuario podría sentirse atrapado o donde necesite un extra de motivación o instrucciones para seguir aprendiendo su nuevo idioma. En ese momento, establecemos una hipótesis: tomando en cuenta el estilo y tono del copy actual, ¿puede mejorarse?
Este método ha resultado muy eficiente para identificar pruebas y mejorar la localización. En español, por ejemplo, notamos que el mensaje que recibías al salir de una lección era un poco desmotivador:
Nuestra hipótesis era que los usuarios de español se sentirían más a gusto con un tono más cálido y motivador si tenían que salir de una lección antes de terminar. Entonces ajustamos el texto original (“¿Quieres terminar esta sesión?”) por una versión más empática: “¡No te dejes vencer! ¿Realmente quieres terminar esta sesión?”. El nuevo copy hablaba directamente al usuario y daba cuenta de que quizás el usuario estaba saliendo de la lección porque no sentía suficiente motivación. Con este pequeño cambio, se redujo la cantidad de personas que abandona sus lecciones y se incrementó el tiempo que pasan aprendiendo. ¡Más aprendizaje para todos!
En un sentido similar, utilizamos nuestros conocimientos de la cultura alemana y condujimos pruebas en los mensajes donde se pregunta a los usuarios si quieren recibir notificaciones. Notamos que los usuarios alemanes eran menos propensos a activar las notificaciones, incluso cuando sabemos que pueden aprender de manera más fácil al ayudarte a desarrollar un hábito diario. Por eso, reescribimos el copy para hacer énfasis en la conexión entre las notificaciones y las metas de aprendizaje:
¡Este cambio generó un incremento del 8 % en la cantidad de usuarios de alemán que activan las notificaciones! Nos emocionó tanto este resultado que decidimos hacer la prueba en español… pero no hubo un impacto muy significativo. Aprendimos mucho para apoyar a nuestros usuarios de alemán, pero no fue una solución que se ajustara a todos los idiomas.
La prueba de copy también nos ayudó a mejorar la forma en la que explicamos las funcionalidades de Duolingo. Por ejemplo, el equipo de localización del chino notó que usábamos mensajes cortos para describir las funcionalidades de Duolingo Plus. Dado que los caracteres chinos permiten usar mucho más espacio, podíamos ser más descriptivos a la hora de señalar todo lo que ofrece una suscripción a Duolingo Plus.
Expandimos “Vidas ilimitadas” (无限红心) para hacerlo más descriptivo: “No perderás vidas al equivocarte” (错不丢心). En el mismo sentido, “Prueba de dominio” (小测验) pasó a ser “Pon a prueba tus conocimientos en cualquier momento” (随时摸底自测). Estos cambios (que no pueden hacerse en otros idiomas) generaron un aumento de la cantidad de usuarios que comenzaron una prueba gratis de Duolingo Plus. ¿Por qué? ¡Porque ahora tienen una idea mucho más clara de todo lo que pueden obtener con su suscripción!
¡Siempre experimentando!
Uno de los principios de Duolingo es dar prioridad a los usuarios. En el caso de la localización de Duolingo, esto significa hablar (¡y escribir!) en formas que apoyen y motiven en todo contexto y cultura. ¡Seguiremos avanzando con las pruebas de copy hasta que Duo pueda cantar para nuestros usuarios en todas partes del mundo!