¡Certifica tu inglés con el DET! Nuestro examen en línea es aceptado por miles de universidades en todo el mundo. Además, puedes completarlo donde quieras y cuando quieras.
Hace 5 años, lanzamos el primer examen de alto rendimiento desarrollado para el ámbito digital, que puede ser completado en cualquier momento o lugar del mundo, porque vimos cómo la tecnología podía mejorar radicalmente la evaluación tanto para los estudiantes como para las instituciones. En esta serie de cinco partes, haremos un recorrido por la gran cantidad de estudios y desarrollos que exploramos y que nos permitieron reinventar el mundo de los exámenes de alto rendimiento.
Los exámenes de alto rendimiento pueden ser estresantes e incluso desmotivantes. En Duolingo, creemos que lo desafiante debe ser el contenido de un examen, no tanto hacerlo. Es por eso que desarrollamos el Duolingo English Test para que se adapte rápidamente al nivel del candidato, dejando de lado el contenido que le resulte demasiado difícil (o demasiado fácil).
Sigue leyendo para descubrir cómo nuestro equipo de expertos en la ciencia de la evaluación y el procesamiento de lenguajes naturales colaboró con nuestros ingenieros de aprendizaje automático para diseñar un examen riguroso capaz de determinar tu nivel de dominio del inglés con mayor eficiencia (es decir, en mucho menos tiempo) que los exámenes estáticos tradicionales.
Estáticos significa inflexibles
El dominio de un idioma aparece en un espectro que va de básico a avanzado. La meta de un examen de dominio de idiomas es evaluar en qué parte del examen está quien realiza el examen al observar cómo responde a preguntas y ejercicios (lo que los investigadores llaman “ítems”) con una dificultad variada.
Una de las razones por las que toma tanto tiempo completar un examen de dominio de idiomas (requieren alrededor de 3 horas en promedio) es porque son estáticos: los ítems están predeterminados antes de que el examen comience, sin importar las capacidades de quien realiza el examen. Una vez que el examen evalúa las respuestas de esta persona a ítems de todos los niveles de dominio, la ubica en una escala. Para que un examen estático pueda hacer esto, debe incluir ítems que correspondan a todos esos niveles.
En este modelo estático, todas las personas que completen el examen terminarán respondiendo ítems del examen que no son “informativos” (es decir, que sus respuestas a los ítems no hacen un gran aporte a la estimación de su nivel de dominio real). Que un hablante de inglés avanzado responda correctamente muchas preguntas fáciles no es muy útil para determinar sus habilidades. Del mismo modo, que un principiante adivine las respuestas de preguntas difíciles es una pérdida de tiempo.
Sabíamos que debía existir una mejor forma de hacer esto, así que nuestros equipos de expertos en el diseño de evaluaciones, en el procesamiento de lenguajes naturales y en aprendizaje automático combinaron sus esfuerzos para crear un examen adaptativo por computadora que toma menos de una hora en ser completado, el primero en el mundo de la evaluación del dominio del inglés.
Nada es tan veloz como un CAT
Un examen adaptativo por computadora (Computer Adaptative Test, o CAT, en inglés) es precisamente lo que el nombre indica: adaptativo. A medida que una persona avanza en el examen, los ítems que se le presentan están determinados por sus respuestas en los ítems anteriores. Esto significa que no perderá el tiempo en ítems que estén muy por encima o muy por debajo de su nivel de dominio. Si los comparamos con los exámenes estáticos, los exámenes CAT —como el Duolingo English Test— requieren menos tiempo para ser completados porque necesitan muchos menos ítems para ubicar a quienes hacen el examen en la escala de dominio. Esto quiere decir que si una persona responde correctamente, el siguiente ítem que se le presentará será más desafiante, como por ejemplo conversar. Si no responde correctamente un ítem, el siguiente ítem que se le presentará será un poco más fácil.
Entonces, ¿cómo funciona un CAT realmente? Todo comienza con el banco de ítems, la colección de ítems que el algoritmo toma para generar cada uno de los exámenes. Nuestros expertos de procesamiento de lenguajes naturales e ingenieros de aprendizaje automático utilizan una IA supervisada por humanos para generar un banco de decenas de miles de ítems. Este proceso tuvo varios pasos:
Primero, recolectamos palabras y textos en inglés para cada uno de los temas a los que los expertos en la materia asignaron un valor según el Marco Común Europeo de Referencia para las lenguas (MCER), un estándar internacional que describe las capacidades de una persona en un idioma en una escala de seis niveles, de A1 (básico) a C2 (avanzado).
Luego, analizamos estas palabras y textos para determinar qué características del idioma era más probable que cayeran en cada uno de los niveles del MCER. Por ejemplo, el lenguaje simplista de la oración “Hice un examen” hace que la oración sea de nivel A1, mientras que “Opté por presentarme a un examen adaptativo por computadora” utiliza un lenguaje de nivel B avanzado y C. A partir de este análisis, nuestros modelos de aprendizaje automático fueron capaces de generar nuevos ítems para el examen según la escala del MCER, para poder medir el nivel de dominio en todos los niveles.
A medida que una persona avanza en el examen, los ítems son seleccionados según el nivel que el algoritmo supone que posee la persona a partir de sus respuestas en los ítems anteriores. Cuantos más ítems responde una persona, más y más se acerca el algoritmo a estimar el nivel de dominio real de esa persona. Dado que estos ítems son seleccionados en tiempo real desde nuestro banco de decenas de miles de ítems, no habrá dos exámenes idénticos, lo que significa que es imposible conocer las respuestas del examen de antemano. (¿Te intriga cómo nuestros expertos usan IA para supervisar y calificar el examen? ¡No dejes de leer la publicación anterior en esta serie!)
Una distribución óptima
Por su carácter adaptativo, y comparado con los exámenes estáticos, el Duolingo English Test requiere de menos tiempo para determinar el nivel de dominio de una persona: en promedio, puede completarse el examen en 1 hora. Gracias a su corta duración y a su cantidad menor de ítems, es probable que quienes hacen el examen sientan que el Duolingo English Test es menos estresante (e incluso más fácil) que un examen estático más extenso.
¿Cómo nos podemos asegurar de que el examen es riguroso? Los científicos de la evaluación usan diversas herramientas y métodos para garantizar que la dificultad de un examen está en el nivel apropiado. Una forma de entender esto es a través de la observación de la distribución de resultados.
“Si el examen no fuera lo suficientemente difícil, veríamos que todos reciben resultados muy altos”, dice Alina von Davier, jefa de Evaluación del Duolingo English Test, “Sin embargo, esto no es lo que estamos viendo. De hecho, tenemos una buena cantidad de resultados dispersos a lo largo de la escala. Tal como se espera de cualquier evaluación, son pocas las personas que obtienen los resultados más altos”.
La experiencia primero
En definitiva, el grado de dificultad de un examen va más allá de la dificultad objetiva de los ítems en la escala del MCER a los que debe responder la persona. La experiencia del usuario también es un factor vital.
“Al diseñar el Duolingo English Test, tuvimos siempre en mente la experiencia del usuario”, nos cuenta Burr Settles, director de Investigación en Duolingo. “Nos enorgullecemos de centrarnos en los estudiantes y sabemos que hay mucho en juego en el resultado de este examen de alto rendimiento. Por eso quisimos que fuera lo menos estresante posible”.
Gracias al formato del examen adaptativo, los candidatos del Duolingo English Test pueden elegir el momento y lugar que mejor les convenga para enfocarse en lo que realmente importa: demostrar su dominio del inglés. ¿Quieres saber más acerca del diseño del Duolingo English Test? Consulta nuestra Guía para candidatos o lee nuestro manual técnico si quieres profundizar en los aspectos técnicos del examen.