A missão do Duolingo é desenvolver a melhor educação do mundo e torná-la disponível a todos. Mas como sabemos se os alunos de nossos cursos estão alcançando seus objetivos? É aí que entra nossa equipe de pesquisa!
Realizamos pesquisas de eficácia sobre o funcionamento do Duolingo. Quando um aluno usa o Duolingo para estudar um novo idioma, queremos ter certeza de que ele está adquirindo as habilidades necessárias para se comunicar nesse idioma!
Para orientar nosso programa de pesquisa de eficácia, desenvolvemos uma estrutura para nos ajudar a avaliar os aspectos mais importantes da experiência de aprendizado no aplicativo. Nossa estrutura também nos ajuda a entender como nossos alunos usam a linguagem fora do aplicativo — afinal, a maioria das pessoas não está aprendendo apenas para ganhar XP; elas estão aprendendo para propósitos importantes do mundo real!
Aqui estão as quatro perguntas que enumeramos em nossa estrutura de eficácia para ajudar a orientar nosso programa de pesquisa.
1. Os alunos acham que o Duolingo é divertido, envolvente e útil?
Esta pergunta é sobre engajamento e se os alunos gostam de estudar com o Duolingo. Afinal, não importa o quão habilmente elaboradas sejam nossas lições se você não quiser voltar a elas!
Respondemos a essa pergunta coletando feedback diretamente dos alunos (post em inglês). Uma maneira de fazer isso é por meio de entrevistas de experiência do usuário, onde nos encontramos individualmente com alunos reais para falar sobre suas experiências, objetivos e desafios. Também realizamos pesquisas com milhares de alunos sobre suas atitudes em relação às lições e quanto eles acham que seu curso é útil. E, claro, também analisamos os dados que recebemos dos alunos diretamente no aplicativo! Por exemplo, os alunos estão retornando dia após dia? Quanto tempo eles gastam aprendendo? Que tipos de aulas eles gostam de fazer todos os dias? Cada uma dessas perguntas nos fala sobre o quanto os alunos do Duolingo gostam de usar o aplicativo!
2. Os alunos alcançam o conhecimento e as habilidades que estamos ensinando?
Só porque pensamos que estamos ensinando algo, não significa que nossos alunos estão aprendendo! É por isso que nos concentramos em saber se nossos alunos dominam as habilidades e informações que ensinamos em nossos cursos. Testar o domínio dos alunos em relação ao conteúdo do curso nos ajuda a entender o que estamos ensinando bem e onde podemos melhorar.
Para responder a essa pergunta, testamos o quão bem os alunos conhecem o vocabulário e a gramática ensinados em suas aulas e se eles desenvolvem habilidades em leitura, escuta (post em inglês), fala (post em inglês) e escrita (post em inglês) usando o aplicativo Duolingo. Também planejamos e desenvolvemos cursos para ter o máximo impacto nos resultados da aprendizagem. Por exemplo, avaliamos se nossos métodos de ensino são científicos e baseados nas pesquisas mais recentes, se o conteúdo do nosso curso é de alta qualidade e se nossos modelos de IA são poderosos o suficiente para oferecer um aprendizado personalizado (post em inglês) que adapta as aulas ao nível atual de cada aluno e continua a se adaptar à medida que melhoram.
3. Os alunos são capazes de usar o que aprendem no curso para comunicação na vida real?
Para a maioria dos alunos, acertar tudo no aplicativo não é o objetivo final do aprendizado. Os alunos querem usar seu novo idioma no mundo, em atividades da vida real! Esta parte da estrutura se concentra na prática e aborda o quanto os alunos são capazes de transferir o que aprendem no Duolingo para outros contextos de aprendizagem ou cenários da vida real.
Para responder a essa pergunta, conduzimos estudos de pesquisa usando testes e tarefas simuladas que se concentram no desempenho de um aprendiz, ou em como ele usa a linguagem em situações realistas. Por exemplo, se a motivação de um aluno é viajar, ele é capaz de realizar tarefas relacionadas a viagens (por exemplo, reservar passagens aéreas, fazer check-in em um hotel) com o idioma que aprende no Duolingo?
4. Os alunos atingem o nível pretendido de proficiência como resultado da aprendizagem?
Todas essas perguntas nos ajudam a avaliar o processo de aprendizagem, mas os objetivos dos alunos com o idioma também são importantes! Em última análise, queremos que nossos alunos atinjam o nível pretendido de proficiência. Os cursos do Duolingo estão alinhados ao Quadro Europeu Comum de Referência (CEFR na sigla em inglês), um padrão internacional de proficiência em idiomas que define metas de aprendizado para alunos Básicos (A1 e A2), Independentes (B1 e B2) e Proficientes (C1 e C2), portanto, cada seção de nossos cursos tem uma meta de proficiência pretendida. Por exemplo, quando os alunos terminam o conteúdo A2 no Duolingo, esperamos que eles atinjam o nível de proficiência A2.
Para responder a essa pergunta, avaliamos as habilidades linguísticas dos alunos com testes de proficiência padronizados e interpretamos suas pontuações com base em escalas de proficiência estabelecidas. Fazemos isso realizando estudos de pesquisa com alunos em diferentes pontos do curso e fazendo com que eles realizem testes de linguagem independentes para avaliar sua habilidade linguística. Assim que os alunos atingirem os níveis de proficiência desejados, eles poderão alcançar seus próprios objetivos de aprendizado de idiomas, que podem incluir passar em um teste de imigração, assistir a filmes originais nos novos idiomas, cumprir os requisitos de idioma para programas acadêmicos, viajar para países-alvo, conseguir um emprego corporativo e muito mais!
Impulsionados pela eficácia
Essa estrutura de eficácia em quatro partes representa a missão do Duolingo de fornecer a melhor educação do mundo. No Duolingo, nossa pesquisa de eficácia responde a perguntas como: qual a eficácia de nossos cursos, em quais áreas e níveis ensinamos melhor e onde podemos continuar a melhorar para ajudar nossos alunos a ter sucesso!