Experimento mostrou que alunos que utilizaram ChatGPT para redigir texto tiveram desempenho inferior aos que se basearam em ideias próprias

IA – Estudo conduzido por professora da Universidade de Illinois mostra que muitos estudantes utilizam IA de forma indevida e aponta possíveis efeitos negativos na aprendizagem.

Ao solicitar que seus alunos relatassem uma experiência pessoal de discriminação, Jocelyn Leitzinger percebeu um padrão curioso: muitas histórias envolviam uma personagem chamada Sally. “Estava claro que era um nome genérico usado pelo ChatGPT”, comenta a professora de Chicago. Segundo ela, os alunos “nem sequer escreviam sobre suas próprias vidas”. Leitzinger leciona disciplinas sobre negócios e sociedade na Universidade de Illinois.

LEIA: Milhões de brasileiros usam IA para fazer ‘terapia’; entenda riscos

Ela estima que cerca de metade dos seus 180 alunos recorreu ao ChatGPT de maneira inadequada durante o último semestre, inclusive em redações sobre dilemas éticos envolvendo a inteligência artificial (IA). À AFP, a professora diz não ter ficado surpresa com os dados de uma pesquisa recente que aponta menor capacidade crítica entre estudantes que utilizam ferramentas generativas de IA para produzir textos.

O estudo

A pesquisa, que ainda aguarda revisão por pares, ganhou ampla repercussão nas redes sociais e chamou a atenção de docentes que enfrentam dilemas semelhantes. Desde sua publicação no mês passado, mais de 3 mil professores entraram em contato com a equipe do Instituto de Tecnologia de Massachusetts (MIT) responsável pelo estudo, informou a principal autora, Nataliya Kosmyna.

O experimento envolveu 54 alunos da região de Boston, divididos em três grupos. Cada um deveria redigir uma redação de 20 minutos: o primeiro grupo usou o ChatGPT, o segundo, um motor de busca, e o terceiro trabalhou apenas com seus próprios conhecimentos. A equipe avaliou a atividade cerebral dos estudantes em sessões espaçadas ao longo de alguns meses, e os textos foram corrigidos por dois professores.

Os participantes que utilizaram o ChatGPT tiveram desempenho consideravelmente inferior ao grupo que escreveu com base apenas em suas ideias. Os eletroencefalogramas revelaram menor conectividade entre diferentes áreas do cérebro nesses estudantes.

Além disso, mais de 80% dos usuários da IA não conseguiam lembrar trechos do texto que acabavam de escrever — porcentagem muito superior à registrada nos outros dois grupos, onde apenas 10% apresentaram essa dificuldade. Na última sessão, os pesquisadores notaram que os usuários da IA tendiam a simplesmente copiar e colar.

Textos sem alma

Os professores responsáveis pela correção relataram que os textos escritos com apoio do ChatGPT se destacavam negativamente. Embora bem estruturados e com gramática correta, careciam de originalidade, voz própria e profundidade reflexiva. Kosmyna, no entanto, alerta contra interpretações exageradas da pesquisa, como as que afirmam que a IA estaria tornando as pessoas mais burras ou preguiçosas.

Na quarta sessão do experimento, o grupo que até então escrevera apenas com base no próprio conhecimento teve a oportunidade de usar o ChatGPT pela primeira vez. O resultado foi um nível ainda mais alto de atividade cerebral, segundo os dados coletados. Para Kosmyna, isso mostra que é cedo para conclusões definitivas a partir de uma amostra tão reduzida. Ela defende mais pesquisas sobre formas eficazes de incorporar a IA no processo de ensino-aprendizagem.

Ashley Juavinett, neurocientista da Universidade da Califórnia em San Diego, que não participou do estudo, também critica o excesso de interpretações tiradas a partir dos dados iniciais. “Este artigo não fornece evidências suficientes nem rigor metodológico para tirar conclusões sobre o impacto dos grandes modelos linguísticos no cérebro”, afirmou à AFP.

Já para Leitzinger, os resultados obtidos estão alinhados com sua percepção sobre as mudanças na produção textual dos alunos desde que o ChatGPT foi lançado, em 2022. Segundo ela, os trabalhos trazem menos erros gramaticais, mas também menos traços de autenticidade.

O surgimento da IA, frequentemente comparado à introdução das calculadoras, representa, para ela, um ponto de inflexão no ensino. Leitzinger teme que os estudantes passem a depender da IA sem antes dominar habilidades fundamentais, comprometendo uma etapa essencial da formação.

“Escrever é pensar; pensar é escrever. Se eliminamos este processo, o que resta do pensamento?”, questiona.

(Com informações O Globo)
(Foto: Reprodução/Freepik)