Resumo: Um novo estudo mostra que, ao usar ferramentas de IA como o ChatGPT, todo mundo, independente do nível de conhecimento, tende a superestimar seu desempenho. Investigadores descobriram que a síndrome conhecida como Efeito Dunning-Kruger desaparece e, além disso, usuários que entendem de IA se sentem ainda mais confiantes em suas capacidades.
O estudo sugere que o uso de IA provoca uma espécie de “descarregamento cognitivo”, onde os usuários confiam nas respostas da máquina sem pensar ou conferir. Especialistas afirmam que saber usar IA não é suficiente; as pessoas precisam de plataformas que incentivem a reflexão crítica, para conseguir perceber quando estão erradas.
Fatos principais:
- Inversão do Dunning-Kruger: Usuários com conhecimentos em IA superestimam suas habilidades mais do que os novatos ao usar o ChatGPT.
- Descarregamento Cognitivo: A maioria dos participantes usou apenas um comando e confiou nas respostas da IA, sem refletir.
- Falta de Metacognição: Ferramentas de IA atuais não ajudam os usuários a avaliar seu próprio raciocínio ou aprender com os erros.
Um estudo da Universidade Aalto indica que, ao lidar com IA, especialmente com Modelos de Linguagem Grande (LLMs), o efeito Dunning-Kruger não se mantém. Os pesquisadores descobriram que todos os usuários têm dificuldade significativa em avaliar seu desempenho ao utilizar o ChatGPT. Na verdade, em geral, as pessoas superestimaram suas habilidades.
Além disso, os pesquisadores notaram uma inversão do Efeito Dunning-Kruger: usuários que se consideravam mais informados sobre IA tendiam a achar que suas habilidades eram maiores do que realmente eram.
“Observamos que, no caso da IA, o Dunning-Kruger desaparece. O mais surpreendente é que quem tem mais conhecimento de IA apresenta mais confiança do que deveria”, diz o professor Robin Welsch. “Esperaríamos que quem entende mais sobre IA não só fizesse melhor, mas também avaliasse seu desempenho com mais precisão – mas isso não aconteceu.”
Esse achado se junta a um crescente número de estudos que indicam que confiar cegamente na saída da IA pode enfraquecer a capacidade das pessoas de encontrar informações confiáveis e até fazer com que aquelas que usam IA se tornem menos qualificadas. Embora o uso do ChatGPT melhore o desempenho geral, é preocupante que todos superestimem esse desempenho.
“A alfabetização em IA é crucial hoje em dia, e esse efeito é bem marcante. Saber usar IA pode ser técnico, mas não está ajudando as pessoas a interagir de forma mais proveitosa com esses sistemas”, complementa Welsch.
Conforme Daniela da Silva Fernandes, pesquisadora de doutorado, “as ferramentas de IA atuais não são suficientes. Elas não estão promovendo a metacognição e não estamos aprendendo com nossos erros. Precisamos criar plataformas que incentivem o nosso processo de reflexão.”
O artigo foi publicado em 27 de outubro na revista Computers in Human Behavior.
Por que um único comando não é suficiente?
Os pesquisadores realizaram dois experimentos onde cerca de 500 participantes usaram AI para resolver tarefas de raciocínio lógico inspiradas no famoso exame de admissão de escolas de direito dos EUA (LSAT). Metade do grupo utilizou IA e a outra metade não. Após cada tarefa, os participantes foram questionados sobre seu desempenho e, se acertassem, ganhariam uma recompensa extra.
“Essas tarefas exigem esforço cognitivo significativo. Agora que as pessoas usam IA no dia a dia, é comum que se use IA para resolver problemas difíceis”, explica Welsch.
Os dados mostraram que a maioria dos usuários não fez mais do que um único comando ao ChatGPT. Frequentemente, eles simplesmente copiavam a pergunta e colocavam no sistema de IA, satisfeitos com a solução apresentada, sem questionar ou verificar a resposta.
“Analisamos se as interações verdadeiramente refletiam com o sistema de IA e descobrimos que as pessoas acreditavam que a IA resolveria as questões por elas. Normalmente, havia apenas uma interação para obter os resultados, o que significa que os usuários confiavam cegamente no sistema. Chamamos isso de descarregamento cognitivo, quando a IA faz todo o processamento”, explica Welsch.
Esse tipo de interação superficial pode limitar as pistas necessárias para calibrar a confiança e permitir uma autoavaliação correta. Então, é plausível que incentivar ou exigir vários comandos possa oferecer melhores ciclos de feedback e melhorar a metacognição dos usuários.
Qual é a solução prática para usuários comuns de IA?
“AI poderia perguntar aos usuários se conseguem explicar seu raciocínio. Isso forçaria o usuário a se engajar mais com a IA, confrontar suas ilusões de conhecimento e promover o pensamento crítico”, afirma Fernandes.
Perguntas Importantes Respondidas:
P: O que os pesquisadores descobriram sobre a confiança ao usar IA?
R: Usuários com mais conhecimento sobre IA mostraram mais confiança, revertendo o efeito esperado de que menos experientes seriam mais confiantes.
P: Como isso difere do Efeito Dunning-Kruger clássico?
R: Destaca como a confiança cega na IA pode desgastar o pensamento crítico, sugerindo que precisamos de ferramentas que incentivem a reflexão e o raciocínio mais profundo.
P: Por que isso é importante para o uso de IA?
R: Todos, independente do conhecimento sobre IA, superestimaram seu desempenho, evidenciando que até usuários experientes não conseguem avaliar corretamente seu sucesso.
Sobre esta pesquisa em IA
Um estudo aprofundado sobre a interação entre humanos e IA revela que os usuários precisam refletir criticamente sobre seu desempenho. Porém, pouco se sabe sobre como os sistemas de IA afetam essas avaliações.
Em dois estudos de grande escala, investigamos como o uso de IA está associado à avaliação metacognitiva dos usuários e ao desempenho em tarefas de raciocínio lógico. O foco é entender se as pessoas usando IA conseguem monitorar com precisão seu desempenho.
No Estudo 1, 246 participantes usaram IA para resolver 20 problemas de raciocínio lógico do exame de admissão das faculdades de direito. Embora o desempenho melhorasse em relação à média, os participantes superestimaram seu resultado.
Curiosamente, quanto maior a literacia em IA, menor a precisão do julgamento metacognitivo, mostrando que quem tinha mais conhecimento técnico se sentia mais confiante, mas menos preciso em avaliar seu desempenho.
Usando um modelo computacional, analisamos diferenças individuais na precisão metacognitiva e constatamos que o Efeito Dunning-Kruger, normalmente observado, desapareceu com o uso de IA. O Estudo 2 replicou essas descobertas.
Discutimos como a IA nivelada afeta o desempenho cognitivo e metacognitivo na interação humano-IA e ponderamos as consequências da superestimação do desempenho para o design de sistemas interativos de IA que promovam a autoavaliação precisa e evitem a dependência exagerada, além de aprimorar o desempenho cognitivo.