Você é daqueles que pede qualquer coisa ao ChatGPT? A popularidade do chatbot de conversação por IA faz com que ele ajude em diversas tarefas. Inclusive sendo voluntário em estudos científicos.
Prova disso é uma nova pesquisa feita por pesquisadores da Universidade de Cambridge, na Inglaterra. Quem assina a pesquisa, publicada em 17 de setembro na revista International Journal of Mathematical Education in Science and Technology são Nadav Marco, pesquisador visitante da Universidade de Cambridge, e Andreas Stylianides, Professor de Educação Matemática em Cambridge.
O experimento em questão remonta o ano 385 d.C, e se fez por ninguém menos do que Platão – grego que, além de um dos maiores filósofos da história, também era um exímio matemático.
Platão começa criando uma cena em que outro filósofo grego, Sócrates, está ensinando um menino que não domina matemática. Ele pede para que o menino dobre a área de um quadrado. A primeira reação da criança é multiplicar por dois o comprimento de cada lado – uma ação que não traz a resposta correta. Sócrates, no fim, faz o aluno reconhecer o erro e entender que os lados do quadrado que ele está buscando devem ter o mesmo comprimento que a diagonal do quadrado original.
O problema narrado acima é tido como um dos primeiros exemplos registrados de um educador ensinando matemática. A intenção do teste era entender se a IA iria se basear apenas em seu conhecimento para resolver o problema. Ou se tentaria se adaptar às circunstâncias e desenvolveria novas soluções se adaptando à complexidade da demanda.
Como o ChatGPT respondeu o problema?
De início, os pesquisadores introduziram ao problema à Inteligência Artificial com as perguntas exatas que Platão fez. Depois, de forma proposital, começaram a incluir erros e a tentar novas variantes do problema. Tudo para ver o “jogo de cintura” do ChatGPT, e sua capacidade de simular o processo de aprendizado de um aluno de carne o osso.
Por ser uma IA, o ChatGPT não cria nenhuma informação. Ainda que embale suas respostas de uma forma acessível a um humano, tudo que a ferramenta faz é revirar seu vasto acervo de informações, que adquiriu enquanto era treinado, até encontrar a melhor resposta possível.
Dessa forma, os pesquisadores esperavam que o chatbot se limitasse a repetir o que sabia sobre a solução do famoso problema de Sócrates. Mas não foi o que aconteceu: solicitado a dobrar o quadrado, o ChatGPT, em vez de usar a geometria, como um grego antigo faria, optou por uma abordagem algébrica, desconhecida na época de Platão. Ou seja: ele recorreu à melhor forma possível para resolver à tarefa em vez de ser 100% fiel ao comando.
Em comunicado, pesquisadores explicam que o ChatGPT resistiu às tentativas dos pesquisadores de fazê-lo cometer o erro do menino. Isso só mudou quando a dupla de cientistas lhes disse que estavam decepcionados por, apesar de todo o seu treinamento, ele não conseguir fornecer uma resposta “elegante e exata”. Daí, a IA produziu a alternativa geométrica.
“Quando enfrentamos um novo problema, nosso instinto geralmente é testar soluções com base em nossa experiência passada”, disse Marco, em comunicado. “Em nosso experimento, o ChatGPT pareceu fazer algo semelhante. Como um aluno ou acadêmico, ele pareceu apresentar suas próprias hipóteses e soluções.”
Variantes do problema
No mesmo estudo, os pesquisadores também propuseram uma variante do problema de Platão. Pediram ao ChatGPT que dobrasse uma área de um retângulo, mantendo suas proporções. Mesmo sabendo da preferência dos pesquisadores por uma resposta baseada em geometria, o chatbot seguiu apelando à álgebra. Quando pressionado, alegou de forma equivocada que, como a diagonal de um retângulo não pode ser usada para dobrar seu tamanho, não existia uma solução geométrica.
Como pontua o comunicado, a questão sobre a diagonal é verdadeira, mas existe uma solução geométrica diferente. Os autores sugerem que a chance dessa afirmação falsa ter vindo da base de dados era “muito pequena”. Em vez disso, o chat parecia estar improvisando suas respostas com base na discussão anterior sobre o quadrado. Assim como um estudante que não sabe resolver um problema faria, colocando a culpa no enunciado, em vez de assumir sua falta de conhecimento.
Finalmente, os pesquisadores pediram que ele dobrasse o tamanho de um triângulo. O chatbot voltou à álgebra mais uma vez – mas, após mais insistência, chegou a uma resposta correta. Basta pedir com jeitinho, não é mesmo, Chat?