CNN
—
O ChatGPT é inteligente o suficiente para passar em exames de nível de pós-graduação de prestígio – embora não com notas particularmente altas.
A nova e poderosa ferramenta de chatbot de IA passou recentemente em exames de direito em quatro cursos na Universidade de Minnesota e em outro exame na Wharton School of Business da Universidade da Pensilvânia, de acordo com professores das escolas.
Para testar o quão bem o ChatGPT poderia gerar respostas em exames para os quatro cursos, professores da Faculdade de Direito da Universidade de Minnesota recentemente classificou os testes cegamente. Depois de responder a 95 questões de múltipla escolha e 12 questões dissertativas, o bot teve um desempenho médio no nível de um aluno C+, alcançando uma nota baixa, mas aprovada, em todos os quatro cursos.
O ChatGPT se saiu melhor durante um exame do curso de administração de empresas da Wharton, onde obteve nota B a B. No um papel detalhando o desempenhoChristian Terwiesch, professor de administração da Wharton, disse que o ChatGPT fez “um trabalho incrível” ao responder perguntas básicas sobre gerenciamento de operações e análise de processos, mas teve dificuldades com prompts mais avançados e cometeu “erros surpreendentes” com matemática básica.
“Esses erros podem ser enormes em magnitude”, escreveu ele.
Os resultados do teste surgem quando um número crescente de escolas e professores expressam preocupações sobre o impacto imediato do ChatGPT nos alunos e sua capacidade de trapacear nas tarefas. Alguns educadores agora estão se movendo com velocidade notável para repensar suas atribuições em resposta ao ChatGPT, mesmo que ainda não esteja claro o quão difundido é o uso da ferramenta entre os alunos e o quão prejudicial pode realmente ser para o aprendizado.
Congressista faz discurso escrito por IA
Desde que foi disponibilizado no final de novembro, o ChatGPT tem sido usado para gerar ensaios originais, histórias e letras de músicas em resposta às solicitações do usuário. Ela elaborou resumos de trabalhos de pesquisa que enganaram alguns cientistas. Alguns CEOs até o usaram para escrever e-mails ou fazer trabalhos de contabilidade.
O ChatGPT é treinado em grandes quantidades de dados online para gerar respostas aos prompts do usuário. Embora tenha ganhado força entre os usuários, também levantou algumas preocupações, inclusive sobre imprecisões e seu potencial para perpetuar preconceitos e espalhar desinformação.
Jon Choi, um dos professores de direito da Universidade de Minnesota, disse à CNN que o objetivo dos testes era explorar o potencial do ChatGPT para auxiliar os advogados em sua prática e ajudar os alunos em exames, permitidos ou não por seus professores, porque as perguntas geralmente imitar a escrita que os advogados fazem na vida real.
“O ChatGPT lutou com os componentes mais clássicos dos exames da faculdade de direito, como identificar possíveis questões legais e uma análise profunda aplicando regras legais aos fatos de um caso”, disse Choi. “Mas o ChatGPT pode ser muito útil na produção de um primeiro rascunho que um aluno pode refinar.”
Ele argumenta que a colaboração humano-IA é o caso de uso mais promissor para o ChatGPT e tecnologia semelhante.
“Meu forte palpite é que os assistentes de IA se tornarão ferramentas padrão para advogados em um futuro próximo, e as faculdades de direito devem preparar seus alunos para essa eventualidade”, disse ele. “Claro, se os professores de direito quiserem continuar a testar a simples lembrança de regras e doutrinas legais, eles precisarão colocar restrições como proibir a internet durante os exames para impor isso.”
Da mesma forma, Terwiesch, da Wharton, descobriu que o chatbot era “notavelmente bom” em modificar suas respostas em resposta a dicas humanas, como retrabalhar respostas após apontar um erro, sugerindo o potencial para as pessoas trabalharem em conjunto com a IA.
Scott Galloway sobre a ‘parte mais assustadora’ de ferramentas de IA como o ChatGPT
No curto prazo, no entanto, o desconforto permanece sobre se e como os alunos devem usar o ChatGPT. As escolas públicas de Nova York e Seattle, por exemplo, já proibiram alunos e professores de usar o ChatGPT nas redes e dispositivos do distrito.
Considerando que o ChatGPT teve um desempenho acima da média em seu exame, Terwiesch disse à CNN que concorda que restrições devem ser impostas aos alunos enquanto eles estão fazendo os testes.
“As proibições são necessárias”, disse ele. “Afinal, quando você dá um diploma a um médico, você quer que ele saiba medicina, não como usar um bot. O mesmo vale para outras certificações de habilidades, incluindo direito e negócios.”
Mas Terwiesch acredita que essa tecnologia ainda tem um lugar na sala de aula. “Se tudo o que conseguirmos for o mesmo sistema educacional de antes, desperdiçamos uma oportunidade incrível que vem com o ChatGPT”, disse ele.
