A OpenAI anunciou na terça-feira um novo recurso, chamado de “classificador de texto AI”, que permite aos usuários verificar se um ensaio foi escrito por um humano ou AI. Mas até o OpenAI admite que é “imperfeito”.
A ferramenta, que funciona com texto gerado por IA em inglês, é alimentada por um sistema de aprendizado de máquina que recebe uma entrada e a atribui a várias categorias. Nesse caso, depois de colar um corpo de texto como uma redação escolar na nova ferramenta, ele fornecerá um dos cinco resultados possíveis, variando de “provavelmente gerado por IA” a “muito improvável”.
Lama Ahmad, diretor de pesquisa de políticas da OpenAI, disse à CNN que os educadores têm pedido um recurso do ChatGPT como esse, mas adverte que deve ser “considerado com cautela”.
“Realmente não recomendamos usar esta ferramenta isoladamente porque sabemos que ela pode estar errada e às vezes estará errada – assim como usar a IA para qualquer tipo de propósito de avaliação”, disse Ahmad. “Estamos enfatizando o quão importante é manter um ser humano informado… e que é apenas um ponto de dados entre muitos outros.”
Ahmad observa que alguns professores fizeram referência a exemplos anteriores de trabalhos de alunos e estilo de escrita para avaliar se foi escrito pelo aluno. Embora a nova ferramenta possa fornecer outro ponto de referência, Ahmad disse que “os professores precisam ter muito cuidado ao incluí-la nas decisões de desonestidade acadêmica”.
O OpenAI agora se junta a uma lista pequena, mas crescente, de esforços para ajudar os educadores a detectar quando um trabalho escrito é gerado pelo ChatGPT. Algumas empresas, como a Turnitin, estão trabalhando ativamente nas ferramentas de detecção de plágio do ChatGPT que podem ajudar os professores a identificar quando as tarefas são escritas pela ferramenta. Enquanto isso, o estudante de Princeton, Edward Tuan, disse à CNN que mais de 95.000 pessoas já experimentaram a versão beta de seu próprio recurso de detecção ChatGPT, chamado ZeroGPT, observando que tem havido “demanda incrível entre os professores” até agora.
Jan Leike — líder da equipe de alinhamento da OpenAI, que trabalha para garantir que a ferramenta de IA esteja alinhada com os valores humanos — listou várias razões pelas quais a detecção de plágio via ChatGPT pode ser um desafio. As pessoas podem editar o texto para evitar serem identificadas pela ferramenta, por exemplo. Ele também “será melhor na identificação de texto muito semelhante ao tipo de texto no qual o treinamos”.
Além disso, o companhia disse que é impossível determinar se um texto previsível – como uma lista dos primeiros 1.000 números primos – foi escrito por IA ou por um humano porque a resposta correta é sempre a mesma, de acordo com uma postagem no blog da empresa. O classificador também é “muito pouco confiável” em textos curtos abaixo de 1.000 caracteres.
Durante uma demonstração com a CNN antes do lançamento de terça-feira, o ChatGPT rotulou com sucesso vários corpos de trabalho. Um trecho do livro “Peter Pan”, por exemplo, foi considerado “improvável” de ser gerado por IA. No post do blog da empresa, no entanto, a OpenAI disse que rotulou incorretamente o texto escrito por humanos como escrito por IA em 5% das vezes.
Apesar da possibilidade de falsos positivos, Leike disse que a empresa pretende usar a ferramenta para iniciar conversas sobre alfabetização em IA e possivelmente impedir que as pessoas afirmem que o texto escrito por IA foi criado por um humano. Ele disse que a decisão de liberar o O novo recurso também decorre do debate sobre se os humanos têm o direito de saber se estão interagindo com a IA.
“Esta questão é muito maior do que o que estamos fazendo aqui; a sociedade como um todo tem que lidar com essa questão”, disse ele.
A OpenAI disse que incentiva o público em geral a compartilhar seus comentários sobre o recurso de verificação de IA. Ahmad disse que a empresa continua conversando com educadores K-12 e aqueles no nível universitário e além, como a Harvard University e a Stanford Design School.
A empresa vê seu papel como “uma educadora para os educadores”, segundo Ahmad, no sentido de que a OpenAI quer torná-los mais “conscientes sobre as tecnologias e para que podem ser usadas e para que não devem ser usadas”.
“Não somos educadores – estamos muito cientes disso – e, portanto, nossos objetivos são realmente ajudar a equipar os professores para implantar esses modelos de maneira eficaz dentro e fora da sala de aula”, disse Ahmad. “Isso significa dar a eles a linguagem para falar sobre isso, ajudá-los a entender as capacidades e as limitações e, secundariamente, por meio deles, equipar os alunos para navegar pelas complexidades que a IA já está introduzindo no mundo”.
