Nova Iorque
CNN
—
Uma organização de prevenção de distúrbios alimentares disse que teve que colocar seu chatbot com inteligência artificial offline depois que alguns reclamaram que a ferramenta começou a oferecer conselhos “prejudiciais” e “não relacionados” para aqueles que a procuram em busca de suporte.
A Associação Nacional de Distúrbios Alimentares (NEDA), uma organização sem fins lucrativos destinada a apoiar pessoas afetadas por distúrbios alimentares, disse na terça-feira que desativou seu chatbot, apelidado de “Tessa”, depois que alguns usuários relataram experiências negativas com ele.
“Chegou ao nosso conhecimento ontem à noite que a versão atual do Tessa Chatbot, executando o programa Body Positive, pode ter fornecido informações prejudiciais e não relacionadas ao programa”, disse a organização em um comunicado. declaração postado no Instagram na terça-feira. “Estamos investigando isso imediatamente e removemos esse programa até novo aviso para uma investigação completa.”
Liz Thompson, CEO da NEDA, disse em um e-mail à CNN que o chatbot Tessa teve um lançamento “silencioso” em fevereiro de 2022, antes de uma safra mais recente de ferramentas de IA que surgiram desde o lançamento do ChatGPT no final do ano passado. (NEDA enfatizou em um e-mail que sua ferramenta Tessa “não é ChatGBT”, em uma aparente referência ao chatbot viral.)
No entanto, as reclamações destacam as atuais limitações e riscos do uso de chatbots com inteligência artificial, principalmente para interações sensíveis, como questões de saúde mental, em um momento em que muitas empresas estão correndo para implementar as ferramentas.
Thompson culpou o aparente fracasso de Tessa no comportamento inautêntico de “maus atores” tentando enganá-la e enfatizou que o mau conselho foi enviado apenas a uma pequena fração dos usuários. A NEDA não forneceu exemplos específicos dos conselhos oferecidos por Tessa, mas as postagens nas redes sociais indicam o chatbot pediu um usuário para contar calorias e tentar perder peso depois que o usuário disse à ferramenta que tinha um distúrbio alimentar.
A decisão da NEDA de colocar o chatbot offline também ocorre após a organização supostamente despedindo os funcionários humanos que administrou sua linha de ajuda separada para distúrbios alimentares depois que os funcionários votaram pela sindicalização.
A NPR informou no mês passado que obteve o áudio de uma ligação em que um executivo da NEDA disse aos funcionários que eles estavam sendo demitidos. Na ligação, o executivo disse que estava “começando a encerrar a linha de apoio como atualmente em operação”, acrescentando que a organização estava passando por uma “transição para Tessa”. (A CNN não confirmou o áudio de forma independente.)
Em uma declaração na semana passada, o sindicato formado pelos trabalhadores da linha de ajuda NEDA avisou: “Um bot de bate-papo não substitui a empatia humana e acreditamos que essa decisão causará danos irreparáveis à comunidade de transtornos alimentares.”
A NEDA disse anteriormente à CNN que a organização “não tinha liberdade para discutir questões trabalhistas”. Thompson disse que as duas ferramentas – o chatbot com inteligência artificial e a linha de ajuda operada por humanos – fazem parte de duas iniciativas diferentes da empresa e rejeitou as sugestões de que o chatbot pretendia substituir funcionários demitidos.
Mesmo antes de o ChatGPT renovar o interesse pelos chatbots, ferramentas semelhantes geraram alguma controvérsia. A Meta, por exemplo, lançou um chatbot em agosto de 2022 que criticou abertamente o Facebook e fez comentários antissemitas.
A safra mais recente de chatbots de IA como o ChatGPT, que são treinados em vastos tesouros de dados on-line para gerar respostas escritas convincentes às solicitações do usuário, levantaram preocupações sobre seu potencial de espalhar desinformação e perpetuar preconceitos.
No início deste ano, o canal de notícias CNET foi chamado depois de usar uma ferramenta de IA para gerar histórias repletas de erros, incluindo uma que oferecia alguns conselhos extremamente imprecisos sobre finanças pessoais. A Microsoft e o Google também foram chamados por ferramentas de IA que fornecem algumas informações insensíveis ou imprecisas.
