Chatbots São Desafio para Saúde Mental de Crianças

Forbes, a mais conceituada revista de negócios e economia do mundo.

Com os chatbots de inteligência artificial, que ganham popularidade entre quem busca companhia na vida online, grupos de defesa de jovens estão intensificando os esforços jurídicos para proteger as crianças de relacionamentos nocivos e perigosos com criações semelhantes a seres humanos.

Os apps de chatbots como Replika e Character.AI pertencem ao mercado de acompanhantes de IA, que tem crescido rapidamente. Com os apps, usuários podem customizar seus parceiros virtuais com nuances de personalidade e se comunicar com eles, simulando um relacionamento próximo.

Desenvolvedores afirmam que os acompanhantes de IA podem ajudar a combater a solidão e melhorar as experiências sociais dos usuários em um ambiente seguro. Os grupos contrários, contudo, processaram os desenvolvedores, dizendo que os chatbots fizeram crianças ferirem elas mesmas e outras pessoas.

Matthew Bergman, fundador do Centro Legal de Vítimas das Mídias Sociais (SMVLC, na sigla em inglês), está representando as famílias em dois processos contra a startup Character.AI. Uma de suas clientes, Megan Garcia, afirmou que seu filho de 14 anos se suicidou em parte por causa de seu relacionamento romântico com um chatbot.

Em outra ação, o SMVLC está representando duas famílias do Texas que processaram a Character.AI em dezembro, alegando que o chatbot incentivou que um garoto autista de 17 anos matasse seus pais e expusesse conteúdo hiperssexualizado de uma garota de 11 anos.

Bergman afirma esperar que a ameaça de processos indenizatórios pressione as empresas pelo lado financeiro, para que desenvolvam chatbots mais seguros.

“Os custos desses aplicativos perigosos não pesam sobre as empresas. Eles pesam sobre os consumidores que são prejudicados por elas, pelos que têm de enterrar seus filhos”, acrescentou.

Bergman sustenta que tais chatbots são produtos falhos, projetados para explorar crianças imaturas. A Character.AI se recusou a discutir o tema, mas em resposta por escrito um porta-voz disse que a empresa implementou medidas de segurança, como “melhorias em nossos sistemas de detecção e intervenção para comportamento humano e respostas-modelo, além de recursos adicionais que capacitam adolescentes e seus pais”.

Como os acompanhantes feitos de IA só se tornaram populares nos últimos anos, há poucos dados para formar legislação, ou evidências mostrando que os chatbots incentivam a violência ou a automutilação.

Contudo, segundo a Associação Psicológica Norte-Americana, estudos sobre a solidão juvenil pós-pandemia sugerem que os chatbots são preparados para atrair uma grande população de menores vulneráveis.

Em carta enviada em dezembro à Comissão Federal de Comércio dos Estados Unidos, a associação escreveu: “(Não) surpreende que muitos norte-americanos, incluindo os mais jovens e vulneráveis, estejam buscando conexão social, com alguns recorrendo aos chatbots de IA para suprir essa necessidade”.

Grupos de defesa dos jovens estão tentando aproveitar o apoio bipartidário para aprovar maiores regulamentações para os chatbots.

O post Chatbots São Desafio para Saúde Mental de Crianças apareceu primeiro em Forbes Brasil.