Nova Ferramenta da OpenAI Enfrenta Extremismo Online

Usuários do ChatGPT que demonstrarem sinais de extremismo violento poderão ser direcionados para apoio especializado através de uma nova ferramenta em desenvolvimento na Nova Zelândia. O projeto, liderado pela startup ThroughLine, visa combinar atendimento humano e chatbots para mitigar riscos de violência.

Combate ao Extremismo Violento

A iniciativa surge em meio a crescentes preocupações sobre segurança, especialmente após um aumento no número de processos judiciais contra empresas de inteligência artificial. As alegações incluem a incapacidade de impedir ou até mesmo incentivar atos de violência. Recentemente, a OpenAI foi ameaçada de intervenção pelo governo canadense após um massacre em uma escola, onde o perpetrador foi banido da plataforma, mas as autoridades não foram notificados.

Parceria com a ThroughLine

A OpenAI confirmou a parceria com a ThroughLine, porém não detalhou o projeto. A startup, que também colabora com empresas como Anthropic e Google, pretende redirecionar usuários para apoio em crises de saúde mental, incluindo situações como automutilação, violência doméstica e transtornos alimentares.

A Inovação em Atendimento

Elliot Taylor, fundador da ThroughLine e ex-assistente social, afirmou que a empresa busca expandir o serviço para prevenir o extremismo violento. A ThroughLine atualmente está em negociações com o The Christchurch Call, uma iniciativa criada após o ataque terrorista de 2019 na Nova Zelândia que visa combater o ódio online. Taylor enfatizou a importância de trabalhar com especialistas na área.

Sistema de Encaminhamento

Quando a inteligência artificial identifica sinais de crise, o usuário é conectado à ThroughLine, que oferece acesso a serviços de saúde mental locais. Apesar de o serviço ter sido limitado a algumas categorias até o momento, ele reconhece um aumento de problemas relacionados ao extremismo à medida que o uso de chatbots cresce.

Modelo Híbrido de Intervenção

A ThroughLine está desenvolvendo sua ferramenta de combate ao extremismo com um modelo híbrido. Esse sistema irá combinar um chatbot treinado para responder a usuários com sinais de extremismo e encaminhamentos para atendimento humano.

Importância da Qualidade do Atendimento

Galen Lamphere-Englund, consultor de contraterrorismo do The Christchurch Call, acredita que a ferramenta pode ser benéfica para moderadores de fóruns de jogos e para pais preocupados com a influência negativa do extremismo online. Henry Fraser, pesquisador de IA da Universidade de Tecnologia de Queensland, destacou que, para ter sucesso, o acompanhamento e os serviços oferecidos precisam ser de alta qualidade.

Desafios e Cuidados Necessários

Taylor ainda está definindo medidas de acompanhamento, que podem incluir alertas para as autoridades, levando em consideração possíveis riscos de comportamentos agressivos. Ele ressaltou que muitos usuários que compartilham suas crises online o fazem devido à vergonha, o que pode ser agravado por ações que desestimulam a conversa em plataformas regulamentadas.

Um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, constatou que a pressão por maior moderação nas plataformas pode levar usuários a buscarem alternativas menos regulamentadas, como o Telegram. Taylor conclui que, se a IA encerrar conversas sem encaminhamentos, esses indivíduos podem permanecer sem apoio.

Com informações de: Reuters.