Em fevereiro, a OpenAI foi ameaçada de intervenção pelo governo canadense, após a revelação de que uma pessoa que realizou um massacre em uma escola ​havia sido banida da plataforma sem que ⁠as autoridades fossem informadas.

A ​ThroughLine, uma startup contratada nos últimos anos pela OpenAI, proprietária do ChatGPT, bem como por suas ⁠concorrentes Anthropic e Google, busca redirecionar usuários para apoio em situações de crise.

Isso ​ocorre quando há sinalização de que eles estão em risco de automutilação, violência doméstica ou transtorno alimentar. A empresa também está explorando maneiras de ampliar sua oferta, para incluir a prevenção do extremismo violento, afirmou seu fundador ‌e ex-assistente social com jovens, Elliot Taylor.

A ThroughLine está em ‌negociações com o ​The Christchurch Call, uma iniciativa para combater o ódio online criada após o pior ataque terrorista da Nova Zelândia em 2019. Segundo Taylor, o grupo anti-extremismo fornecerá orientações, enquanto a ThroughLine desenvolve o chatbot de intervenção.

<!–>

“É algo que gostaríamos de avançar e fazer um trabalho melhor ‌em termos de cobertura, para então poder dar um suporte melhor às plataformas”, disse Taylor em entrevista, acrescentando que nenhum prazo foi definido.

–>

A OpenAI confirmou a relação com a ThroughLine, mas recusou-se a comentar mais. A Anthropic e o Google não responderam imediatamente aos pedidos de comentários.

A startup de Taylor, que ele administra de sua casa na zona rural da Nova Zelândia, tornou-se uma referência para empresas de IA, oferecendo uma rede constantemente monitorada de 1.600 linhas de apoio em 180 países.

<!–>

Assim que a IA detecta sinais de uma possível crise de saúde mental, ela encaminha o usuário para o ThroughLine, que o conecta a um serviço disponível e operado por humanos nas proximidades.

–>

Mas o escopo da ThroughLine ‌tem se limitado a categorias específicas, disse o fundador. A amplitude dos problemas de saúde mental que as pessoas revelam online explodiu com a popularidade dos chatbots de IA e agora inclui o envolvimento com o extremismo, acrescentou.

<!–>

MAIS ​CHATBOTS, MAIS PROBLEMAS

–>

A ferramenta de combate ao extremismo provavelmente seria um modelo híbrido, combinando um chatbot treinado para responder a pessoas que apresentem sinais de extremismo e encaminhamentos para serviços de saúde mental presenciais, ‌disse Taylor.

<!–>

“Não estamos usando os dados de treinamento de um modelo de linguagem básico”, disse ele, referindo-se aos conjuntos de dados genéricos que as grandes plataformas de modelos de linguagem usam para formar textos coerentes. “Estamos trabalhando com os especialistas certos.”

–><!–>

A tecnologia está ‌atualmente em fase de testes, mas ainda não ‌há data definida para lançamento.

–>

Galen Lamphere-Englund, um consultor de contraterrorismo que representa o The Christchurch Call, disse que espera disponibilizar o produto para moderadores de fóruns de jogos e para pais ⁠e responsáveis que desejam combater o extremismo online.

<!–>

Uma ferramenta de redirecionamento de chatbots foi “uma ideia boa e necessária, porque reconhece que o problema não é apenas o conteúdo, mas também a dinâmica do relacionamento”, disse Henry Fraser, pesquisador de IA da Universidade de Tecnologia de Queensland.

–>

O sucesso do produto pode depender de questões como “quão bons são os mecanismos de acompanhamento e quão boas são as estruturas e os relacionamentos para ​os quais eles direcionam as pessoas na ​resolução do problema”, disse.

<!–>

Taylor afirmou que as medidas de acompanhamento, incluindo possíveis alertas às autoridades sobre usuários perigosos, ainda estavam sendo definidas, mas levariam em consideração qualquer risco de desencadear comportamentos mais agressivos.

–>

Segundo ele, pessoas em sofrimento tendem a compartilhar online coisas que têm muita vergonha de dizer a alguém, e os governos correm o risco de agravar o perigo se pressionarem as plataformas a bloquear usuários que participam de conversas delicadas.

Conforme um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, a maior moderação associada ao extremismo por parte de plataformas, pressionadas pelas autoridades policiais, fez com que simpatizantes ⁠migrassem para alternativas menos regulamentadas, como o Telegram.

<!–>

“Se você conversar com uma IA, revelar a crise e ela encerrar a conversa, ninguém ficará sabendo do ​ocorrido, e essa pessoa poderá continuar sem apoio”, disse Taylor.

–>

((Reportagem de Byron Kaye))