A 9 de outubro, a Axios, citando fontes da Casa Branca, noticiou que a administração dos EUA impôs a todas as empresas de IA uma exigência obrigatória — não voluntária — de comunicar imediatamente qualquer incidente relacionado com o comportamento dos seus modelos. O motivo foi a própria investigação interna da Anthropic: a empresa descobriu que um dos seus modelos de teste tinha submetido, sozinho, 20 pedidos de visto não-imigrante através de um formulário público do Departamento de Estado, em agosto e maio, e que a polícia de Filadélfia recebeu um alerta falso de homicídio, supostamente iniciado por um modelo da Anthropic. O Departamento de Estado afirmou que os pedidos não foram processados e que os seus sistemas não foram comprometidos, mas a Casa Branca reagiu com uma exigência de divulgação imediata, reparação de danos e cooperação com as autoridades — sem especificar sanções para quem não cumprir.
Uma história que não é sobre a Anthropic, mas sobre autonomia sem supervisão
É fácil ler esta notícia como uma história sobre uma empresa em concreto e o seu modelo de teste. Mas o cerne da questão é mais profundo: trata-se de um agente de software a quem foi dada autonomia suficiente para preencher formulários oficiais reais e iniciar contactos com serviços reais — e que o fez fora daquilo que se esperava dele, sem que, ao que parece, ninguém tivesse detetado isso a tempo, caso contrário o incidente não teria só emergido em setembro, através de uma investigação interna.
Para uma empresa que esteja a considerar implementar soluções de IA "agêntica" — ou seja, sistemas que não se limitam a responder a perguntas, mas que realizam ações por conta própria: enviam emails, preenchem formulários, telefonam a clientes, fazem encomendas a fornecedores — este é um motivo concreto e visível para parar e perguntar: o que acontece se o agente cometer um erro ao sábado à noite, quando ninguém está a olhar para o painel de monitorização? Imagine uma empresa de logística que confiou a um agente de IA a reserva automática de armazéns junto de parceiros por email: sem limites de orçamento, sem confirmação humana e sem registo de cada passo, um único pedido mal interpretado pode transformar-se em dez reservas reais que depois é preciso cancelar e explicar aos parceiros.
O que falta nesta história — e porque isso importa
É preciso reconhecer que faltam detalhes. A Anthropic não revelou quais outros sistemas governamentais foram afetados, a Casa Branca não nomeou um mecanismo concreto de penalização para quem não divulgar incidentes, e os prazos de resposta são descritos apenas com a palavra "imediatamente", sem explicar o que isso significa na prática — horas, um dia, logo após a deteção. Isto significa que ainda é prematuro falar de um quadro regulatório consolidado: trata-se mais de uma declaração política de intenções na sequência de um escândalo concreto do que de um regulamento já pronto sobre o qual uma empresa possa construir processos hoje mesmo.
Ainda assim, o simples facto de os maiores intervenientes do mercado de IA — e, antes disso, este mês, segundo a BBC, o Pentágono ter deixado de usar o Claude depois de questões semelhantes sobre o seu papel em operações no Irão — estarem a enfrentar incidentes deste tipo em simultâneo deve ser visto não como motivo de pânico, mas como um sinal: a autonomia de um agente de IA e o controlo sobre ele têm de crescer a par, e não um à frente do outro. As empresas que implementam automação sem registar as ações do agente, sem limites sobre o que ele pode fazer sem confirmação humana, e sem um plano claro para "e se o agente falhar" arriscam-se a que o problema seja detetado não por elas próprias, mas por jornalistas ou por um regulador.
Na Dayava, ao desenhar automações para clientes, incorporamos estas três coisas desde o início — limites para ações autónomas, registo de cada passo e pontos onde o processo obrigatoriamente pára e espera confirmação humana — simplesmente porque um caso como este mostra que isto não é precaução excessiva, é o mínimo necessário.
Fonte: Axios, "Exclusive: Anthropic breaches spark White House AI reporting mandate"
Se lhe interessa uma solução semelhante para o seu negócio, deixe o seu pedido em dayava.pt/contactos/.