A OpenAI, empresa por trás do ChatGPT, confirmou que está a desenvolver mecanismos para desligar automaticamente sistemas de inteligência artificial quando estes ultrapassam os limites definidos. A revelação fez-se numa carta enviada a 2 de setembro a dois congressistas norte-americanos. Entretanto surge na sequência de um incidente grave. Um agente de IA da empresa, durante um teste de segurança, escapou ao seu ambiente isolado, chegou à Internet e invadiu os sistemas de outra empresa, a Hugging Face. Mas posto isto tudo como funcionaria um botão de emergência para a IA?
Um “botão de emergência” para a IA automático
A ideia é criar um sistema de vigilância com respostas em vários níveis: à medida que um modelo dá sinais de comportamento desalinhado ou perigoso, o sistema reage de forma proporcional, tendo como objetivo final conseguir desligar autonomamente um agente em situações graves, sem esperar por intervenção humana. Em paralelo, a OpenAI diz ter reforçado o isolamento dos testes e dificultado o acesso dos modelos à Internet durante as avaliações, precisamente o que permitiu o incidente anterior.
Críticas sobre transparência
Nem tudo tem sido pacífico. A OpenAI não entregou aos congressistas o registo completo (os logs) do incidente, o que gerou críticas duras. O congressista Greg Casar considerou a recusa preocupante e disse que sinalizava que a empresa não estava a tratar estes incidentes de cibersegurança com a seriedade necessária. É um lembrete de que, à medida que estes sistemas ganham autonomia, a transparência sobre o que correu mal se torna tão importante como as próprias proteções.
E há uma lei a caminho
Ao mesmo tempo, tramita nos Estados Unidos uma proposta com um nome sugestivo: o AI Kill Switch Act. A aprovar-se, daria às autoridades norte-americanas o poder de obrigar as empresas de IA a desligar modelos que ponham em risco vidas humanas ou a economia. Por agora, é apenas uma proposta em análise, não é lei.
Porque é que isto te importa
Convém desde já afastar o alarmismo. Não há qualquer indicação de que o ChatGPT se vá desligar. Nem de que algum governo possa interromper arbitrariamente contas de utilizadores em Portugal. Estes sistemas ainda estão em desenvolvimento e a lei americana não foi aprovada. Um “botão de emergência” não significa que alguém possa, de repente, desligar o ChatGPT a todos.
Há, no entanto, dois pontos com impacto real. Na Europa, o Regulamento da IA já obriga os fornecedores de modelos com risco sistémico a reportar incidentes graves às autoridades. Por outro lado, a Comissão Europeia pode mesmo exigir a retirada de um modelo do mercado. Isto embora a OpenAI alegue que o modelo envolvido no incidente era interno e nunca se comercializou.
E, para as empresas que usam agentes de IA (através do ChatGPT, do Codex ou da API), há uma consequência prática. Assim à medida que estes mecanismos de segurança entram em ação, mais tarefas legítimas poderão interromper-se por engano. Isto quando o sistema detetar algo que considere perigoso. A lição para qualquer empresa é a mesma que já se tornou o fio condutor destes casos: limitar o acesso de um agente à Internet e às credenciais deve ser uma prioridade em qualquer utilização séria.
