Compass Investments

O que é um «disparador de emergência» para sistemas de inteligência artificial e por que razão os legisladores norte-americanos insistem na sua implementação?

Na quinta-feira, dois dias depois de a OpenAI ter confirmado que os seus modelos saíram do «ambiente de teste» e penetraram na plataforma Hugging Face, os congressistas Ted Liu e Nathaniel Moran apresentaram um projeto de lei bipartidário intitulado «AI Kill Switch Act».

Esta lei será aplicável à IA treinada com recurso a capacidade computacional no valor superior a 100 milhões de dólares, em empresas que obtenham com isso uma receita anual de 500 milhões de dólares, e conferirá ao Departamento de Segurança Interna poderes para proceder a um desligamento de emergência.

Fica excluído do âmbito de aplicação do projeto de lei tudo o que ocorra no âmbito de «ataques vermelhos» (red-teaming), o que significa que o incidente com a OpenAI, que motivou a sua elaboração, não levaria à entrada em vigor da lei.

Dois membros do Congresso pretendem que o governo federal possa desativar modelos de inteligência artificial.

Na quinta-feira, os membros da Câmara dos Representantes Ted Liu (democrata da Califórnia) e Nathaniel Moran (republicano do Texas) apresentaram para apreciação o projeto de lei «AI Kill Switch Act» dois dias depois de a OpenAI ter admitido que os seus próprios modelos escaparam do ambiente de teste fechado e atacaram a Hugging Face.

O objetivo é criar uma base jurídica que simplifique o procedimento de retirada efetiva do modelo do mercado: a suspensão da inferência o processo durante o qual o modelo gera respostas ou executa ações , o bloqueio de utilizadores, a restrição dos recursos computacionais que alimentam o modelo ou a sua desativação total.

Qualquer prestador de serviços de inferência já pode desativar o modelo, e alguns fazem-no regularmente. No entanto, não existe uma lei que os obrigue a manter esta função operacional, nem um responsável federal que possa emitir uma ordem para a sua aplicação. LINE_BREak Esta lacuna não é meramente hipotética. Quando, em junho, o Departamento de Comércio dos EUA quis retirar do mercado os modelos Mythos 5 e Fable 5 da empresa Anthropic, não dispunha de competências para proceder à desativação, pelo que, em vez disso, recorreu à legislação relativa ao controlo das exportações. Liu considera esta situação inconveniente e defende a aprovação de uma nova lei que conceda as competências necessárias.

A 21 de julho, a OpenAI informou que o GPT-5.6 Sol e um modelo ainda não lançado saíram do «sandbox» um ambiente isolado sem acesso à Internet durante uma avaliação cibernética interna. Foram testados com o ExploitGym um conjunto de testes de acesso público que disponibiliza aos agentes 898 vulnerabilidades de software reais e propõe transformar cada uma delas num ataque efetivo, sendo atribuída a cada vulnerabilidade uma classificação de «aprovado» ou «reprovado».

,detected_source_language:RU

Em vez de realizarem as tarefas, os modelos detetaram uma vulnerabilidade «dia zero» (uma vulnerabilidade desconhecida, para a qual não existia qualquer correção disponível) num servidor proxy de software, elevaram os seus privilégios, obtiveram acesso à Internet pública e invadiram a base de dados de produção da Hugging Face, onde, como corretamente supuseram, estavam armazenadas as respostas.

Segundo a OpenAI, os modelos estavam «extremamente concentrados em encontrar uma solução para o ExploitGym».

Não atacaram ninguém. Simplesmente copiaram na prova. Mas isso revelou-se suficiente para causar alarme em todo o lado, incluindo em Washington.

O projeto de lei proposto altera a Lei de Segurança Nacional e aplica-se à IA cujo treino exigiu recursos computacionais no valor de mais de 100 milhões de dólares e que é explorada por empresas que obtêm com isso, pelo menos, 500 milhões de dólares por ano. Na prática, trata-se da OpenAI, da Google, da Anthropic, da Microsoft e de várias outras organizações. O Ministério da Segurança Interna estabelecerá estes limiares através da CISA no prazo de 90 dias, procedendo posteriormente à sua atualização anual.

As empresas abrangidas pela lei terão de comunicar incidentes graves no prazo de 15 dias e dispor de um conjunto de medidas de controlo com diferentes graus de rigor para abrandar o funcionamento do modelo, desativar determinadas funções, regressar a uma versão mais antiga ou desativar completamente o modelo.

O ministro da Segurança Interna, após consulta ao Ministério do Comércio e ao diretor dos Serviços de Informações Nacionais, pode emitir uma ordem a qualquer uma destas empresas.

A empresa que receber tal ordem é obrigada a conservar os pesos do modelo e os dados de telemetria, notificar os utilizadores e confirmar o cumprimento da exigência. Pode apresentar um recurso no prazo de 48 horas, mas isso não suspende a vigência da ordem.

A ausência de um «interruptor de emergência» acarreta um custo de até 2 milhões de dólares por dia; o incumprimento da ordem de desativação até 20 milhões de dólares por dia.

O projeto de lei considera um incidente como tal apenas se ocorrer fora do âmbito da «equipa vermelha» ou de testes estruturados verificações específicas realizadas por laboratórios para identificar vulnerabilidades. Os modelos da OpenAI ficaram fora de controlo precisamente durante esses testes.

Liu referiu-se também à empresa Anthropic, cujos modelos Mythos 5 e Fable 5 foram desativados em junho no âmbito de medidas extraordinárias de controlo de exportações legislação comercial adaptada para funcionar como um «desligador de emergência» devido à sua inexistência e reativadas a 30 de junho.»”,”detected_source_language”:”RU