Kill Switch Act: é preciso uma IA menos poderosa ou mais governança nas organizações?

Artigo escrito por Andréa Paiva – Diretora de Pós-Graduação Digital na FIAP. Graduada em Tecnologia pela FATEC SP,
Doutora em Administração pela FEA-USP, Especialista em Empreendedorismo pela Babson College e em Gestão de Dados pelo MIT.

Há uma pergunta que, até pouco tempo atrás, parecia pertencer muito mais ao território da ficção científica do que ao universo da gestão: quem consegue desligar uma inteligência artificial quando ela faz algo que não deveria fazer?

A pergunta ganhou uma dimensão bastante concreta depois das discussões que tomaram conta do mundo nas últimas semanas sobre os riscos associados ao avanço acelerado da inteligência artificial e a possibilidade de sistemas de IA provocarem consequências catastróficas para a humanidade.

O que mais chama a atenção, no entanto, não é apenas o número ou a possibilidade extrema de uma IA “acabar com a humanidade”, mas o fato de que, no meio dessa discussão, aparece uma expressão que quando colocada sob a lente de governança, risco e compliance, faz muito sentido: Kill Switch Act.

A expressão aparece no contexto da discussão sobre mecanismos capazes de interromper sistemas de inteligência artificial diante de determinadas situações de risco.

E é justamente aí que, para mim, a conversa fica interessante, porque deixa de ser apenas sobre o quanto a IA pode se tornar poderosa e se torna sobre algo que faz parte da minha carreira e área de pesquisa há mais de duas décadas:

• quais são os limites
• quem define esses limites
• quem monitora o sistema
• e, principalmente: quem tem autoridade e capacidade real para intervir quando alguma coisa sai do esperado?

Eu comecei minha carreira muito próxima desse universo, trabalhando com auditoria de sistemas e passando por organizações como EY, PwC e Accenture, sempre muito ligada a risco, controles, governança e gestão, antes de migrar de forma mais intensa para educação.

Por isso, quando vejo o debate atual sobre inteligência artificial, não consigo olhar apenas para a tecnologia e para tudo aquilo que ela promete fazer; minha tendência é imediatamente pensar naquilo que vem depois da demonstração de capacidade: como isso será governado quando estiver funcionando em escala, tomando decisões, acessando dados, acionando sistemas e, cada vez mais, executando tarefas de forma autônoma?

É uma mudança importante de perspectiva.

Durante muito tempo, governar tecnologia significava, em boa medida, estabelecer controles sobre ações voluntárias (ou não) de pessoas que utilizavam sistemas. Agora estamos entrando em uma realidade na qual os próprios sistemas podem tomar decisões, executar ações e interagir com outros sistemas sem que exista necessariamente uma pessoa acompanhando cada passo.

Estamos falando de uma era agêntica, na qual agentes de IA podem não apenas responder a comandos, mas planejar, decidir, executar e, em determinados contextos, substituir atividades inteiras. E isso muda completamente a conversa sobre risco.

O Kill Switch Act e a pergunta que toda organização deveria fazer

A discussão associada ao Kill Switch Act é particularmente provocadora porque coloca em evidência uma questão muito simples: se uma inteligência artificial estiver operando de maneira inadequada, perigosa ou completamente diferente do comportamento esperado, temos condições reais de pará-la?

Parece uma pergunta óbvia, mas basta transportar essa lógica para dentro de uma empresa para perceber que ela está longe de ser trivial. São muitas perguntas que surgem e precisam de reflexão:

• Quem pode interromper um agente de IA que está tomando decisões sobre crédito?
• Quem pode bloquear um sistema que começou a gerar respostas inadequadas para clientes?
• Quem tem autoridade para suspender um modelo que está apresentando comportamentos inesperados?
• O que acontece se o agente estiver conectado a outros sistemas e uma interrupção em um ponto provocar consequências em cadeia?
• Existe um registro do que aconteceu?
• Existe alguém responsável por analisar o incidente?

E, talvez a pergunta mais importante: a organização sabe que precisa desligar antes que o problema aconteça ou só vai descobrir isso depois do primeiro incidente?

Para quem vem da área de Governança, Risco e Compliance (GRC) essas perguntas são bastante familiares. Todo controle relevante precisa ter uma regra, mas também precisa de monitoramento, responsável, critérios de exceção, evidências e capacidade de resposta.

Um controle que existe apenas no papel não é um controle efetivo. E um mecanismo de desligamento que não foi testado, que depende de uma única pessoa ou que não consegue interromper efetivamente aquilo que deveria controlar também não resolve o problema.

É por isso que, para mim, o debate sobre o Kill Switch Act é muito maior do que a existência de um suposto “botão de desligar”. O ponto central é a existência de governança sobre sistemas que começam a ganhar autonomia.

Por que o problema não é a IA ser poderosa?

Eu não acredito que a resposta para os riscos da inteligência artificial seja tornar a IA menos poderosa. Seria uma discussão bastante limitada imaginar que o caminho para reduzir riscos é simplesmente desacelerar a tecnologia ou impedir que ela evolua.

A questão é outra: quanto mais poderosa a tecnologia se torna, mais sofisticada precisa ser a nossa capacidade de governá-la.

Isso vale para qualquer tecnologia, mas ganha outra dimensão quando falamos de inteligência artificial porque estamos lidando com sistemas capazes de produzir conteúdo, analisar informações, recomendar decisões, escrever código, identificar padrões, interagir com pessoas e, agora, executar tarefas de forma cada vez mais autônoma e em uma velocidade cada vez maior.

As discussões atuais que estão acontecendo entre governo, CEOs de Big Techs e pesquisadores coloca diferentes perspectivas na mesa.

Jack Clark, cofundador da Anthropic, aparece associado à discussão sobre mecanismos de desligamento. Dario Amodei, CEO da mesma empresa, tem alertado para a velocidade com que esses sistemas estão avançando e para a necessidade de discutir segurança e regulação. Geoffrey Hinton, pesquisador e um dos nomes mais importantes da história da inteligência artificial, considera que estimativas de risco existencial não podem simplesmente ser descartadas como exagero.

Eu não acho que precisamos escolher entre “a IA vai destruir a humanidade” e “não existe motivo para preocupação”. Essa polarização é pouco útil para quem precisa tomar decisões reais dentro das organizações.

A pergunta mais produtiva é outra: qual é o nosso nível de risco aceitável e quais mecanismos precisamos construir para operar dentro dele?

Essa, para mim, é uma pergunta clássica de gestão de riscos, aplicada a uma tecnologia completamente nova. A velha e boa governança aplicada a novos cenários.

Governança não pode ser sinônimo de burocracia

Existe um risco igualmente perigoso nessa história: transformar governança em uma barreira para inovação.

Já vi isso acontecer muitas vezes com tecnologia. Quando surge uma inovação, a primeira reação de algumas organizações é criar regras, comitês, aprovações e restrições para evitar qualquer possibilidade de problema.

O resultado pode até reduzir determinado risco, mas também pode tornar a tecnologia tão difícil de utilizar que as pessoas passam a buscar caminhos paralelos, criando justamente o chamado shadow IT que a governança deveria evitar.

Com inteligência artificial, esse risco é ainda maior.

A IA já está dentro das organizações, seja oficialmente ou pela iniciativa dos próprios colaboradores. Pessoas estão usando ferramentas generativas para escrever, analisar dados, programar, criar apresentações, automatizar processos e tomar decisões. A questão, portanto, não é mais decidir se a organização vai permitir o uso de IA. A questão é como ela vai governar um fenômeno que já está acontecendo.

E governar não significa simplesmente proibir, mas, sim, estabelecer critérios claros sobre o que pode e o que não pode ser feito, quais dados podem ser utilizados, quais decisões precisam necessariamente de supervisão humana, quais modelos podem acessar determinados sistemas, riscos que exigem aprovação adicional, como incidentes serão identificados e tratados, quais evidências precisam ser preservadas e quem responde quando algo dá errado.

Isso é governança aplicada à inteligência artificial.

O humano continua sendo parte do controle

Existe uma contradição interessante nesse debate: quanto mais autônoma a IA se torna, mais importante fica definir claramente onde o humano permanece responsável.

Não acredito em uma visão na qual o humano simplesmente desaparece do processo porque a tecnologia ficou suficientemente inteligente. Ao contrário: acredito que precisamos redesenhar o papel humano.

Se a IA assumir tarefas operacionais, podemos liberar pessoas para criatividade, resolução de problemas complexos, relacionamento, comunicação e decisões que exigem contexto, julgamento e responsabilidade. Mas isso só acontece se a organização souber diferenciar aquilo que pode ser delegado daquilo que precisa continuar sob supervisão humana.

É por isso que venho defendendo tanto a importância do Letramento Digital e de competências humanas no mundo da IA. Não basta saber usar uma ferramenta. Precisamos entender minimamente como ela funciona, quais são seus limites, quais riscos produz, quais decisões podem ser delegadas e quais não podem independente da área em que você atua no mercado.

E, principalmente, precisamos saber fazer perguntas melhores. Porque talvez o maior risco da inteligência artificial não seja ela tomar decisões sem humanos, mas humanos delegarem decisões sem perceber que estão delegando responsabilidade junto.

Governar a IA é decidir antes da crise

Talvez essa seja a principal lição que podemos tirar de toda essa discussão.

Governança não existe para prever exatamente tudo aquilo que vai acontecer. Ela existe para preparar a organização para aquilo que pode acontecer.

Sabemos que não existe risco zero. O objetivo é compreender os riscos, definir o apetite, estabelecer controles proporcionais, monitorar indicadores, preparar respostas e deixar claras as responsabilidades. Com inteligência artificial, a lógica não deveria ser diferente.

Precisamos discutir governança antes de colocar agentes de IA para operar processos críticos. Precisamos definir limites antes de conceder permissões. Precisamos estabelecer mecanismos de supervisão antes de delegar decisões. Precisamos testar mecanismos de interrupção antes de precisar deles. E precisamos discutir isso não apenas entre profissionais de tecnologia, mas também entre lideranças de negócio, jurídico, segurança, compliance, risco, recursos humanos e, principalmente, aqueles que serão responsáveis pelas decisões tomadas com apoio desses sistemas.

Porque o debate sobre inteligência artificial não é mais exclusivamente tecnológico: é estratégico. Econômico, regulatório e é ético.

E é, cada vez mais, um debate de governança.

Talvez por isso a expressão Kill Switch Act seja tão provocadora. Ela nos força a pensar em uma pergunta extremamente simples diante de uma tecnologia cada vez mais complexa: se amanhã um sistema de IA tomar uma decisão que ninguém esperava, sua organização sabe quem pode pará-lo, em quais circunstâncias, quem precisa ser avisado e quem vai responder pelo que aconteceu?

Porque a questão não é se a IA será poderosa. A questão é se nós seremos capazes de governar o poder que estamos colocando nas mãos dela.

___________

Autora: Andréa Paiva – Diretora de Pós-Graduação Digital na Fiap (Grupo Alura + FIAP + PM3 + StartSe), onde lidera o desenvolvimento de soluções educacionais que integram teoria e prática, com foco em impacto real na formação profissional. É graduada em Tecnologia pela FATEC SP, Doutora em Administração pela FEA-USP, Especialista em Empreendedorismo pela Babson College e em Gestão de Dados pelo MIT. Possui mais de 20 anos de experiência no ensino superior e atuação em projetos estratégicos em EY, PwC e Accenture. É voluntária no MCIO, como mentora de executivas em transição de carreira, colunista do AI Business Journal e host do The EdUP Experience Podcast, debatendo inovação e futuro da educação. LinkedIn | E-Mail