Autonomia em sistemas de armas: jogando com a tecnologia

Há quase oito anos, a comunidade internacional na Organização das Nações Unidas (ONU) discute as diversas questões éticas, legais e de segurança que envolvem a autonomia nos sistemas de armas. A Convenção sobre Certas Armas Convencionais (CCW), em Genebra, é o ponto focal desse intercâmbio. Desde 2017, um Grupo de Peritos Governamentais (GGE) da CCW tem estado ocupado a deliberar a estrutura e o conteúdo de um possível “quadro normativo e operacional” para a regulamentação.

Neste post, Frank Sauer – um observador de longo prazo e participante do processo CCW, bem como do debate mais amplo sobre a autonomia das armas – examina o estado atual do debate e traça um possível caminho a seguir para a discussão dentro da estrutura da CCW.

Em maio e junho de 2021, um relatório do Conselho de Segurança da ONU (S/2021/229) ganhou as manchetes em todo o mundo. Sistemas de armas autônomas letais, afirmou, atacaram combatentes em uma batalha na Líbia em 2020. Ainda não ficou claro, no entanto, se os quadricópteros descritos no relatório foram pilotados remotamente ou não; isto é, se um ser humano esteve envolvido na decisão de aplicar a força ou não, e se os humanos foram de fato alvejados ou feridos ou mortos no incidente. Mas o peculiar termo “sistemas de armas autônomas letais” (LAWS), jargão da ONU para armas capazes de selecionar e engajar alvos sem intervenção humana, voltou a aparecer nas primeiras páginas dos jornais e sites do mundo.

Embora os especialistas no assunto não tenham ficado particularmente surpresos com o evento (porque munições semelhantes às descritas no relatório estão presentes nos campos de batalha há pelo menos uma década), um público mais amplo foi levado a tomar nota do fato de que a tecnologia de armas está – e está há algum tempo – em um ponto em que a caça algorítmica, Atacar e matar pessoas não é mais coisa de ficção científica distópica. Mas o processo diplomático que examina possíveis opções para a regulamentação da autonomia de armas está acompanhando o ritmo?

Regulação da autonomia em sistemas de armas: o ponto da situação em 2021

Todo uso militar da força segue uma série de etapas, entre elas encontrar, consertar, rastrear, selecionar e engajar um alvo. Delegar as duas chamadas “funções críticas” do ciclo de segmentação – a seleção e o engajamento de alvos – de um humano para uma máquina não é tão novo quanto a história da Líbia acima poderia sugerir. Os sistemas terminais de defesa que disparam contra mísseis, foguetes ou projéteis de artilharia apresentam esse tipo de funcionalidade há décadas. Eles demonstram que a autonomia das armas não é necessariamente problemática. Na verdade, usado de forma anti-material, como é o caso na defesa contra munições que chegam, é um instrumento útil para proteger a vida humana no campo de batalha.

No entanto, há vários anos, e estimulados pela sociedade civil e cientistas preocupados, os Estados Partes na CCW vêm discutindo as implicações negativas da autonomia irrestrita de armas em outras aplicações. Isso incluiu preocupações éticas sobre os seres humanos serem despojados de sua dignidade e reduzidos a pontos de dados alimentados em uma máquina de matar algorítmica, questões legais em torno de lacunas de responsabilização e conformidade com o Direito Internacional Humanitário (DIH), bem como debates relacionados à segurança em torno da aceleração das operações de combate a um ponto em que escaladas incontroláveis na velocidade da máquina se aproximam.

A discussão do CCW progrediu em um ritmo modesto mesmo antes da atual pandemia global. Após a chegada da Covid-19, vários fóruns multilaterais conseguiram proceder de forma formal em formatos virtuais, mas a falta de consenso sobre o procedimento obrigou diplomatas e a sociedade civil do CCW a continuar seu intercâmbio informalmente online.

Um marco recente importante nessa discussão foi o CICV recomendar a adoção de uma nova regulamentação juridicamente vinculante aos Estados. Isso é notável por pelo menos três razões.

Primeiro, é bastante raro, embora não inédito, que o CICV, o guardião do DIH, recomende explicitamente a criação de um novo direito internacional. Segundo, quando o CICV faz isso, geralmente porque considera que as consequências adversas previsíveis da inação e o risco de erosão dos princípios existentes são muito grandes, sua palavra tem muito peso. Processos anteriores de controle de armas e desarmamento – como as proibições de lasers cegos ou minas terrestres antipessoal – foram muito afetados pelo posicionamento do CICV, e discussões recentes no GGE sobre LEIS sugerem um impacto semelhante. Terceiro, sem predeterminar muitos detalhes, a posição do CICV aponta para o possível conteúdo e estrutura da “estrutura normativa e operacional” que o GGE procura criar. Com o novo impulso ganho, para onde pode ir o processo de GEE, especialmente tendo em vista a próxima Conferência de Revisão da CCW (RevCon), que acontecerá em dezembro?

Concretização do “quadro normativo e operacional”: um caminho possível a seguir

Há três obstáculos principais que impedem o progresso iminente. A primeira é a relevância mal interpretada de tecnologias facilitadoras específicas. O segundo é um mal-entendido em torno do papel da chamada “definição técnica de LEIS”. A terceira e última é a discordância em relação a possíveis formas de regulação.

Como visto acima, os sistemas terminais de defesa que selecionam e engajam alvos sem intervenção humana estão em uso há décadas. Claramente, então, o aprendizado de máquina (ou o que quer que esteja atualmente em voga no amplo campo que é a inteligência artificial (IA)) não é um requisito para emprestar autonomia a um sistema de armas em suas funções críticas. A IA é um novo e poderoso facilitador, é claro. Inovações recentes, como a visão computacional, estão permitindo a aplicação da autonomia de armas em uma escala muito maior, de modo que a mira autônoma deixou suas antigas aplicações de nicho. No entanto, a discussão sobre CCW pode permanecer amplamente agnóstica em relação às características precisas das tecnologias subjacentes. Afinal, como apenas os humanos podem ser agentes morais, uma vez que as decisões jurídicas exigem julgamento humano, e como os humanos são bem adaptados para atuar como disjuntores em processos automatizados descontrolados, isso poderia muito bem tornar o elemento humano o foco do debate, em vez de perder um tempo precioso debatendo supostos níveis de sofisticação tecnológica ou tentando desnecessariamente diferenciar entre “autonomia” e “automação”. Isso está diretamente ligado à questão ainda persistente de uma definição técnica.

As lutas por definição não estão mais assolando o processo de CCW sobre LEIS tanto quanto costumavam. Mas algumas partes interessadas ainda continuam buscando a famigerada “possível definição de LEIS”, a lógica é que o controle de armas sempre requer uma categorização precisa do objeto em questão antes que qualquer ação regulatória possa ser tomada. No caso da autonomia de armas, no entanto, definir e regulamentar uma classe específica de equipamento militar não é aplicável. Quase qualquer sistema de armas atual e futuro pode concebivelmente ser dotado de autonomia em suas funções críticas, e ninguém será capaz de dizer qual é o nível de dependência de qualquer sistema em relação à entrada humana simplesmente inspecionando-o de fora. Além disso, a funcionalidade autônoma será, em muitos casos, distribuída em um sistema de arquitetura de sistemas, ou seja, independente de uma plataforma específica, e eventualmente se resumirá a nada mais do que clicar em uma caixa de seleção em uma interface de usuário.

Daí que o desafio da regulação não seja enfrentado tentando separar categoricamente “LEIS” de “não-LEIAS”. Em vez disso, o desafio é enfrentado com o desenvolvimento de uma nova norma para ajustar a interação homem-máquina no campo de batalha: quem ou o quê – humano ou máquina – deve desempenhar qual função no ciclo de mira onde e quando? Encontrar respostas diferenciadas e dependentes do contexto para essa pergunta produzirá a regulamentação desejada sobre como as tecnologias de armas autônomas são aplicadas de maneira eticamente aceitável, compatível com o DIH e prudente em termos de preservação da segurança e estabilidade internacionais. Felizmente, registaram-se progressos consideráveis este ano, também devido aos recentes documentos divulgados pelo presidente belga do GGE, que sublinharam que a questão em discussão se caracteriza melhor por perguntar quais são as circunstâncias da selecção e do empenhamento autónomos de alvos num quadro de comando e controlo humanos.

A convergência está lenta mas seguramente não ocorrendo apenas em termos de conceituação, resultando em muito menos “falar uns com os outros” no CCW. Também é observável quanto à estrutura de uma possível regulação que, potencialmente, poderia tomar forma no “quadro normativo e operacional” plenamente elaborado. Uma abordagem em duas frentes combinando proibições e regulamentos está tomando forma: primeiro, há aplicações específicas de autonomia nas funções críticas dos sistemas de armas que não são aceitáveis para muitos membros da comunidade internacional e, portanto, devem ser proibidas. Aqui, o CICV, bem como a Campanha para Parar os Robôs Assassinos e um grupo recém-formado de dez Estados na CCW destacam especialmente o alvo de seres humanos. Além disso, o CICV, assim como muitos Estados Partes, sugerem que sistemas de armas autônomas incontroláveis também devem ser descartados devido a seus efeitos potencialmente imprevisíveis ou indiscriminados no campo de batalha.

Em segundo lugar, ao aplicar a força contra perfis de alvos diferentes daqueles destinados a representar seres humanos, como vários objetos militares, a autonomia nas funções críticas é aceitável, mas requer certos limites e restrições, ou seja, obrigações positivas para reduzir os riscos éticos, salvaguardar a conformidade com o DIH e abordar as preocupações de segurança e proteção. Esses limites e restrições podem ser temporais, espaciais e, de modo geral, subsumidos à noção de que o controle humano – não importa se eventualmente caracterizado como “significativo”, “substancial” ou “eficaz” – deve ser preservado pelo projeto e no uso de um sistema de armas, mesmo e especialmente quando ele, às vezes, desempenha suas funções críticas de forma autônoma.

A CCW RevCon 2021 e além

Indiscutivelmente, uma “norma proto” branda sobre a autonomia de armas surgiu e já se consolidou socialmente. Afinal, em 2021, praticamente ninguém é capaz de contemplar e discutir a autonomia nas funções críticas de uma arma sem ser apontado para as sérias preocupações envolvidas, as cartas abertas publicadas pela comunidade científica, os debates em curso na ONU, as legislações domésticas emergentes, grandes corpos de trabalhos acadêmicos em filosofia moral, direito internacional, ciência política e assim por diante.

Por outras palavras, o debate em geral, incluindo as deliberações da ONU sobre a autonomia das armas em Genebra, percorreu um longo caminho. A conversa no CCW, em particular, tornou-se mais produtiva e construtiva recentemente, com a convergência aumentando.

Dito isso, especialmente a estrutura regulatória esboçada acima está longe de ser universalmente aceita; nem a noção de que o próximo passo deve ser codificá-lo como um instrumento juridicamente vinculativo. A última reunião do GGE, em agosto, demonstrou que pelo menos um punhado de Estados-Partes claramente não tem nada disso, sinalizando assim sua intenção de impedir que o órgão de consenso avance.

Ao mesmo tempo, a pressão sobre o CCW continua aumentando. À luz da próxima RevCon, os Estados Partes precisam produzir resultados tangíveis. Se não o fizerem, o volume de pedidos para mover o processo para outro fórum certamente aumentará. Então, o CCW teria – mais uma vez – servido apenas como uma incubadora.

É necessário um novo direito internacional vinculativo. Embora a autonomia das armas apresente oportunidades bem-vindas na otimização das defesas contra munições – protegendo a vida dos soldados – deixá-la sem controle e sem regulamentação tornará o mundo um lugar mais inseguro, incerto, instável e desumano. A tecnologia não vai esperar. É tempo de a diplomacia das Nações Unidas recuperar o atraso.

Veja também

Artigo Original