As fábulas em que uma pessoa encontra um gênio que lhe dá o direito a três desejos costumam terminar da mesma forma: o terceiro desejo é usado para desfazer os anteriores. Isso porque os resultados alcançados foram diferentes dos inicialmente imaginados. Um exemplo clássico é a história do rei Midas, da mitologia grega. Para saciar sua ambição por riqueza, ele desejou que tudo o que tocasse se transformasse em ouro. O objetivo inicial: enriquecer. O que ele conseguiu: transformar sua filha e todos os alimentos em ouro. Para evitar a fome e a tragédia, Midas teve de pedir ao deus Baco, que concedera o dom, que desfizesse o encanto.

• O mundo está mais complexo, mas dá para começar com o básico. Veja como, no Manual do Investidor

Para uma série de especialistas em inteligência artificial (IA), o desenvolvimento de máquinas superinteligentes capazes de cumprir objetivos complexos determinados pelo homem pode ter o fim parecido ao do rei Midas. Os softwares baseados em inteligência artificial são desenvolvidos para cumprir objetivos. Hoje, dada a limitação à tecnologia, as aplicações baseadas em IA não têm capacidade para resolver problemas complexos.

Mas, quando os cientistas criarem uma superinteligência, as máquinas terão uma capacidade de atuação muito mais ampla — aí que surgem os riscos. Um exemplo: alguém constrói uma tecnologia baseada em IA para reverter o aquecimento global. Para cumprir o objetivo, a máquina vai escolher a solução mais eficiente. E se o caminho escolhido for eliminar o maior causador do problema — o homem? Coisa de louco? Não. Esse receio é compartilhado por algumas das mentes mais brilhantes de nosso tempo, como os empresários Elon Musk e Bill Gates, o físico Stephen Hawking, morto em 2018, e acadêmicos de algumas das mais prestigiosas universidades do mundo. Um deles é o cientista da computação inglês Stuart Russell, professor na Universidade da Califórnia em Berkeley, nos Estados Unidos.

Russell é coautor do livro sobre inteligência artificial mais popular do mundo, Inteligência Artificial, usado em 1.509 universidades de 134 países. Em seu novo livro, Human Compatible: Artificial Intelligence and the Problem of Control (“Compatível com humanos: inteligência artificial e o problema do controle”, numa tradução literal), que deve ser lançado pela Companhia das Letras no segundo semestre, Russell debate os riscos existenciais da inteligência artificial e propõe um novo modelo para que a tecnologia, em vez de representar um risco à humanidade, possa, de fato, melhorar nossa vida. A seguir, trechos da entrevista concedida em trocas de e-mails.

→ A Inteligência artificial pode, realmente, ser uma ameaça aos seres humanos?

Quando falamos de desenvolver inteligência artificial, estamos falando de entregar o poder, para sempre, a entidades muito mais poderosas do que nós. Se alguém acha que é uma questão trivial, então deveria apresentar a solução e nos poupar de muitos problemas.

→ Pesquisadores sérios desprezam a analogia da inteligência artificial destruidora com os robôs da franquia de cinema O Exterminador do Futuro, que entram em guerra contra a humanidade. Fugindo dessa comparação, como a inteligência artificial poderia levar os humanos à extinção?

No meu livro mais recente, Human Compatible, o risco mais comum é o que se chama “Problema do rei Midas”. O objetivo do rei Midas, personagem da mitologia grega, era muito preciso: “Tudo o que eu tocar deve virar ouro”. Ele obteve o que pediu e sofreu por isso. Mas, no fundo, obviamente, seu real objetivo não era esse. No modelo-padrão de inteligência artificial, é exatamente isto que fazemos: construímos máquinas que são muito boas em perseguir objetivos e, em seguida, definimos objetivos que são conectados a essas máquinas. Mas não necessariamente consideramos as verdadeiras preferências e os interesses humanos. E isso pode ser um grande problema. Qualquer coisa que deixarmos de fora do objetivo será ignorada.

No mundo real, com máquinas altamente capazes, há um risco alto de perdermos o controle do processo. Máquinas inteligentes e capazes vão cumprir o objetivo que definirmos para elas — e tentativas do nosso lado de impedir o cumprimento desse objetivo, uma vez iniciado o processo, dificilmente serão bem-sucedidas, já que as máquinas serão mais capazes do que nós. Imagine que a solução ótima encontrada pela máquina para atingir um determinado objetivo envolva esgotar ou subverter algo de que precisamos, como água, comida, oxigênio, o meio ambiente ou nossa autonomia? Nós perderemos.

→ Críticos dessa ideia dizem que é muito cedo para nos preocuparmos com uma inteligência artificial capaz de nos destruir.

O momento certo para se preocupar com um problema potencialmente sério depende não apenas de quando ele ocorrerá mas de quanto tempo levará para preparar e implementar uma solução. Por exemplo, se detectássemos um grande asteroide em curso para colidir com a Terra em 2069, diríamos que é muito cedo para nos preocuparmos? Muito pelo contrário. Haveria um projeto de emergência mundial para desenvolver os meios de conter a ameaça. Seria bastante temeroso esperar até 2068 para começar a trabalhar em uma solução. De fato, a Nasa já está trabalhando com possíveis soluções, embora nenhum asteroide conhecido represente um risco significativo de impacto com a Terra nos próximos 100 anos.

→ Se não podemos dar apenas objetivos para as máquinas, como devemos projetar sistemas de IA de uma maneira que elas sejam seguras e eficientes?

Vamos começar presumindo que nós, humanos, temos preferências sobre como o futuro deve se desenrolar. Vivermos “felizes para sempre” é melhor do que morrermos em guerras, pragas ou catástrofes ambientais. Então, projetamos as máquinas de acordo com os seguintes princípios: o objetivo das máquinas é maximizar as preferências dos humanos; as máquinas sabem que não sabem quais são nossas preferências; e as escolhas que fazemos relevam informações sobre nossas preferências. Esses três princípios podem ser transformados em uma formulação matemática que chamamos jogos de assistência. É um jogo, em termos econômicos, porque envolve pelo menos duas entidades: a máquina e os humanos. As máquinas que resolvem sua metade do jogo se submeterão aos humanos. Elas agirão com cautela, evitarão mexer com partes do mundo cujo valor para os humanos é desconhecido e se permitirão ser desligadas. Sob essas suposições, tais máquinas são comprovadamente benéficas para os humanos.

→ As máquinas não seriam inteligentes o suficiente para perceber uma manipulação e se voltarem contra isso?

É o que em meu livro chamo de “princípio da brecha”: se uma máquina suficientemente inteligente tem um incentivo para criar algo, então será impossível para meros humanos tentar evitar isso escrevendo proibições sobre suas ações. Podemos observar isso nos sistemas tributários: há milhares de anos temos tentado, sem sucesso, redigir leis tributárias sem brechas. Mas uma entidade suficientemente inteligente, e com forte incentivo para evitar o pagamento de impostos, provavelmente encontrará uma forma de fazê-lo. A única maneira de fazê-lo pagar impostos é projetá-lo de forma que ele queira pagar impostos.

→ Máquinas inteligentes podem fazer isso, não?

Um sistema que busca um objetivo fixo pode antecipar uma tentativa de interferência humana no meio do processo. Por exemplo, se o humano disser: “Pare! Você está destruindo o mundo”. Em vez de dizer “desligue-me ou mude o objetivo” ou enfrentar um conflito prolongado que pode colocar em risco o cumprimento do objetivo inicial, a máquina vai fingir que está fazendo o que os humanos gostam simplesmente para nos impedir de interferir até que ela tenha poder suficiente para cumprir o objetivo a despeito da interferência humana. 

→ Como evitar esse problema?

No novo modelo que proponho, as verdadeiras preferências humanas, e não objetivos atribuí­dos equivocadamente, são primordiais. Se a máquina não está segura a respeito das preferências dos humanos, pode não ter certeza se algum plano específico é consistente com essas preferências. Então, ela vai obter essa informação perguntando se o plano está ok. Ou seja, pedindo feedbacks e confirmações. Dessa forma, vai evitar fazer algo prejudicial às verdadeiras preferências humanas. Por exemplo, ela pode perguntar: “É certo consertar o aquecimento global por meio de tal e tal método que transforma os oceanos em ácido sulfúrico?” Nós diríamos: não!

→ Em 2017, durante uma apresentação no TED, o senhor emulou um diálogo entre um assistente pessoal baseado em IA e seu dono, que precisava de uma solução para não perder seu voo. Para atender ao pedido do humano, o assistente entrou no sistema do controlador e atrasou o voo. Se trouxermos esse exemplo para o mundo real, com bilhões de pessoas, claramente o efeito seria uma catástrofe. Como impedir isso?

Se fôssemos todos 100% egoístas, seria um desastre. Mas não somos: geralmente, evitamos impor custos elevados aos outros para obtermos ganhos individuais pequenos. Para questões relevantes, como roubar e matar, temos leis. Mas, para a grande maioria das interações, confiamos na decência e consideração pelos outros para manter o mundo funcionando. O mesmo princípio deverá valer para os sistemas de IA: mesmo que sejam propriedades de indivíduos, eles precisam levar em consideração as preferências de terceiros. 

→ Quando o senhor acredita que o ser humano finalmente criará uma superinteligência artificial?

Diversos estudos mostram que pesquisadores do tema estão confiantes em que uma superinteligência artificial será criada antes do fim deste século. Muitos acreditam num prazo muito mais curto. Na minha visão, é difícil prever, já que o desenvolvimento dessas máquinas envolve muitas descobertas e invenções. No entanto, a quantidade de talentos e recursos direcionados para pesquisa na área é imensa e o incentivo financeiro, o valor do prêmio, é mensurado em quatrilhões de dólares.