The Coming Wave: Technology, power and the 21st century’s greatest dilemma

Autor: Mustafa Suleyman (com colaboração de Michael Bhaskar)

Ideias centrais:

1 – O desenvolvimento exponencial da inteligência artificial (IA) e da biotecnologia promoverão importante transformação na humanidade. Será possível criar drogas hoje consideradas milagrosas, detectar e curar doenças raras e levantar cidades sustentáveis. Mas o barateamento progressivo de soluções de IA fará a tecnologia chegar também a mãos inescrupulosas. É preciso adotar parâmetros de segurança, como o que fizemos com a energia nuclear, hoje regulada por agência internacional.

2 – Revoluções tecnológicas se dão em ondas, com tecnologias e produtos tornando-se paulatinamente acessíveis para estratos cada vez mais amplos do mercado consumidor. Essas revoluções são dificilmente contidas. No caso da IA, a revolução pode gerar um tsunami, a “próxima onda” que dá nome ao livro.

3 – IA é de longe a mais poderosa forma de tecnologia existente, dada a possibilidade de crescer exponencialmente, alimentando-se dela mesma para melhorar sua eficácia e produtividade. Trata-se, na verdade, de uma metatecnologia, pois ela muda paradigmas de outras tecnologias.

4 – O cérebro humano contém cerca de 100 bilhões de neurônios, que fazem 100 trilhões de conexões entre eles. Não houve mudanças radicais em sua estrutura ao longo dos anos. Quanto à IA, já há hoje nível de performance similar à humana em tarefas diversas. É, portanto, aceitável projetar que o sistema terá destreza ilimitada em muitos campos.

5 – Quanto ao tsunami que se avizinha, o autor arrisca alguns caminhos que ele pode tomar, como permitir a identificação de vulnerabilidades de sistemas dominantes, o que evitará ameaças como o ransomware WannaCry, que paralisou mais de 200 mil computadores em 150 países.

6 – A IA tem o potencial de desenvolver produtos que incrementarão a qualidade de vida da sociedade, mas também tem seu “lado escuro”. O governo pode controlar e vigiar cada vez mais populações com ferramentas de reconhecimento facial e armazenamento ilimitado de dados. Ao mesmo tempo, a democratização do acesso à tecnologia leva autonomia a pequenas comunidades. Mesmo sem um aparato estatal de serviços de segurança, por exemplo, moradores poderão operar drones e atuar na comunidade em seus próprios termos.

7 – A junção dos progressos em IA, robótica e biotecnologia poderá permitir que patógenos criados em garagens de indivíduos como eu ou você, não mais em laboratórios vigiados e controlados, ameacem a população mundial.

Sobre os autores:

Mustafa Suleyman nasceu em Londres e tem origem síria. Ele é cofundador e CEO da Inflection IA. Antes, cofundou a mítica DeepMind, pioneira de IA que foi vendida para o Google. Na gigante de Palo Alto, foi VP de assuntos ligados à inteligência artificial.

Michael Bhaskar é um pesquisador britânico, escritor e cofundador da Canelo Digital Publishing. Além de The Coming wave, Michael é autor de Human Frontiers e Curation.

Capítulo 1: Contenção não é possível

Revoluções tecnológicas obedecem a uma lei imutável e universal: são fruto do barateamento do que antes mostrava-se inacessível. São também agentes dessa mesma democratização. Tais revoluções vêm em ondas, que são os marcos da passagem pela Terra do Homo technologicus: nós.

Considerando que a vida da humanidade depende principalmente da interação de sistemas vivos e de nossa inteligência, e esses dois elementos passam por um momento de inovação exponencial, a próxima onda é descomunal e imprevisível.

O autor indica que o desenvolvimento atual da IA permite com acurácia reconhecer rostos e objetos, além de transcrever discursos de voz em texto e traduzi-los para outros idiomas. Sistemas de IA podem ainda produzir vozes com impressionante realismo e compor músicas sublimes.

Junto com avanços na área médica e de energia, o desenvolvimento dessa tecnologia traz, contudo, riscos consideráveis: ataques cibernéticos, guerras digitais e pandemias. É imperioso encontrar maneiras de controlar e conter a próxima onda. A tecnologia pode falhar, e isso pode tornar as sociedades ingovernáveis.

Capítulo 2: Proliferação sem fim

O autor dá contexto histórico à eclosão de “ondas” tecnológicas. Fala da evolução dos meios de transporte, desde a tração humana à célebre linha de montagem estabelecida por Henry Ford. Regride então ainda mais, ao tempo do Homo sapiens, e elenca os impactos de disrupções diferentes: os adventos das ferramentas de pedra, do fogo, da escrita, da roda e da agricultura. Essas invenções geraram outras, em reação reflexa: no caso da agricultura, que fixou o homem à terra, vieram mudanças na alimentação e o incremento de técnicas de conservação e transporte de alimentos.

Ainda que nada seja comparável em termos de rapidez de proliferação, a revolução informacional segue o mesmo comportamento das ondas pregressas: o que parecia inimaginável torna-se inevitável.

Capítulo 3: O problema da contenção

A tecnologia se desenvolve e prolifera num sistema complexo e dinâmico, que tem consequências imprevistas – e dificilmente desejadas. Alfred Nobel gostaria que os explosivos que inventou só tivessem sido utilizados na mineração e na construção de ferrovias.

Entender tecnologia, portanto, é também pensar em suas consequências, seus “efeitos vingativos”. Com a proliferação da IA, mais pessoas desfrutam dessa tecnologia, expondo-se também a seus danos potenciais. Assim, é preciso pensar na contenção.

Contenção significa poder paralisar ou mudar a direção de uma pesquisa, ou negar acesso a atores potencialmente lesivos. É preciso criar regulações, novos modelos de governança e propriedade, fazer auditoria e dar transparência ao uso da tecnologia.

Suleyman salpica novos contextos históricos para ilustrar o tema. O Império Otomano, por exemplo, tentou banir o método de impressão inventado por Gutenberg na Alemanha. Os luditas destruíram as máquinas têxteis protagonistas da Revolução Industrial do século 19. O problema é que, uma vez estabelecida, a onda tecnológica é praticamente impossível de ser contida. A natureza da tecnologia é se disseminar.

Mais recentemente, a exploração da energia nuclear revelou para os governantes o imenso potencial lesivo que tinham em mãos: a possibilidade iminente de destruir o mundo com armas atômicas. Diante disso, um tratado de não proliferação de armamentos nucleares foi assinado em 1968. Ele não impede, contudo, que vazamentos nucleares constantes e construção de bombas “sujas” aconteçam.

A tecnologia cria armas letais e destrutivas da mesma forma que desenvolve as melhores ferramentas. Elimina empregos, modos de vida, gera aquecimento global. O desafio da tecnologia hoje é contenção.

Capítulo 4: A tecnologia da inteligência

O autor compartilha um relato pessoal. Em 2012, ele presenciou um algoritmo aprender a jogar por inferência própria. O DQN (Deep Q-Network) encontrou uma estratégia de jogar Breakout, em que é necessário acomodar colunas de tijolos. “Ali estava um sistema muito simples e elegante numa estratégia que não parecia nada óbvia para muitos humanos.”

A próxima onda tecnológica reúne os domínios da IA e o da biologia sintética. Ou seja: inteligência e vida sobem ao palco principal. Não para aí. Outros desenvolvimentos desaguam na mesma corrente: computação quântica, robótica, nanotecnologia, energia limpa. Trata-se de um “supercluster”, uma explosão evolucionária.

Suleyman passa a falar da tecnologia de deep learning. Cita AlexNet, rede neural que utiliza em seu treinamento imagens como base de dados. Uma técnica chamada de retropropagação identifica erros, ajusta-os, e, mais importante, incorpora essa lógica de correção em seu código de replicação. A partir de pixels de cores, a máquina aprende sobre linhas, formas, limites, portanto sobre objetos e cenas.

Um diferencial importante do homem em relação aos outros animais é sua capacidade de projetar cenários a partir de dados do passado. Essa capacidade foi almejada por desenvolvedores do Google em seu sistema de IA. Trata-se do tão falado LLM (Large Language Models). O LLM evolui sublinhando as palavras mais importantes em uma sentença. Na montanha de frases que “ingere”, marca símbolos para encontrar essas palavras-chave.

Quanto mais informação, melhor o treinamento dos LLM. São trilhões de palavras. Toda a Wikipedia, legendas e comentários de postagens do YouTube, dezenas de milhões de e-mails, centenas de milhares de livros. O autor infere: é questão de tempo para que essas máquinas desempenhem melhor, por exemplo, do que médicos. Um desenvolvedor prevê: “Parece óbvio que todos os programas no futuro serão escritos por IA, com os desenvolvedores no máximo a supervisionar o processo.”

Capítulo 5: A tecnologia da vida

As próximas décadas poderão ser definidas pela convergência entre biologia e engenharia. O campo da bioengenharia tem um marco nos anos 1970, a partir da descoberta da estrutura do DNA. Em 1973, iniciou-se o transplante de material genético de um organismo para outro. Era o início da engenharia genética. O custo para sequenciar o genoma humano caiu um milhãode vezes em 20 anos.

Em 2012, descobriu-se que era possível editar genes de maneira análoga à programação de computador. Com a ajuda da enzima Cas9, surgiu o CRISPR. Em menos de um ano, uma planta e um rato ganharam vida. Uma startup, a Altos Labs, levantou US$ 3 bi, mais do que qualquer outra no segmento, para desenvolver tratamentos contra o envelhecimento.

O conhecimento do comportamento das proteínas, constituintes de 75% do corpo humano (sem contar os elementos líquidos), passou a ser bem mais viável. Em 2018, numa competição anual para desenvolvedores de soluções de biotecnologia, um time da DeepMind foi vitorioso, ao criar uma aplicação de IA capaz de prever o comportamento de proteínas baseado num código DNA. O diferencial não foi o conhecimento na área de biologia, mas sim em machine learning. Um momento em que IA e biotecnologia convergiram.

Capítulo 6: A onda mais ampla

Biotecnologia e IA compõem o centro da próxima onda, mas no entorno disso agregam-se outras tecnologias disruptivas, como a robótica. No campo, robôs que fazem medições acuradas de qualidade de solo, umidade e temperatura vão dominando o cenário. Em áreas urbanas, outros robôs, como o Proteus, seguram e movem caixas dos estoques da varejista digital Amazon. Na veterinária, há robôs que já praticam cirurgias em porcos e nem sempre eles estão acompanhados de humanos. A IA ajuda a cumprir a promessa feita na aurora da robótica: criar máquinas que pudessem replicar as ações físicas humanas.

Em 2019, o Google anunciou que havia alcançado a supremacia em computação quântica. Com elas é possível, por exemplo, quebrar a criptografia de todas as mensagens que trafegam pelo WhatsApp. Mais algumas décadas e talvez seja possível manipular átomos isoladamente.

Capítulo 7: Quatro recursos da próxima onda

Os quatro recursos que devem caracterizar o mundo com a vinda da próxima onda tecnológica (o desenvolvimento sem freios da IA) são assimetria, aceleração infinita, uso ubíquo e ganho de autonomia das máquinas.

Resistindo a um exército invasor muito mais forte, a Ucrânia vem mostrando ao mundo aplicações tecnológicas oriundas da IA: drones, satélites de precisão e soluções de machine learning que identificam alvos e monitoram táticas do inimigo. Essa possibilidade de explorar as vulnerabilidades de forças desproporcionalmente maiores é o que Suleyman chama de assimetria.

Drones utilizados pelo Exército americano podem ser comprados hoje por pouco mais de US$ 1 mil. Há outros exemplos: um patógeno produzido voluntariamente (ou não) pode deflagrar uma pandemia; um computador quântico pode quebrar a encriptação de todos os arquivos disponíveis na nuvem. Com nossos sistemas globais interligados, um determinado programa ou uma alteração genética podem desestabilizar tudo.

A identificação de compostos químicos é área onde a IA pode ser usada para o bem (remédios) e para o mal (armas químicas). Como a amônia, no começo do século. Suleyman volta a alertar para a possível perda de controle sobre a máquina que o homem criou. Cita os carros autônomos, que podem cumprir tarefas sem ação direta do condutor; e o aplicativo AlphaGo, que, desafiando o campeão mundial (humano) do antigo jogo de tabuleiro Go, fez um movimento completamente inusitado, criativo, que muito dificilmente seria realizado por humanos, que ficou conhecido como “movimento 37”.

Redes neurais movem-se na direção de mais autonomia, e já não se vislumbram claramente as razões de cada tomada de decisão de um determinado algoritmo. É um baita problema.

Capítulo 8: Incentivos imparáveis

Amplos recursos irrigam o desenvolvimento ao IA. Essa é uma decisão governamental em ao menos um caso, o da China. Xi Jinping, presidente e líder do Partido Comunista Chinês, já chamou o domínio da ciência e da tecnologia de “força produtiva número 1”. Ele definiu uma estratégia para que o país fosse líder mundial em IA em 2030.

O gap que o país tinha em pesquisa acadêmica vem sendo superado. Cientistas da cidade de Hefei dizem ter construído o processador quântico mais potente do mundo, algumas grandezas à frente do Sycamore, do Google.

As torneiras do dinheiro também estão abertas nas companhias privada. A consultoria PwC acredita que a IA irá contribuir com mais US$ 15,7 tri na economia global em 2030. Para a McKinsey, US$ 4 tri serão gerados apenas com biotecnologia daqui a seis anos.

Não há apenas dinheiro a forjar a próxima onda, há ego. Cientistas querem ser reconhecidos como pioneiros. Ou como os melhores. Ou as duas coisas. E são muito bem pagos para manter empinada essa fantasia egóica.

Capítulo 9: A grande barganha

Se a ideia de que a tecnologia sozinha possa resolver os problemas da sociedade é um disparate, igualmente não é possível tirá-la dessa promessa. A tecnologia permite o cultivo de alimentos em condições inóspitas e também detectar inundações, terremotos e incêndios florestais antes deles acontecerem. Mas ela, como já se viu, pode ser usada para fins bem mais tenebrosos. Isso em um momento em que a confiança nas democracias colapsa.

A introdução de qualquer tecnologia tem consequências políticas diretas. Ocorreu com a prensa de Gutenberg no ocaso da Idade Média e espera-se o mesmo agora da IA, da biologia sintética e do aprimoramento da robótica. A pergunta, como no samba de Gonzaguinha, insiste em voltar: quais salvaguardas estarão em cena se – e quando – tudo der errado?

Capítulo 10: Amplificadores de fragilidade

Em 12 de maio de 2017, o NHS, serviço público de saúde do Reino Unido, foi paralisado por um ataque cibernético. O ransomware que se espalhou por sistemas de computadores de diversos hospitais e instituições chamava-se WannaCry. O alvo não era, contudo, apenas o NHS, mas empresas como FedEx e Hitachi e instituições governamentais de vários países. O alcance do ataque: 150 países e prejuízo de US$ 8 bi. Rastreando a origem do WannaCry, chegou-se à agência de segurança dos Estados Unidos.

Trata-se de uma parábola perfeita: softwares criados pela mais sofisticada agência de segurança do mundo são vazados ou roubados. E usados contra os principais tecidos do estado. A assimetria de que fala Suleyman em ação.

Com a IA, o vírus WannaCry poderia aprender continuamente com a vulnerabilidade dos hospedeiros, explorando-as de tempos em tempos.

A próxima onda, como já se viu, irá democratizar o acesso à tecnologia. E ela pode cair em mãos perigosas. Já há robôs que se movimentam com surpreendente facilidade por qualquer terreno. Derrubados, se levantam. Podem vir a ser equipados com reconhecimento facial, capacidade de fazer sequenciamento genético e municiados com armas de fogo.

No campo do Direito, uma IA poderá escrutinar todas as infrações possíveis, e levar um concorrente à lona encontrando essas falhas. Pode ainda liderar campanhas de desinformação ou promover um boicote massivo a produtos do rival.

No campo biológico, poucas áreas são tão controversas como GOF (acrônimo em inglês para “ganho de função”), que, deliberadamente, cria patógenos mais perniciosos do que aqueles já existentes na natureza.

Por fim, há a questão do emprego. A taxa de crescimento da IA deixa claro que não há um teto à vista. Sabe-se que novas profissões e vagas surgem justamente na esteira do desenvolvimento tecnológico. O problema é que nada garante que essas vagas serão preenchidas por humanos.

Capítulo 11: O futuro das nações

O desenvolvimento da IA pode fazer com que as vulnerabilidades dos sistemas de informações dos governos sejam constantemente exploradas, em desafio à autoridade e à legitimidade dos estados incumbentes. Ao mesmo tempo, vale o oposto: estados autoritários tenderão a reforçar seus aparatos de vigilância em nível distópico.

Capturar dados de toda a população em tempo real já não é ficção. O programa “Sharp Eyes”, de reconhecimento facial, clama poder estar em 100% das vias públicas de um determinado município. Uma única província chinesa tem um banco de dados de 2,5 bilhões de rostos. Tecnologias como essa se espalham por países como Venezuela, Equador, Etiópia e Zimbabwe.

Ao mesmo tempo em que a onda tende a promover uma hipertrofia da vigilância estatal, a democratização do acesso à tecnologia leva autonomia a pequenas comunidades. Uma “hezbolarização”, pode-se dizer, em que todos apoiam a comunidade em seus próprios termos. Mesmo sem um aparato estatal de serviços de segurança, por exemplo, será possível contar com moradores na operação de drones.

Quanto às corporações, que já desfrutam de grande poder econômico e computacional e têm acesso a dados voluntariamente ofertados por consumidores, elas podem, por sua vez, acalentar o desejo de transformarem-se em estados. Magnatas da tecnologia que celebram o estado mínimo, como o fundador do PayPal, Peter Thiel, estão exultantes há tempos.

Capítulo 12: O dilema

Esse capítulo estressar os temores do uso da IA por maus atores. Terroristas podem se servir de drones armados com reconhecimento facial e armas de fogo na caça a determinada pessoa ou a determinados perfis de pessoas. Em minutos, um ataque coordenado terá o poder de paralisar uma metrópole.

Patógenos podem também entrar na equação. Já circula um manual informal, um playbook de como agir para criar uma insurreição. Deep fake e desinformação serão, obviamente, protagonistas disso. A ação pode ser orquestrada e envolver mais de uma cidade, simultaneamente.

Nos próximos dez anos, a IA será a grande amplificadora de força da história. “Não sabemos que falhas estão sendo introduzidas [nos modelos de IA] e quão profundas elas podem ser.”

Capítulo 13: A contenção deve ser possível

O autor diz que teve inúmeras conversas com pesquisadores e desenvolvedores sobre os perigos da IA. E que ouviu sistematicamente como resposta a isso a necessidade de regulação.

O problema é que a regulação, sozinha, é inócua. A mais ambiciosa regulação de IA dos Estados Unidos é de 2021 e há nela preocupação expressa com os riscos que a tecnologia pode vir a infligir à infraestrutura, ao transporte, à seguridade social e aos direitos humanos fundamentais.

Só que, ainda que avançada, ela padece dos problemas de qualquer regulação: ataques e judicializações, seja por sua insuficiência, seja, ao contrário, por seu amplo alcance. Além disso, o tema é inusitadamente complexo, com várias instâncias regulatórias envolvidas.

Suleyman cita a regulação de trânsito, que demanda diversas instâncias e fiscalização, e, mesmo assim, falha em prevenir mortes anuais de 1,35 milhão de pessoas. No caso da IA, o tempo para se construir uma regulação minimamente decente já não existe. A China é novamente citada como paradigma. Sua política de contenção tem “duas vias”, um caminho de restrição civil e um vale-tudo para a indústria militar.

Capítulo 14: Dez passos em direção à contenção

Suleyman apresenta dez ideias para dar alguma contenção ao desenvolvimento da IA. Segurança é a primeira delas. Segurança em IA é um campo ainda nascente, mal financiado e com carência de pesquisadores.

O segundo passo é responsabilidade, ou seja, transparência nos processos, para que eles possam ser auditados a qualquer momento. “Temos de ter completa possibilidade de verificar, em qualquer nível, a segurança, integridade e a natureza do sistema”.

Suleyman também se preocupa com pontos de estrangulamento, como a concentração de poucas empresas produzindo os insumos básicos dessa indústria: chips, armazenamento de dados e alguns minérios.

A quarta ideia se apoia nos críticos da IA. Ele quer que essas vozes sejam realmente ouvidas. Quinto passo: lucro tem de andar junto ao propósito. A ideia seguinte inclui o poder constituído, em que os governos têm de estar mais envolvidos, definindo parâmetros e aninhando potenciais capacidades.

Sétimo passo: é tempo para tratados e acordos internacionais, que têm, pelo menos, o potencial de tirar o poder hoje nas mãos das grandes corporações. Oitavo: as empresas têm de deixar de lado sua cultura de sigilo industrial. Diagnósticos de falhas de processos são ouro para o desenvolvimento da IA.

Passo 9: é preciso envolver usuários no making of da IA. Hoje, nem o presidente dos Estados Unidos, feliz ou infelizmente, tem capacidade de mudar o curso da internet. Por fim, o autor conclama a entrarmos todos na passagem estreita que ainda existe se quisermos parar o desenvolvimento sem regras da IA. Essa passagem vai se fechar muito rapidamente. É agora ou nunca.

Ficha técnica:

Título: The Coming Wave [ainda sem edição em português]

Autor: Mustafa Suleyman (com contribuição de Michael Bhaskar)

Primeira edição: Crown

Resumo: Paulo Vieira

Edição: Monica Miglio Pedrosa