The Loop – How Technology is creating a world without choices and how to fight back

Autor: Jacob Ward

Ideias centrais:

1 – A humanidade desenvolve sistemas de inteligência artificial (IA) que têm a capacidade de reescrever o comportamento das pessoas e fazer com que esse novo conjunto de atitudes se torne natural, com impacto nas novas gerações.

2 – Tecnologias de IA atuam sobre as vulnerabilidades humanas e ameaçam criar um mundo onde as decisões pessoais se estreitam e a intervenção voluntária é limitada.

3 – Por razões evolucionárias, a mente humana toma decisões rápidas e repetitivas sem o uso do aparato de escrutínio lógico. Esses atalhos inconscientes tornam-se padrões de entendimento que são então explorados pelas empresas de tecnologia com o objetivo de lucro.

4 – Preferências pessoais, como as estéticas, se unem a vieses cognitivos, preconceitos e vícios que influenciam o processo de machine learning. Essas preferências se tornam padrões comuns de softwares de IA. O arco é extenso: de músicas sugeridas para os usuários de apps como Spotify à propaganda política recebida intensamente em redes sociais.

5 – A IA já é utilizada amplamente nos mais variados setores da sociedade: da mediação de divórcios a softwares que indicam para forças de segurança os locais mais prováveis para ações criminosas; na criação de obras de arte como pinturas e sinfonias; na determinação do valor de apólices de seguros. Tudo isso ajuda a realimentar discrepâncias e distorções e incrementar desigualdades sociais e raciais.

6 – O “loop” (circuito) que dá nome ao livro refere-se a um sistema criado pela tecnologia que tende, na visão do autor, a prender as pessoas numa espécie de ciclo de obediência voluntária permanente. Ao final, vemo-nos impossibilitados de tomar decisões corriqueiras ou até mesmo de travar conversações.

Sobre o autor:

Repórter especializado em tecnologia, Jacob Ward é americano e trabalha na rede de televisão NBC, tendo sido correspondente da Al Jazeera nos Estados Unidos e atuado em outras emissoras. No jornalismo impresso, passou por National Geographic e Popular Science, entre outras publicações. É coautor de Histories of Technology, the Environment, and Modern Britain.

Introdução

A partir de uma metáfora relacionada à atividade espacial, o autor diz que estamos “reformatando” nosso próprio comportamento e deixando-o como legado para a posteridade. O padrão tende a se perpetuar por gerações – é o “loop” (circuito) de que fala o livro.

Ward decompõe esse circuito. O mais central é o do comportamento atávico, fruto do desenvolvimento evolucionário humano, processo que refinou nossas tendências naturais de operar no “piloto automático”. Essa tendência preserva os vieses cognitivos e a inabilidade de calcular riscos.

O segundo circuito é o da ação das forças modernas da sociedade – consumo, política, marketing –, que se servem dos padrões de comportamento descritos no primeiro circuito. Esses padrões nos são devolvidos sob a forma de estímulos ao vício (tabagismo, jogo) e de racismo estrutural, que é agora aplicado a áreas como o mercado imobiliário.

O terceiro e último circuito é distópico, pois ele incorpora o movimento anterior e faz com que, em algum momento, percamos a consciência de nossas decisões, que são transferidas para algoritmos. O autor acredita ser possível interromper o ciclo que pode nos transformar em “espécies diferentes”, mais “distraídos, obedientes e incapazes de resistir às tecnologias que tomam decisões por nós”, caso reconheçamos os antigos vieses e os novos padrões que passaram a controlar nossas vidas.

Capítulo 1 – The reality gap

A partir de ideias do psiquiatra austríaco Otto Potzl, de atuação na primeira metade do século 20, Ward infere que a realidade não é muito mais do que a “mais simples história” que nossos cérebros conseguem destilar de um jorro espetacular de informação sensorial. Potzl abriu a picada para o campo de estudos que hoje é conhecido por nomes como ciência da decisão e heurística.

Acreditamos na história que nosso cérebro nos conta porque achamos que é a única existente. Ward joga mais algumas camadas de descobertas científicas sobre a premissa, como a de que não ouvimos todos os estímulos sonoros que nos cercam, portanto o cérebro usa parte deles para criar sua própria “trilha sonora”. Para poupar tempo e principalmente energia, processo que vem desde o tempo da vida nas cavernas, outros estímulos como a linguagem corporal do interlocutor são usados no processo de assimilação/construção de realidade.

O que as empresas fazem é investir no “código inconsciente” com o qual tomamos decisões, para capitalizar.

Capítulo 2 – Illusions

O autor volta, como fará reiteradamente ao longo do livro, a deixar claro seu objetivo: alertar para as forças negociais e culturais que nos convencem a terceirizar decisões – ainda que imaginemos ser senhores máximos delas. Em seguida, dá mais mostras da nossa tendência de tomar o todo pela parte ou, em suas palavras, de como julgamos prováveis eventos improváveis, para isso, basta tê-los vividos intensamente alguma vez.

A cadeia de erros se avoluma quando, mesmo diante de evidências em contrário, nos fixamos em nossas ideias iniciais: a acurácia, pode-se dizer, malversando Descartes, é muito mal distribuída. A situação toda se complica quando emoções são mobilizadas. Nossos cérebros, conclui o autor, são máquinas afeitas a pegar atalhos, “desesperadas para se livrar de missões cognitivas exigentes”.

Capítulo 3 – Two systems

Um desafio de robótica em 2013 mostra quão difícil é, para os robôs, realizar movimentos que são banais para humanos, como apoiar o pé no degrau de uma escada. O exemplo ilustra a diferença dos dois sistemas que atuam em nosso cérebro, um deles inconsciente, outro consciente. O sistema 1, automático, utiliza pouca capacidade, pode-se dizer, computacional; o 2, de inteligência analítica, é acionado em considerações racionais, criativas e cuidadosas. O primeiro sistema demanda pouca energia, é o que nos faz subir a escada. O segundo é mobilizado no momento em que, já tendo subido a escada, nos perguntamos: “O que faço agora?”.

O que papers e trabalhos científicos arrolados por Ward mostram é que erros cometidos pelo sistema 1 não são corrigidos pelo sistema 2. A ideia de um deus-arquiteto, um criador genial por trás da raça humana, parece seriamente comprometida com isso, até entrar na conta o dado da economia de energia gerada pela dinâmica dos dois sistemas. O cérebro, sabe-se, demanda energia desproporcional para trabalhar, considerando-se seu peso.

Ao final, o autor apresenta trabalhos que deixam explícitos nossos vieses cognitivos, como quando fazemos escolhas importantes a partir de preferências visuais, como por exemplo rostos “afins” de candidatos políticos. “Trabalhamos duro para estabelecer valores escritos, sistemas abstratos de governança e cooperação (…) e para nos colocarmos acima de nossas tendências ancestrais. O problema é que a imperfeição está dentro de nossa programação e pode ser facilmente acessada sem nosso conhecimento, mesmo no momento em que criamos sistemas para combatê-la”, conclui Ward.

Capítulo 4 – Clusters

Mahzarin Banaji, professora de ética social no departamento de Psicologia da Universidade de Harvard, diz a Ward que nosso estado natural (ancestral) é “horrível”. É compreensível que nos tempos pré-históricos tenhamos desenvolvido uma tendência natural para combater o elemento forasteiro, já que tínhamos que reconhecer rapidamente o risco para reagir, era uma questão de vida ou morte. A má notícia é que vieses, preconceitos e pouca vontade com estranhos permanecem no século 21. O problema cresce quando se constata que somos influenciados por nossos sistemas inconscientes mesmo quando “exercitamos alguma racionalidade”.

O autor passeia por estudos que mostram as razões que dão coesão aos chamados “atores devotados”, grupos de pessoas que sacrificam a própria vida por seus ideais. É o caso dos guerrilheiros curdos Peshmerga, que chegam a demonstrar mais lealdade a suas abstrações do que às próprias famílias.

Avaliações técnicas das forças bélicas adversárias são deixadas de lado em nome de certo fervor religioso, como se armamentos pudessem ser derrotados pela transcendência. Ward escreve que nossa essência nos obriga a viver no primeiro “loop” – o círculo influenciado por nossas decisões inconscientes, operadas pelo sistema 1 –, mas agora nos dedicamos a criar o segundo “loop”, uma indústria de manipulação e persuasão desenhada para otimizar nossos vieses e decisões inconscientes, mantendo-nos numa trilha de consumo e obediência. É a soma de nossas vulnerabilidades com a urgência de monetizá-las.

Capítulo 5 – Guidance systems

A sociedade moderna inventa tecnologias que criam novos setores de negócio cuja riqueza dificulta a percepção do risco infligido. É o caso do cigarro, um produto que oferece uma “experiência consistente de satisfação”, segundo o autor. Como essa indústria, outras que marcam a “Era da Aceleração”, expressão criada pelo jornalista e escritor americano Thomas Friedman, têm o condão de se desenvolver livremente por gerações e gerações, sem nos darmos conta de seus riscos e passivos.

Uma outra camada de risco se junta a essa, já que as companhias refinam seu conhecimento sobre o comportamento do consumidor. Mais um problema: do ponto de vista do cliente, os efeitos coletivos dessa influência não são bem estabelecidos. O autor cita a crise dos opioides, que nos Estados Unidos tornou-se uma epidemia, criando dependência do usuário a esses potentíssimos analgésicos e ceifando vidas.

Razões evolucionárias nos fizeram atuar incentivados por recompensas e a ter enorme dificuldade em reconhecer em nós mesmos o comportamento que denunciamos no outro. Em 1969, pesquisadores já levantavam a “Hipótese Poliana”, que indica a tendência do ser humano de se lembrar muito mais das notícias e eventos positivos do que dos negativos. Uma análise feita em 2014 de 100 mil palavras em dez idiomas referendou que temos um léxico muito maior para descrever coisas positivas. Tudo isso costura a hipótese de que as pessoas têm um primeiro instinto de que não irão se viciar por possuírem uma espécie de estrutura moral maior do que os demais. Elas tendem a, emocionalmente, fazer associações positivas a um determinado item de consumo, prejudicando ou mesmo eliminando a possibilidade de um juízo mais racional.

O capítulo faz um pulo para mostrar a atuação dos grandes cassinos sobre um novo tipo de cliente, que gosta de jogos online. Eles ficam muito tempo conectados e compram recompensas. De maneira perniciosa, são descobertos pelas empresas por meio de aparatos tecnológicos e redes sociais, num processo de reconhecimento e manipulação de seus hábitos.

O cientista do comportamento Lucas Carden, do Occidental College, de Los Angeles, mostrou que os consumidores não detêm o controle de suas decisões. Jacob Ward encerra o capítulo de maneira sombria, indicando que as tendências inconscientes de todos nós vêm sendo modificadas, muitas vezes por interesses financeiros.

Capítulo 6 – Life on the rails

Ward sustenta que de forma semelhante aos influxos financeiros dos projetos governamentais durante a Guerra Fria, as companhias investem para “decidir o que fazer com nossas vidas”.

O desenvolvimento da IA mostra-se uma ameaça muito mais sutil do que a própria emergência climática, que só é de fato percebida e vivenciada pelas pessoas em grandes eventos de inundação ou incêndios. Modelos de machine learning são capazes de rapidamente detectar os gaps de comportamento humano estudados pela psicologia por décadas. Entre eles, a inclinação das pessoas a se submeter a superstições e ao pensamento mágico, mesmo reconhecendo as inconsistências lógicas disso.

Vieses, preconceitos, tribalismo, incapacidade para entender sistematizações, tudo isso entra no machine learning. A mais lucrativa classe de programas de IA é aquela que grava e processa essas tendências do comportamento humano – há mais dinheiro envolvido quando atuamos sem pensar na maneira como o fazemos.

Capítulo 7 – What AI isn’t

Ward dedica o capítulo a definições e tenta descrever a abrangência do IA. Trata-se de um sistema que, mobilizado para uma tarefa, aprende com a informação disponível e se adapta com o passar do tempo. O autor decompõe os sistemas de “entendimento” do machine learning – aprendizado supervisionado, aprendizado não supervisionado e reforçado, este último por meio de recompensas e punições.

Há dificuldades para se conhecer os passos internos do processo, que se mostra “misterioso” até mesmo para os especialistas envolvidos em sua construção. “Machine learning nos dá respostas mas não nos mostra como funciona”, escreve Ward. A razão disso, infere o autor, é trivial: é muito mais difícil construir um sistema que explique internamente seus passos do que fazê-lo sem isso.

A saída seria edificar modelos de machine learning que podem ser decompostos em partes menores e perscrutáveis, mas isso não necessariamente traria resultado final mais eficiente. Executivos de companhias que se utilizam de programas de IA interessam-se apenas pela eficiência da ferramenta. Uma pesquisa feita em 2021 com gestores do mercado financeiro de nível executivo (C-Level) mostrou que 70% deles não sabiam explicar como a ferramenta tomava decisões ou antevia resultados. A questão não os atormentava: apenas 35% deles reportaram a necessidade de trazer algum nível de transparência para o processo.

Essas verdadeiras caixas pretas geram implicações legais. “O paradigma black box permite a seus criadores lucrar sem considerar as consequências lesivas para os indivíduos afetados”, dizem Cynthia Rudin, cientista cibernética da Universidade de Duke, e Joanna Radin, socióloga e historiada da Universidade de Yale, citadas por Ward.

Além de toda a opacidade do sistema, IA toma decisões a partir de correlações de fatores que desconhecemos e é voltado para a eficiência de resultados; soma-se a isso a tendência histórica de tomarmos as coisas de maneira mais simples do que são e a crescente percepção de que as decisões humanas podem ser previstas. Com tudo isso, há certa preocupação por parte de quem está envolvido com ensinamento de comportamento humano para robôs: não apenas grande parte das decisões humanas são inconscientes e apoiadas em preconceitos, como elementos da sociedade tendem a acreditar na integridade de suas decisões normalmente apenas depois que estas são tomadas.

Capítulo 8 – Collapsing spiral

Ward se dedica a mostrar exemplos de um cenário em que caminhamos para uma redução da possibilidade de tomada de decisões voluntárias. Por exemplo, no campo da inteligência policial, reconhecimento facial e dados estatísticos de áreas de maior criminalidade podem levar à criação de “verdades” que podem justificar prisões arbitrárias. O autor entrevistou vítimas deste processo. A tecnologia de reconhecimento facial, mesmo com todos os passivos éticos reconhecidos até mesmo por desenvolvedores, já ganhou as ruas. “É o começo de como o ‘loop’ nos reprogramará a todos, e nós mal chegamos ao momento em que nosso comportamento cotidiano é escrutinado”, pontifica Ward.

Para Ward, outra demonstração de que a IA fecha o cerco sobre o arbítrio humano está na disseminação de produtos digitais na infância. Nos Estados Unidos, de 40% a 50% das crianças com menos de 5 anos já possuem seu próprio tablet ou celular e permanecem ativas nesses aparelhos por três horas diárias em média. Pedagogos mostram como tais aparatos diferem dos brinquedos e jogos tradicionais, que ajudam no desenvolvimento cognitivo. Há perda progressiva da chamada atenção diádica, que é transmitida através das gerações e que ajuda inclusive no entendimento por parte das crianças de situações de risco.

Capítulo 9 – The loop

Para benefício de alguns, parte do comportamento humano tornou-se informação: compulsões, instintos tribais, inabilidade para prever o risco, falta de planejamento. Agora, nossas escolhas, muitas delas inconscientes, fornecem material para modelos que nos dispensam de fazer, ironicamente, escolhas. A dificuldade humana de enxergar todo esse circuito e, em outra instância, o talento do capitalismo em sobreviver como se fosse uma entidade autônoma, fazem o “loop” que dá nome ao livro.

O circuito entra em ação em áreas como a arte. A editora Wattpad, por exemplo, utiliza a contribuição voluntária de escritores e leitores para, com seus algoritmos, encontrar os temas e histórias que mais são lidos e comentados por sua base de seguidores e, assim, alimentá-los continuamente. Jacob Ward se pergunta se esse modelo, em vez de encontrar escritores com base na “vox populi”, estaria apenas a edificar autores que fazem variações em torno de um mesmo velho mote.

Casos similares se observam nas artes visuais e na música, com exemplos como o TikTok, que remunera melhor e torna “blockbusters” mundiais meros dubladores. O fenômeno se desdobra para os NFTs, quando autores são valorizados por obras que prescindem de qualquer ineditismo. Sinfonias inacabadas, como a de Franz Schubert, são concluídas com auxílio de IA. “É como ter um parceiro que tem um interminável manancial de ideias, nunca se cansa, jamais se rebela e não precisa de interrupções para descansar”, diz a respeito da IA Lucas Cantor, o compositor baseado em Los Angeles responsável por concluir a sinfonia de Schubert.

Ward faz então uma ponte com outras áreas em que a reprodução de vieses que alimentam o machine learning multiplicam o “loop” e replicam esses vieses à máxima potência. Alguns dos melhores programas de reconhecimento facial, por exemplo, falharam 0,8% das vezes ao escrutinar faces de homens brancos, mas 20% no caso de mulheres negras.

Ward lamenta que um de nossos “sucessos como sociedade”, o fato de criarmos sistemas capazes de levar em conta subjetividades e diferenças, esteja a subir no telhado. O capítulo ainda coloca em cena as empresas que criaram modelos de softwares que, na área do contencioso familiar, dispensam a negociação entre as partes litigantes. O programa, que aprende com padrões de comportamento anterior, torna dispensáveis os contatos entre ex-cônjuges. Se no curto prazo gera uma espécie de economia afetiva, com o tempo tende a tornar o diálogo completamente interditado para aqueles que um dia viveram juntos ou têm filho ou filhos em comum.

Capítulo 10 – Mission critical

Programas diminuem a necessidade de que seus usuários tomem decisões – elas acabam sendo legadas ao algoritmo. É o caso de rotas de trânsito (Waze, Google Maps) e até mesmo de aparatos de defesa militar, que dispensam a ação humana no momento de disparar um míssil. Automatizar a ação militar é conveniente para o agressor não apenas por razões logísticas, mas também políticas – talvez seja necessário agora modificar as convenções multilaterais que normatizam as guerras.

Sistemas de vigilância policial, que supostamente ajudam a mapear os locais mais críticos do ponto de vista criminal, tendem a reforçar discrepâncias históricas: um deles, o PredPol, fez cidadãos negros duas vezes mais vulneráveis a seu controle do que brancos. Ward pontua ao final do capítulo que os padrões de reconhecimento da IA podem ser utilizados para deter o fluxo de custos indenizatórios que arcam sobre os governos no caso dos excessos policiais.

Capítulo 11 – Weak perfection

Ritos observados em julgamentos criminais, necessariamente lentos e mesmo cerimoniosos, têm sua razão de ser: eles ajudam promotores, defensores e magistrados a tomar decisões ponderadas, utilizando-se da tal “perfeição delicada” que dá nome ao capítulo.

Ward argumenta que outras áreas exigem esse tipo de reflexão, como na escolha de um tratamento médico invasivo ou na seleção de beneficiários de um testamento. O uso de IA pode vir a atropelar a “weak perfection”. Michele Gilman, professora de direito da Universidade de Baltimore, que durante duas décadas acionou o estado em nome de pessoas vivendo em condições indignas e que num primeiro momento tiveram suas demandas negadas, percebeu que algoritmos estavam no centro de seus processos. A professora identificou crescentes e “alarmantes camadas de opacidade” no uso do IA.

Ward escreve que, com exceção de algumas jurisdições mais progressistas como Nova York e Seattle, que requerem transparência e consulta pública para a adoção de algoritmos, agências governamentais estão ativando sistemas informatizados de decisão com rara ou nenhuma interferência pública.

Uma ironia: ferramentas de identificação de risco, desenhadas para eliminar vieses e preconceitos de julgadores e oferecer um tratamento mais justo a réus e condenados, não tiveram impacto algum na redução da população carcerária ou na diminuição da discrepância racial desse público. “Transferir decisões da esfera criminal para a IA, na suposição de que ela pode realizá-las com mais correção do que os humanos, cada vez mais tem se tornado um problema de vida ou morte”, conclui Ward.

Capítulo 12 – Higher math  

Tendo composto uma narrativa distópica em seus primeiros onze capítulos, o autor decide fechar seu livro de maneira menos apocalíptica e busca exemplos em que o IA pode ser domado e usado em favor da sociedade. Isso inclui tornar as apólices de seguro muito mais customizadas com o uso de machine learning, que encontram fatores específicos que tornam incêndios florestais e alagamentos mais prováveis em certos lotes; e oferecer esse mesmo conhecimento para ajudar proprietários a utilizar materiais de construção mais resistentes às intempéries.

A direção autônoma de veículos, ainda que tenha de lidar com questões éticas dificílimas como a decisão de lesar menos na inevitabilidade de um acidente, parece mesmo benéfica para a sociedade, já que, segundo estudo da Organização Mundial de Saúde (OMS), o condutor humano é responsável por 90% dos acidentes de trânsito.

Ward passa então a argumentar que nem sempre as decisões baseadas em dados devem se sobrepor às decisões lastreadas em argumentos. Poucas, mas extremamente dolorosas mortes de crianças, atropeladas por seus próprios pais quando estes retiravam seus carros das garagens, fizeram com que as montadoras norte-americanas fossem obrigadas a incluir câmeras de ré em seus carros. A prevenção anual desse tipo de acidente com as câmeras é baixa: 95 crianças deixaram de ser atropeladas em 2018. Mas o peso emocional do evento justificou a decisão, que jamais seria tomada se dados estatísticos tivessem proeminência.

Por fim, o autor volta a tocar a tecla da regulação, que poderia colocar rédeas na IA selvagem. Os custos da dependência de cassinos digitais, por exemplo, poderiam ser minorados se as redes sociais fossem penalizadas por ajudar a encontrar os clientes mais vulneráveis.

“Em vez de amplificar nossas dificuldades lógicas, e com isso estreitar nossa capacidade de decisão, talvez possamos usar a tecnologia para compensar nossas falhas e expandir nossas alternativas”, encerra.

Ficha técnica:

Título original: The Loop: How technology is creating a world without choices and how to fight back

Autor: Jacob Ward

Primeira edição: Hachette Books

Resenha: Paulo Vieira