Superinteligência

Ideias centrais: 

1- É possível que, em comparação a uma replicação força-bruta dos processos evolutivos naturais, grandes ganhos de eficiência possam ser alcançados, com a projeção de um processo de busca que tenha a inteligência como objetivo, usando várias melhorias óbvias em relação à seleção natural.

2 – Superinteligência de qualidade é um sistema que, no mínimo, é tão rápido quanto uma mente humana e qualitativamente muito mais inteligente.

3 – Os sistemas de inteligência artificial (AI, do inglês) se tornam gradualmente mais capazes e como consequência podem ser cada vez mais utilizados no mundo real (nos trens, carros, robôs etc.). Nessa ampla automatização, podem surgir acidentes ocasionais. Alguns pedem mais supervisão; outros, o desenvolvimento de sistemas melhores.

4 – Se  classificarmos uma AI como capital, então, com a invenção de uma inteligência de máquina que possa substituir integralmente a mão de obra humana, os salários se equivaleriam ao reduzido valor do custo das máquinas, bem menores que a renda necessária à subsistência humana. 

5 – A afirmação de que é preferível que uma superinteligência surja antes de outras tecnologias potencialmente perigosas, como a nanotecnologia, está baseada no fato de que uma superinteligência reduziria os riscos existenciais ligados à nanotecnologia, mas o contrário não ocorreria.

Sobre o autor: 

Nick Bostrom é um filósofo sueco, conhecido por seu trabalho sobre risco existencial, princípio antrópico, ética em aprimoramento humano, riscos de superinteligência. É professor da Filosofia&Oxford Martin School (Universidade de Oxford) e diretor do Instituto para o Futuro da Humanidade.

Capítulo 1 – Desenvolvimentos anteriores e capacidades atuais

Começamos olhando para trás. A história, na sua escala mais ampla, parece apresentar uma sequência de distintos regimes de crescimento, cada um mais rápido que o seu predecessor. Esse padrão tem sido utilizado para sugerir que outro regime de crescimento  (ainda mais rápido) pode ser possível. Entretanto, não colocamos muita ênfase nessa observação – este não é um livro que trata de “aceleração tecnológica”, “crescimento exponencial” ou sobre as muitas noções algumas vezes reunidas sob a rubrica da “singularidade”. Em seguida, repassamos a história da inteligência artificial. Mais adiante, examinamos as capacidades atuais desse campo de pesquisa. Por fim, analisamos algumas das pesquisas de opinião recentemente realizadas com especialistas e refletimos sobre desconhecimento acerca da cronologia de futuros avanços.

Agora, é importante ressaltar que a demarcação entre inteligência artificial e programas de computador em geral não é tão nítida. Algumas das aplicações listadas acima [aprovação e reprovação em cartões de crédito, ferramentas de busca etc.] podem ser vistas mais como aplicações genéricas de software do que especificamente como AI – embora isso nos traga de volta a máxima de McCarthy, de que, quando algo funciona, não é mais chamado de AI. Uma distinção mais relevante para nossos propósitos é aquela que existe entre sistemas que têm uma gama limitada de capacidade cognitiva (sejam eles chamados de “AI” ou não) e sistemas que possuem capacidade de solução de problemas de aplicação mais geral. Essencialmente, todos os sistemas atualmente em uso são do primeiro tipo: limitado.

Contudo, muitos deles possuem componentes que podem também ter participação numa inteligência artificial geral ou estar a serviço de seu desenvolvimento – componentes, tais como classificadores, algoritmos de busca, planejadores, solucionadores e estruturas representacionais.

Capítulo 2 – Caminhos para a superinteligência

As máquinas são atualmente muito inferiores aos humanos em inteligência geral. Entretanto, um dia (como já sugerimos), elas serão superinteligentes. Como faremos para, a partir do estágio atual, atingir o estágio da superinteligência das máquinas? Este capítulo explora diversos caminhos tecnológicos possíveis. Falaremos a respeito de inteligência artificial, emuladores da atividade cerebral, cognição biológica, interfaces homem-máquina e também sobre redes e organizações. Avaliaremos seus diferentes graus de possibilidade como caminhos para superinteligência. A existência de múltiplos caminhos aumenta a probabilidade de que a superinteligência seja alcançada pelo menos por um desses caminhos.

O fato é que os recursos computacionais necessários para que sejamos capazes de simplesmente replicar os processos evolutivos relevantes que produziram a inteligência de nível humano estão ainda longe de nosso alcance – e permanecerão assim, mesmo que a lei de Moore continuasse por mais um século. É possível, entretanto, que, em comparação a uma replicação força-bruta dos processos evolutivos naturais, grandes ganhos de eficiência possam ser alcançados com a projeção de um processo de busca que tenha a inteligência como objetivo, usando várias melhorias óbvias em relação à seleção natural.

Mesmo assim, é muito difícil prever a magnitude dos ganhos de eficiência de tal processo evolutivo artificial. Não somos sequer capazes de afirmar se o ganho seria de cinco ou 25 ordens de magnitude.

Capítulo 3 – Formas de superinteligência

Afinal, o que exatamente queremos dizer com o termo “superinteligência”? Embora não desejemos nos atolar em lamaçais terminológicos, algo precisa ser dito para o esclarecimento dos conceitos aqui utilizados. Este capítulo identifica três formas diferentes de superinteligência e defende que, de acordo com o que é relevante na prática, elas são equivalentes. Também será demonstrado que o potencial para a inteligência num substrato de máquina é muito maior do que num substrato biológico. As máquinas possuem uma série de vantagens fundamentais capazes de lhes proporcionar uma superioridade incrível. Os humanos biológicos, mesmo se aperfeiçoados, serão ultrapassados.

A superinteligência rápida é um intelecto exatamente igual à mente humana, porém mais rápido. Conceitualmente, é a forma de superinteligência mais fácil de ser analisada. É possível definir a superintendência rápida da seguinte forma. É
a Superintendência rápida: um sistema que pode fazer tudo o que um intelecto humano é capaz de fazer, porém muito mais rapidamente.

O exemplo mais simples da superinteligência rápida seria uma emulação completa do cérebro executada num hardware veloz. Uma emulação operando com uma velocidade 10 mil vezes maior que a de um cérebro biológico seria capaz de ler um livro em alguns segundos e escrever uma tese de doutorado numa tarde.”

Outra forma de superinteligência é um sistema que pode alcançar um desempenho superior por meio da agregação de um grande número de inteligências menores. 

Superinteligência coletiva: um sistema composto de um grande número de intelectos menores, de forma que o seu desempenho total supere significativamente, em diversas áreas gerais do conhecimento, qualquer sistema cognitivo atual.

A inteligência coletiva se sobressai na resolução de problemas que podem ser facilmente divididos em partes, de modo que as soluções para esses subproblemas possam ser encontradas paralelamente e verificadas de maneira independente [como construção de nave espacial, administração de franquia de hambúrgueres etc.].

Superinteligência de qualidade: um sistema que é no mínimo tão rápido quanto uma mente humana e qualitativamente muito mais inteligente.

Assim como a inteligência coletiva, a inteligência de qualidade também é um conceito ligeiramente nebuloso; e, nesse caso, a dificuldade é agravada pela falta de experiência com qualquer variação na qualidade da inteligência que ultrapasse o limite superior da presente distribuição humana.

Capítulo 4 – A cinética de uma explosão de inteligência

Uma vez que as máquinas tenham alcançado alguma forma de equivalência humana na habilidade de raciocínio, quanto tempo levaria, então, até que elas atingissem uma superinteligência radical? Essa seria uma transição lenta, gradual e prolongada? Ou seria repentina e explosiva? Este capítulo analisa a cinética de transição para a superinteligência como uma função do poder de otimização e da resistência do sistema. Consideramos o que sabemos ou o que podemos razoavelmente supor a respeito do comportamento desses dois fatores em relação à inteligência geral de nível humano.

Iniciando com um software inteligente (uma emulação ou uma AI), é possível ampliar a inteligência coletiva simplesmente por meio de computadores adicionais para rodar mais instâncias do programa.

Outra forma de ampliar a inteligência rápida seria transferir o programa para computadores mais velozes. Dependendo do grau de paralelização permitido pelo programa, a inteligência rápida poderia ser amplificada através da execução do programa em mais processadores. É mais provável que isso seja factível para emulações, cuja arquitetura seja altamente paralelizada, mas vários programas de AI também possuem sub-rotinas importantes que podem se beneficiar de uma paralelização massiva. A amplificação da inteligência de qualidade através do poder computacional também pode ser possível, mas esse é um caso menos direto.

Capítulo 5 – Vantagem estratégica decisiva

Uma questão distinta, embora relacionada à questão da cinética, é se haverá apenas uma ou muitas forças superinteligentes. Uma explosão de inteligência poderia lançar um projeto tão à frente de todos os outros a ponto de torná-lo capaz de ditar o futuro? Ou o progresso será mais uniforme? Desenrolando-se numa frente ampla, com muitos projetos em andamento, sem que nenhum deles garanta uma liderança expressiva e permanente.

Alguns caminhos para a superinteligência exigem muitos recursos e, por isso, serão provavelmente mantidos por projetos com grande financiamento. A emulação completa do cérebro, por exemplo, requer diferentes tipos de técnicas e uma série de equipamentos.

Melhorias na inteligência biológica e interfaces cérebro-computador também dependem fortemente da escala do projeto: enquanto uma pequena firma de biotecnologia poderia inventar uma ou duas drogas, alcançar a superinteligência ao longo desses caminhos (se for algo realmente possível) exigiria provavelmente muitas invenções e testes variados, e, portanto, o apoio de um setor industrial e de um programa nacional bem financiado. 

Conseguir uma superinteligência coletiva através de organizações e redes mais eficientes demanda ainda mais recursos, o que envolveria grande parte da economia mundial.

Capítulo 6 – Superpoderes cognitivos

Suponha que um agente digital superinteligente surja e resolva, por alguma razão, dominar o mundo: ele seria capaz de fazê-lo? Neste capítulo, analisaremos alguns dos poderes que uma superinteligência poderia desenvolver e o que seria capaz de fazer com tais poderes. Traçaremos um cenário a partir do qual uma agente superinteligente, inicialmente um mero software, poderia se estabelecer como um singleton. Também faremos algumas observações a respeito da relação entre poder sobre a natureza e poder sobre outros agentes:

É importante que não se antropomorfize a superinteligência quando pensamos em seus potenciais impactos. Tal perspectiva antropomórfica encorajaria o surgimento de expectativas infundadas a respeito da trajetória de crescimento de uma IA embrionária, além de questões acerca da psicologia, motivações e capacidades de uma superinteligência madura.

Uma suposição muito comum é que uma máquina superinteligente seria semelhante a um ser humano muito inteligente, mas nerd. Nós temos a tendência de especular que uma AI teria uma inteligência técnica, embora pouco intuitiva e criativa.

Essas ideias advêm, muito provavelmente, da observação: nós olhamos para os computadores atuais e constatamos que eles são muito bons de cálculo, possuem ótima memória e seguem regras ao pé da letra, porém, são alheios ao contexto e sutilezas sociais, normas, emoções e política. Tal associação é reforçada quando observamos que pessoas que trabalham bem com computadores tendem a ser, elas mesmas, “nerds”. É, então, natural assumir que uma inteligência computacional mais avançada venha a ter atributos semelhantes, mas em maior escala.

Capítulo 7 – A vontade superinteligente

Já vimos que a superinteligência poderia ter uma grande habilidade para moldar o futuro de acordo com seus próprios objetivos. Mas quais seriam esses objetiv
os? Qual é a relação entre inteligência e motivação num agente artificial? Aqui desenvolvemos duas teses. A tese da ortogonalidade defende  (com algumas ressalvas) que inteligência e os objetivos finais são variáveis independentes: qualquer nível de inteligência poderia ser combinada com qualquer objetivo final.

A tese da convergência instrumental defende que agentes superinteligentes que possuam qualquer um entre uma gama variada de objetivos finais buscarão, apesar disso, objetivos intermediários similares, pois têm razões instrumentais comuns para fazê-lo. Combinadas, essas duas teses nos ajudam a pensar sobre o que um agente superinteligente faria:

Tese da ortogonalidade. Inteligência e objetivos são ortogonais. Em outras palavras, praticamente qualquer nível de inteligência poderia, a princípio, ser combinado com praticamente qualquer objetivo final. Se a tese da ortogonalidade parece problemática, isso talvez se deva à semelhança superficial que ela carrega com algumas posições filosóficas tradicionais que têm sido assunto de longos debates. Uma vez entendido que ela possui um escopo diferente e mais restrito, sua credibilidade deve aumentar. (Por exemplo, a tese da ortogonalidade não pressupõe a teoria da motivação de Hume e tampouco que preferências básicas não possam ser irracionais.)

Tese da convergência instrumental. Muitos valores instrumentais podem ser identificados como convergentes no sentido de que sua obtenção aumentaria as chances de que o objetivo do agente seja realizado para uma ampla faixa de objetivos finais e uma faixa de situações, sugerindo que tais valores instrumentais têm maior chance de ser perseguidos por muitos agentes instrumentais estabelecidos.

Capítulo 8 – O resultado mais provável será o nosso fim?

Percebemos que a conexão entre inteligência e valores finais é extremamente fraca. Percebemos também uma convergência ameaçadora em valores instrumentais. Isso não importa muito no caso de agentes fracos, pois eles são facilmente controláveis e incapazes de causar grandes danos. Porém, argumentamos, no capítulo 6, que a primeira superinteligência teria grande possibilidade de obter uma vantagem estratégica decisiva. Seus objetivos, então, determinariam como o domínio cósmico da humanidade seria utilizado. Podemos agora começar a visualizar quão ameaçadora é essa perspectiva.

Considere o seguinte cenário. Nos próximos anos e décadas, os sistemas de AI se tornam gradualmente mais capazes e como consequência podem ser cada vez mais utilizados no mundo real: eles poderiam ser usados para operar trens, carros, robôs domésticos e industriais e veículos militares autônomos.

Podemos pressupor que essa automatização apresente, na maioria das vezes, os efeitos desejados, mas que seu sucesso seja marcado por acidentes ocasionais – um caminhão autônomo colide frontalmente com outro veículo ou drone militar atira em civis inocentes. Investigações revelam que esses incidentes foram causados por falhas na tomada de decisão dos sistemas de IA.

Isso resulta em debates da opinião publica. Alguns pedem maior supervisão e regulamentação, outros enfatizam a necessidade de pesquisa e desenvolvimento de sistemas melhores.

Capítulo 9 – O problema do controle

Se formos ameaçados com catástrofes existenciais como o resultado esperado de uma explosão de inteligência, nosso pensamento deve se voltar imediatamente para a busca de contramedidas. Há alguma maneira de evitar esse resultado padrão? É possível planejar uma detonação controlada? Neste capítulo começaremos a analisar o problema do controle, o problema específico do diretor-agente que surge com a criação de um agente superinteligente artificial.

Diferenciaremos entre duas classes gerais de métodos que potencialmente poderiam ser usados para enfrentar este problema – controle da capacidade e seleção de motivação – e examinaremos diversas técnicas específicas para cada classe. Também faremos alusão à possibilidade esotérica de “captura antrópica”:

Métodos de confinamento – A seleção de motivação pode envolver a formulação explícita de um objetivo ou de um conjunto de regras que deverão ser seguidas (especificação direta) ou a configuração do sistema de modo que ele possa descobrir um conjunto apropriado de valores por si mesmo, utilizando-se de critérios formulados implicitamente ou indiretamente (normatividade indireta). Uma opção à seleção de motivação seria tentar construir um sistema de modo que ele tivesse objetivos modestos e pouco ambiciosos (domesticidade). Uma alternativa à criação de um sistema de motivação partindo do zero poderia se dar por meio de um agente que já tenha um sistema de motivação aceitável e, a partir daí, aumentar seus poderes cognitivos para transformá-lo em uma superinteligência, assegurando-nos de que o sistema de motivação não se torne corrupto durante o processo (ampliação).

Capítulo 10- Oráculos, gênios, soberanos e ferramentas

Alguns poderiam dizer: “Construo apenas um sistema que responda a perguntas!” ou “Construa apenas uma AI que seja uma ferramenta, e não um agente!”. Mas essas sugestões não fazem com que todas as preocupações relativas à segurança desapareçam e não é uma questão trivial definir que tipo de sistema ofereceria as melhores perspectivas de segurança. Consideraremos quatro tipos ou “castas” – oráculos, gênios, soberanos e ferramentas – e explicaremos como cada uma se relaciona com as outras. Todas oferecem um conjunto diferente de vantagens e desvantagens em nossa busca pela solução do problema do controle.

Com avanços em inteligência artificial, seria possível ao programador se livrar de uma parcela de trabalho cognitivo necessário para descobrir como realizar determinada tarefa. Em um caso extremo, o programador poderia simplesmente especificar um critério formal para o que contaria como sucesso e deixar a cargo da AI a busca de uma solução. A AI guiaria essa busca por meio de um conjunto poderoso de heurística e outros métodos para descobrir estruturas no espaço de possíveis soluções.

Ela continuaria procurando até que encontrasse uma solução que
se encaixasse no critério de sucesso. A AI, então, implementaria a solução ou (no caso de um oráculo) poderia informá-la ao usuário. 

Nós entraríamos em uma zona de perigo apenas se esses métodos usados na busca de soluções se tornassem extremamente amplos e poderosos: ou seja, quando começassem a se equivaler a uma inteligência geral – e principalmente quando se equipararem a uma superinteligência.

Capitulo 11 – Cenários multipolares

Vimos (particularmente no capítulo 8) o quanto um desfecho unipolar, no qual uma única superinteligência viesse a obter uma vantagem estratégica decisiva e a utilizasse para criar um singleton, poderia ser ameaçador. Neste capítulo, examinaremos o que poderia acontecer num desfecho multipolar, ou seja, uma sociedade pós-transição com múltiplas agências superinteligentes competindo entre si. Nosso interesse nessa classe de cenário é duplo. Primeiro, conforme mencionamos no capítulo 9, pode-se imaginar que a integração social ofereça uma solução para o problema de controle.

Já citamos algumas das limitações de tal abordagem, e este capítulo procurará apresentar uma visão mais completa. Segundo, ainda que ninguém se dedicasse a criar condições para um desfecho multipolar como um meio para lidar com o problema de controle, esse desfecho poderá ocorrer de qualquer maneira. E com o que, então, esse desfecho se pareceria? A sociedade competitiva que resultaria dele não é necessariamente atrativa e tampouco duradoura:

Capital e assistência social – Uma diferença entre os cavalos e os humanos é que os humanos possuem capital. É um fato empírico que a participação total do capital tem se mantido estável ao redor de 30% há bastante tempo (apesar de significativas flutuações de curto prazo). Isso significa que 30% da renda global total é recebida na forma de rendimentos pelos donos do capital, enquanto os 70% restantes são recebidos pelos trabalhadores em forma de salários. Se classificarmos uma AI como capital, então, com a invenção de uma inteligência de máquina que possa substituir integralmente a mão de obra humana, os salários se equivaleriam ao reduzido valor do custo de máquinas e — considerando que as máquinas seriam muito eficientes – seriam bem baixos, muito menores do que a renda necessária para a subsistência humana.

Capítulo 12 – Adquirindo valores

O controle de capacidade é, na melhor das hipóteses, uma medida temporária e auxiliar. A não ser que o plano seja manter a superinteligência trancada para todo o sempre, será necessário um domínio completo da seleção de motivação. Mas como implantar um valor em um agente artificial de modo que ele venha a buscar esse valor como seu objetivo final? Enquanto o agente não for inteligente, ele pode não conseguir entender ou mesmo representar qualquer valor humanamente significativo. Entretanto, se atrasarmos esse procedimento até que o agente se torne superinteligente, ele pode ser capaz de resistir às nossas tentativas de interferir em seu sistema de motivações – e, como demonstramos no capítulo 7, ele teria razões instrumentais convergentes para fazê-lo. Esse problema de “inserção de valores” é complicado, mas deve ser confrontado.

Chegamos agora a uma importante, porém, sutil, abordagem para o problema de inserção de valores. Essa abordagem consiste em utilizar a própria inteligência da AI para que ela aprenda os valores que nós desejamos que ela tenha.

Para isso, devemos prover um critério para que a AI possa, ao menos implicitamente, escolher um conjunto adequado de valores. Poderíamos, então, construir a IA para que ela agisse de acordo com suas melhores estimativas a respeito desses valores implicitamente definidos. Ela refinaria continuamente suas estimativas conforme fosse aprendendo mais sobre o mundo e gradualmente compreendesse as implicações do critério de determinação de valores.

Ao contrário da abordagem estepe, que fornece à AI um objetivo provisório e depois o substitui por um objetivo final diferente, a abordagem de aprendizado de valores mantém um objetivo final inalterado ao longo das fases de desenvolvimento e de operação da AI. A aprendizagem não altera o objetivo final. Ela modifica as crenças da AI em relação ao objetivo.

Capítulo 13 – Elegendo os critérios de escolha

Suponha que pudéssemos implantar qualquer valor final arbitrário em uma AI embrionária. A decisão a respeito de qual seria o valor isolado poderia, então, ter consequências de longo alcance. Outras determinadas escolhas de parâmetros básicos – relativas aos axiomas da teoria de decisão e epistemologia da AI – poderiam ser similarmente importantes. Mas tolos, ignorantes e limitados que somos, como poderíamos ser confiáveis para tomar boas decisões em relação ao projeto? Como poderíamos escolher sem deixar impressos para sempre os preconceitos da geração atual? Neste capítulo, exploraremos como a normatividade indireta pode nos permitir repassar à própria superinteligência grande parte do trabalho cognitivo associado à tomada dessas decisões e ainda assim manter o resultado ancorado em valores humanos mais profundos

As opções disponíveis incluem a teoria da decisão casual (em suas diversas variações) e a teoria da decisão evidencial, acompanhada de outras candidatas mais novas, tais como a “teoria da decisão atemporal’ e a “ da decisão sem atualizações”, as quais ainda se encontram em desenvolvimento. É provável que seja difícil identificar e articular a teoria da decisão correta, e que haja alguma dificuldade em confiar que tenhamos feito a escolha certa.

Embora as perspectivas de que sejamos capazes de especificar diretamente uma teoria da decisão da AI sejam melhores do que a possibilidade de especificar diretamente seus objetivos finais, ainda assim somos confrontados com um risco substancial de erro. Muitas das complicações que talvez pudessem invalidar as teorias da decisão mais conhecidas atualmente foram descobertas há pouco tempo, sugerindo que talvez existam problemas adicionais que ainda não vieram à luz. 

O resultado de implantar uma teoria da decisão defeituosa em uma AI pode ser desastroso, levando, possivelmente, a uma catástrofe existencial.

Capitulo 14 – O panorama estratégico

Agora é o momento de considerarmos o desafio da superinteligência num contexto mais amplo. Gostaríamos de ser
capazes de nos orientar suficientemente no cenário estratégico para saber, pelo menos, qual direção geral devemos seguir. Isso, efetivamente, não é algo simples. Aqui, neste penúltimo capítulo, introduziremos alguns conceitos analíticos gerais que nos ajudarão a pensar a respeito de políticas científicas e tecnológicas de longo prazo. Depois aplicaremos esses conceitos da inteligência da máquina:

O princípio do desenvolvimento tecnológico diferencial – Atrase o desenvolvimento de tecnologias perigosas e prejudiciais, em especial as que aumentem o nível de risco existencial, e acelere o desenvolvimento de tecnologias benéficas, especialmente as que reduzem os riscos existenciais impostos pela natureza ou por outras tecnologias. Desse modo, uma política poderia ser avaliada com base na quantidade de vantagens diferenciais que ela concede a formas desejáveis de desenvolvimento tecnológico, em comparação às formas indesejáveis. 

A afirmação de que é preferível que uma superinteligência surja antes de outras tecnologias potencialmente perigosas, como a nanotecnologia, está  baseada no fato de que uma superinteligência reduziria os riscos existenciais ligados à nanotecnologia, mas o contrário não ocorreria. Consequentemente, se criarmos primeiro uma superinteligência, enfrentaremos apenas os riscos associados a uma superinteligência; por outro lado, se a nanotecnologia for criada primeiro, enfrentaremos os riscos associados à nanotecnologia e, depois disso, os riscos associados à superinteligência. Mesmo que os riscos existenciais relacionados a uma superinteligência sejam muito grandes e que a superinteligência seja a mais perigosa de todas as tecnologias, ainda assim poderia haver um motivo para que apressássemos o seu desenvolvimento.

Capítulo 15 – A hora decisiva

Nos encontramos em um emaranhado de complexidade estratégica, cercado por uma densa névoa de incertezas. Embora muitas considerações tenham sido feitas, seus detalhes e inter-relacionamentos permanecem confusos e incertos – e pode haver outros fatores sobre os quais sequer pensamos a respeito. O que podemos fazer diante dessa difícil situação?

A intenção, portanto, é nos concentrar em problemas que não são apenas importantes, mas urgentes, pois suas soluções seriam necessárias antes da explosão de inteligência. Também deveríamos tomar cuidado para não trabalhar com problemas que apresentem valor negativo (uma vez que resolvê-los é algo perigoso). Alguns problemas técnicos na área de inteligência artificial, por exemplo, podem ter valor negativo, uma vez que suas soluções acelerariam o desenvolvimento da superinteligência de máquina, sem, ao mesmo tempo, agilizar o desenvolvimento da inteligência de máquina benéfica, possibilitando que sobrevivêssemos a ela.

Outro objetivo específico  é a promoção de ‘melhores práticas’ entre os pesquisadores de AI. 

Qualquer progresso feito em relação ao problema do controle precisa ser disseminado. Algumas formas de experimentação computacional, particularmente aquelas que envolvem o uso de autoaperfeiçoamento recursivo forte, também poderiam demandar o uso de controle de capacidade para atenuar o risco de uma partida acidental.

Embora a implementação real de métodos de segurança não seja algo tão relevante hoje em dia, ela se tornará gradativamente relevante na medida em que o estado de arte avançar. E não é demasiado cedo para convocar os profissionais a declararem um compromisso com a segurança, incluindo o endossamento do princípio do bem comum e a promessa de intensificar a segurança se e quando a perspectiva de uma superinteligência de máquina começar a parecer mais iminente.

Ficha técnica:

Título: Superinteligência – caminhos, perigos e estratégias para um mundo novo

Título original: Superintelligence: Paths, Dangers, Strategies

Autor: Nick Bostrom

Primeira edição: Editora Darkside