Um agradecimento especial a Morgan Beller, Juan Benet, Eli Dourado, Karl Floersch, Sriram Krishnan, Nate Soares, Jaan Tallinn, Vincent Weisser, voluntários da Balvi e outros pela feedback e revisão.

No mês passado, Marc Andreessen publicou seu “manifesto techno-otimista“, argumentando por um entusiasmo renovado em relação à tecnologia e pelos mercados e pelo capitalismo como meio de construir essa tecnologia e impulsionar a humanidade em direção a um futuro muito mais brilhante. O manifesto rejeita de forma inequívoca o que descreve como uma ideologia de estagnação, que teme avanços e prioriza a preservação do mundo como ele existe hoje. Este manifesto tem recebido muita atenção, incluindo artigos de resposta deNoah Smith, Robin Hanson, Joshua Gans (mais positivo), e Dave Karpf, Luca Ropek, Ezra Klein(mais negativo) e muitos outros. Não conectados a este manifesto, mas ao longo de temas semelhantes, estão os artigos de James Pethokoukis O Conservador Futurista“ e “ da PalladiumÉ hora de construir para o bemEste mês, vimos um debate semelhante sendo realizado através do Disputa da OpenAI, que envolveu muitas discussões centradas nos perigos da IA superinteligente e na possibilidade de que a OpenAI esteja avançando rápido demais.

Meus próprios sentimentos sobre o tecno-otimismo são calorosos, mas matizados. Acredito em um futuro que é muito mais brilhante do que o presente, graças à tecnologia radicalmente transformadora, e acredito nos seres humanos e na humanidade. Rejeito a mentalidade de que o melhor que devemos tentar fazer é manter o mundo aproximadamente o mesmo que hoje, mas com menos ganância e mais saúde pública. No entanto, acredito que não apenas a magnitude, mas também a direção importa. Existem certos tipos de tecnologia que tornam o mundo muito mais confiável do que outros tipos de tecnologia. Existem certos tipos de tecnologia que poderiam, se desenvolvidos, mitigar os impactos negativos de outros tipos de tecnologia. O mundo superestima algumas direções de desenvolvimento tecnológico e subestima outras. Precisamos da intenção humana ativa para escolher as direções que desejamos, pois a fórmula de 'maximizar o lucro' não as alcançará automaticamente.

Nesta postagem, falarei sobre o que o techno-otimismo significa para mim. Isso inclui a visão de mundo mais ampla que motiva meu trabalho em certos tipos de aplicativos de blockchain e criptografia e tecnologia social, bem como outras áreas da ciência nas quais tenho manifestado interesse. Mas as perspectivas sobre essa questão mais ampla também têm implicações para a IA e para muitos outros campos. Nossos avanços rápidos na tecnologia provavelmente serão a questão social mais importante do século XXI, portanto, é importante pensar cuidadosamente sobre eles.

Sumário

• A tecnologia é incrível, e há custos muito elevados para atrasá-la
  • O ambiente e a importância da intenção coordenada
• IA é fundamentalmente diferente de outras tecnologias e vale a pena ser cuidadoso de forma única
  • Risco existencial é uma grande coisa
  • Mesmo que sobrevivamos, um futuro de superinteligência artificial é um mundo em que queremos viver?
  • O céu está perto, o imperador está em toda parte
• d/acc: Defensivo (ou descentralização, ou aceleração diferencial)
  • Mundos favoráveis à defesa ajudam a prosperar governança saudável e democrática
  • Defesa física macro
  • Defesa física micro (também conhecida como bio)
  • Defesa cibernética, blockchains e criptografia
  • Defesa de informação
  • Tecnologia social além do enquadramento de "defesa"
• Então, quais são os caminhos para a superinteligência?
  • Um caminho feliz: fundir-se com os AIs?
• A d/acc é compatível com sua filosofia existente?
• Nós somos a estrela mais brilhante

A tecnologia é incrível, e há custos muito altos para atrasá-la

Em alguns círculos, é comum minimizar os benefícios da tecnologia e vê-la principalmente como uma fonte de distopia e risco. Ao longo do último meio século, isso muitas vezes decorreu de preocupações ambientais ou do receio de que os benefícios se acumularão apenas para os ricos, que consolidarão seu poder sobre os pobres. Mais recentemente, também comecei a ver libertários preocupados com algumas tecnologias, com medo de que a tecnologia leve à centralização do poder. Neste mês, eu algumas pesquisasfazendo a seguinte pergunta: se uma tecnologia tivesse que ser restrita, porque era muito perigosa para ser liberada para qualquer pessoa usar, eles prefeririam que fosse monopolizada ou atrasada em dez anos? Fiquei surpreso ao ver, em três plataformas e três opções para quem seria o monopolista, um voto uniformemente esmagador por um atraso.

E assim, às vezes me preocupo que tenhamos corrigido demais, e muitas pessoas sintam falta do lado oposto do argumento: que o benefícios da tecnologiasãorealmente enorme, nas áreas em que podemos medi-lo, o bem supera em muito o mal, e os custos mesmo de uma década de atraso são incrivelmente altos.

Para dar um exemplo concreto, vamos olhar para um gráfico de expectativa de vida:

O que vemos? Ao longo do último século, um progresso verdadeiramente maciço. Isso é verdade em todo o mundo, tanto nas regiões historicamente ricas e dominantes quanto nas regiões pobres e exploradas.

Alguns culpam a tecnologia por criar ou agravar calamidades como o totalitarismo e as guerras. Na verdade, podemos ver as mortes causadas pelas guerras nos gráficos: uma na década de 1910 (WW1) e outra na década de 1940 (WW2). Se olharmos com cuidado, a Gripe Espanhola, o Grande Salto Adiante e outras tragédias não-militares também são visíveis. Mas há uma coisa que o gráfico deixa claro: mesmo calamidades tão horríveis como essas são superadas pela magnitude da marcha implacável das melhorias emcomida, saneamento, medicinae infraestrutura que ocorreu ao longo desse século.

Isso é espelhado por grandes melhorias em nossas vidas cotidianas. Graças à internet, a maioria das pessoas ao redor do mundotêm acesso a informações ao alcance dos dedos que teriam sido inacessíveis vinte anos atrás. A economia global está se tornando mais acessível graças às melhorias nos pagamentos e finanças internacionais. A pobreza global está rapidamente caindo. Graças aos mapas online, não precisamos mais nos preocupar em nos perder na cidade, e se precisar voltar para casa rapidamente, agora temos maneiras muito mais fáceis de chamar um carro para fazer isso. Nossa propriedade está se tornando digitalizada e nossa bens físicos estão ficando baratos, significa que temos muito menos a temer com o roubo físico. As compras online reduziram a disparidade no acesso a bens entre as megacidades globais e o resto do mundo. De várias maneiras, a automação nos trouxe o benefício eternamente subestimado de simplesmente fazer nossas vidas mais convenientes.

Essas melhorias, tanto quantificáveis quanto não quantificáveis, são grandes. E no século XXI, há uma boa chance de que melhorias ainda maiores estejam prestes a acontecer. Hoje, o fim do envelhecimento e da doença parecem utópicos. Mas do ponto de vista de computadores como existiam em 1945, a moderna era de colocar chips em praticamente tudo teria parecido utópica: até mesmo os filmes de ficção científica frequentemente mantinham seus computadores do tamanho de uma sala. Se a biotecnologia avançar tanto nos próximos 75 anos quanto os computadores avançaram nos últimos 75 anos, o futuro pode ser mais impressionante do que as expectativas de quase qualquer pessoa.

Enquanto isso, os argumentos que expressam ceticismo sobre o progresso frequentemente foram para lugares sombrios. Mesmo os livros de medicina, como este nos anos 1990 (crédito Emma Szewczakpara encontrá-lo), às vezes fazem reivindicações extremas negando o valor de dois séculos de ciência médica e até argumentando que não é obviamente bom salvar vidas humanas:

O "limites ao crescimento"tese, uma ideia avançada na década de 1970 argumentando que a crescente população e indústria eventualmente esgotariam os recursos limitados da Terra, acabou inspirandoPolítica de um filho da Chinaeesterilizações forçadas maciças na Índia. Em épocas anteriores, as preocupações com a superpopulação eram usadas para justificarmassassassinar. E essas ideias, argumentou desde 1798, tem uma longa história de estar provado errado.

É por razões como estas que, como ponto de partida, me sinto muito inquieto sobre argumentos para desacelerar a tecnologia ou o progresso humano. Dado o quanto todos os setores estão interligados, até desacelerações setoriais são arriscadas. E assim, quando escrevo coisas como o que direi mais tarde neste post, saindo do entusiasmo aberto pelo progresso, não importa sua forma, essas são declarações que faço com um coração pesado - e ainda assim, o século XXI é diferente e único o suficiente para que essas nuances valham a pena considerar.

Dito isso, há um ponto importante de nuance a ser feito na imagem mais ampla, especialmente quando avançamos além do "a tecnologia como um todo é boa" e chegamos ao tópico de "quais tecnologias específicas são boas?". E aqui precisamos chegar à preocupação principal de muitas pessoas: o meio ambiente.

O ambiente e a importância da intenção coordenada

Um exceção importantepara a tendência de praticamente tudo melhorar nos últimos cem anos é a mudança climática:

Mesmo cenários pessimistas de aumentos de temperatura contínuos não chegariam perto de causar a extinção literal da humanidade. Mas tais cenários poderiam plausivelmente matar mais pessoas do que grandes guerras e prejudicar severamente a saúde e os meios de subsistência das pessoas nas regiões onde as pessoas já estão lutando mais.Um estudo do Instituto Swiss Resugere que um cenário de mudanças climáticas no pior caso pode reduzir o PIB dos países mais pobres do mundo em até 25%.Este estudosugere que a expectativa de vida nas áreas rurais da Índia pode ser uma década menor do que seria, e estudos como esteeestesugerem que as mudanças climáticas poderiam causar cem milhões de mortes em excesso até o final do século.

Esses problemas são um grande negócio. Minha resposta sobre por que estou otimista em relação à nossa capacidade de superar esses desafios é dupla. Primeiro, após décadas de hype e pensamentos ilusórios, energia solaréfinalmente torneamento um canto, e tecnologias de suporte como bateriasestão fazendo progresso semelhante. Em segundo lugar, podemos olhar para o histórico da humanidade na resolução de problemas ambientais anteriores. Tome, por exemplo, a poluição do ar. Conheça a distopia do passado: a Grande Neblina de Londres, 1952.

O que aconteceu desde então? Vamos perguntar novamente ao Our World In Data:

Acontece que, 1952 nem foi o pico: no final do século XIX, concentrações ainda mais altas de poluentes atmosféricos eram simplesmente aceitas e normais. Desde então, vimos um século de declínios contínuos e rápidos. Tive a oportunidade de experimentar pessoalmente o final disso em minhas visitas à China: em 2014, altos níveis de neblina no ar,estimado para reduzir a expectativa de vida em mais de cinco anos, eram normais, mas em 2020, o ar muitas vezes parecia tão limpo quanto o de muitas cidades ocidentais. Esta não é a nossa única história de sucesso. Em muitas partes do mundo, áreas florestais estão aumentando. A crise da chuva ácida está melhorando. The a camada de ozônio está se recuperandopor décadas.

Para mim, a moral da história é esta. Muitas vezes, é realmente o caso de que a versão N da tecnologia de nossa civilização causa um problema, e a versão N+1 o corrige. No entanto, isso não acontece automaticamente e requer esforço humano intencional. A camada de ozônio está se recuperando porque, através de acordos internacionais como o Protocolo de Montreal, conseguimos recuperá-lo. A poluição do ar está melhorando porque a fizemos melhorar. E da mesma forma, os painéis solares não melhoraram maciçamente porque era uma parte predestinada da árvore tecnológica de energia; os painéis solares melhoraram maciçamente porque décadas de conscientização sobre a importância de resolver as mudanças climáticas motivaram tanto os engenheiros a trabalhar no problema, quanto as empresas e governos a financiar suas pesquisas. É uma ação intencional, coordenada por meio do discurso público e da cultura moldando as perspectivas de governos, cientistas, filantropos e empresas, e não uminexorável “máquina tecnocapital”, que havia resolvido esses problemas.

A IA é fundamentalmente diferente de outras tecnologias, e vale a pena ser exclusivamente cuidadosa

Muitas das visões de desprezo que vi sobre a IA vêm da perspectiva de que ela é “apenas mais uma tecnologia”: algo que está na mesma classe geral de coisas como as redes sociais, criptografia, contracepção, telefones, aviões, armas, a imprensa e a roda. Estas coisas são claramente muito socialmente importantes. Elas não são apenas melhorias isoladas no bem-estar dos indivíduos: elas transformam radicalmente a cultura, mudam os equilíbrios de poder e prejudicam as pessoas que dependiam muito da ordem anterior. Muitas opôs-se a elesE, no balanço geral, os pessimistas invariavelmente se mostraram errados.

Mas há uma maneira diferente de pensar sobre o que é a IA: é um novo tipo de mente que está rapidamente ganhando inteligência e tem sérias chances de ultrapassar as faculdades mentais dos humanos e se tornar a nova espécie dominante no planeta. A classe de coisas nessa categoria é muito menor: podemos incluir plausivelmente os seres humanos ultrapassando os macacos, a vida multicelular ultrapassando a vida unicelular, o origem da própria vida, e talvez a Revolução Industrial, em que a máquina superou o homem em força física. De repente, parece que estamos andando em um terreno muito menos bem pisado.

O risco existencial é um grande problema

Uma maneira pela qual a IA deu errado pode piorar o mundo é (quase) da pior maneira possível: poderialiteralmente causar a extinção humana. Esta é uma reivindicação extrema: tanto dano quanto o pior cenário do aquecimento global, ou uma pandemia artificial ou uma guerra nuclear, possam causar, há muitas ilhas de civilização que permaneceriam intactas para recolher os pedaços. Mas uma IA superinteligente, se decidir se virar contra nós, pode muito bem não deixar sobreviventes e acabar com a humanidade para sempre. Mesmo Marte pode não ser seguro.

Um grande motivo de preocupação gira em torno deconvergência instrumental: para uma ampla classe de objetivos que uma entidade superinteligente poderia ter, dois passos intermediários muito naturais que a IA poderia tomar para alcançar melhor esses objetivos são (i) consumir recursos e (ii) garantir sua segurança. A Terra contém muitos recursos e os humanos são um ameaça previsívelpara a segurança de tal entidade. Poderíamos tentar dar à IA um objetivo explícito de amar e proteger os humanos, mas temos sem ideiacomona verdadefazeraquilode uma forma que não vai quebrar completamente assim que a IAencontra uma situação inesperadaPortanto, temos um problema.

Tentativa do pesquisador do MIRI, Rob Bensingerao ilustrar as diferentes estimativas das pessoas sobre a probabilidade de que a IA mate todos ou faça algo quase tão ruim. Muitas das posições são aproximações grosseiras com base em declarações públicas das pessoas, mas muitas outras deram publicamente suas estimativas precisas; várias têm uma “probabilidade de destruição” superior a 25%.

Um pesquisa de pesquisadores de aprendizado de máquinaa partir de 2022 mostrou que, em média, os pesquisadores acham que há uma chance de 5-10% de que a IA literalmente nos mate a todos: aproximadamente a mesma probabilidade estatisticamente esperada quevocê morrerá de causas não biológicas como ferimentos.

Esta é toda uma hipótese especulativa, e todos nós devemos estar atentos a hipóteses especulativas que envolvem histórias complexas de vários passos. No entanto, esses argumentos sobreviveram a mais de uma década de escrutínio e, portanto, parece valer a pena se preocupar pelo menos um pouco. Mas mesmo que você não esteja preocupado com a extinção literal, existem outras razões para ter medo também.

Mesmo que sobrevivamos, um futuro de IA superinteligente é um mundo em que queremos viver?

Muita ficção científica moderna é distópica e retrata a IA de forma negativa. Mesmo tentativas não ficcionais de identificar possíveis futuros da IA frequentemente dãorespostas bastante desagradáveis. E assim, fui por aí e fiz a pergunta: qual é a representação, seja de ficção científica ou não, de um futuro que contenha uma IA superinteligente na qual gostaríamos de viver. A resposta que mais frequentemente voltou foi a de Iain Banks’s Série de Cultura.

A série Culture apresenta uma civilização interestelar de futuro distante ocupada principalmente por dois tipos de atores: humanos comuns e IAs superinteligentes chamadas Minds. Os humanos foram aumentados, mas apenas ligeiramente: a tecnologia médica teoricamente permite que os humanos vivam indefinidamente, mas a maioria opta por viver apenas por cerca de 400 anos, aparentemente porque eles ficam entediados da vida nesse ponto.

De uma perspectiva superficial, a vida como humana parece ser boa: é confortável, as questões de saúde são cuidadas, há uma ampla variedade de opções de entretenimento, e há uma relação positiva e sinérgica entre humanos e Mentes. No entanto, quando olhamos mais fundo, há um problema: parece que as Mentes estão completamente no controle, e o único papel dos humanos nas histórias é agir como peões das Mentes, realizando tarefas em seu nome.

Citando de Contra a Cultura de Gavin Leech:

Os humanos não são os protagonistas. Mesmo quando os livros parecem ter um protagonista humano, fazendo coisas sérias e grandes, na verdade, são agentes de uma IA. (Zakalwe é uma das únicas exceções, porque ele pode fazer coisas imorais que as Mentes não querem fazer.) "As Mentes na Cultura não precisam dos humanos, e ainda assim os humanos precisam ser necessários." (Acredito que apenas um pequeno número de humanos precisa ser necessário - ou, apenas um pequeno número deles precisa o suficiente para renunciar aos muitos confortos. A maioria das pessoas não vive nessa escala. Ainda assim, é uma crítica válida.)

Os projetos que os humanos assumem arriscam a inautenticidade. Quase tudo o que eles fazem, uma máquina poderia fazer melhor. O que você pode fazer? Você pode ordenar que a Mente não o pegue se você cair do penhasco que você está escalando - apenas porque; Você pode excluir os backups de sua mente para que você esteja realmente arriscando. Você também pode simplesmente deixar a Cultura e se juntar a algum civ "fortemente avaliativo" antiquado e não livre. A alternativa é evangelizar a liberdade aderindo ao Contato.

Eu argumentaria que mesmo os papéis 'significativos' que os humanos recebem na série Culture são um exagero; perguntei ao ChatGPT (quem mais?) por que os humanos recebem os papéis que recebem, em vez de as Mentes fazerem tudo completamente sozinhas, e eu pessoalmente achei suas respostasbastante decepcionante. Parece muito difícil ter um mundo dominado por uma superinteligência amigável-AI onde os humanos são qualquer coisa além de animais de estimação.

O mundo que eu não quero ver.

Muitas outras séries de ficção científica postulam um mundo onde existem superinteligências, mas obedecem a mestres humanos (não aprimorados) biológicos. Star Trek é um bom exemplo, mostrando uma visão de harmonia entre as naves estelares com suas AI "computadores" (and Dados) e seus membros da tripulação operadores humanos. No entanto, isso parece um equilíbrio incrivelmente instável. O mundo de Star Trek parece idílico no momento, mas é difícil imaginar sua visão das relações entre humanos e IA como qualquer coisa além de um estágio de transição uma década antes das naves estelares se tornarem totalmente controladas por computador e puderem parar de se preocupar com corredores amplos, gravidade artificial e controle climático.

Um humano dando ordens a uma máquina superinteligente seria muito menos inteligente do que a máquina, e teria acesso a menos informações. Em um universo que tem qualquer grau de competição, as civilizações onde os humanos ficam em segundo plano superariam aquelas onde os humanos teimosamente insistem no controle. Além disso, os próprios computadores podem tirar o controle. Para ver o porquê, imagine que você é legalmente um escravo literal de uma criança de oito anos. Se você pudesse conversar com a criança por muito tempo, você acha que poderia convencê-la a assinar um pedaço de papel libertando-a? Eu não fiz esse experimento, mas minha resposta instintiva é um forte sim. E assim, no geral, os humanos se tornarem animais de estimação parece um atrator que é muito difícil de escapar.

O céu está perto, o imperador está em toda parte

O provérbio chinês 天高皇帝远 (“tian gao huang di yuan”), “o céu é alto, o imperador está longe”, encapsula um fato básico sobre os limites da centralização na política. Mesmo em um império nominalmente grande e despótico - na verdade, especialmente se o império despótico for grande, existem limites práticos para o alcance e atenção da liderança, a necessidade da liderança de delegar a agentes locais para impor sua vontade dilui sua capacidade de impor suas intenções, e assim sempre há lugares onde um certo grau de liberdade prática reina. Às vezes, isso pode ter desvantagens: a ausência de um poder distante que impõe princípios e leis uniformes pode criar espaço para hegemons locais roubarem e oprimirem. Mas se o poder centralizado se corrompe, as limitações práticas de atenção e distância podem criar limites práticos para o quão ruim pode ficar.

Com a IA, não mais. No século XX, a tecnologia moderna de transporte tornou as limitações de distância um constrangimento muito mais fraco ao poder centralizado do que antes; os grandes impérios totalitários da década de 1940 foram em parte um resultado. No século XXI, a coleta de informações escaláveis e a automação podem significar que a atenção também não será mais um constrangimento. As consequências dos limites naturais do governo desaparecendo completamente poderiam ser graves.

O autoritarismo digital tem sidoem ascensão há uma década, e a tecnologia de vigilância já deu aos governos autoritários novas estratégias poderosas para reprimir a oposição: deixar os protestos acontecerem, mas depois detectar e quietly go afteros participantesdepois do fato. Mais geralmente, meu medo básico é que os mesmos tipos de tecnologias gerenciais que permitem à Gate.io atender a mais de cem milhões de clientes com 500 funcionáriostambém permitirá a uma elite política de 500 pessoas, ou até mesmo a um conselho de 5 pessoas, manter um punho de ferro sobre todo um país. Com vigilância moderna para coletar informações e IA moderna para interpretá-las, pode não haver lugar para se esconder.

A situação piora quando pensamos nas consequências da IA na guerra. Citando um post semi-famososobre a filosofia da IA e cripto por0xAlpha:

Quando não há necessidade de trabalho político-ideológico e mobilização para a guerra, o comandante supremo da guerra só precisa considerar a situação em si como se fosse um jogo de xadrez e ignorar completamente os pensamentos e emoções dos peões/cavaleiros/torre no tabuleiro de xadrez. A guerra se torna um jogo puramente tecnológico.

Além disso, o trabalho político-ideológico e a mobilização bélica exigem uma justificativa para que alguém faça a guerra. Não subestime a importância dessa "justificação". Tem sido um constrangimento de legitimidade às guerras na sociedade humana há milhares de anos. Quem quer fazer guerra tem de ter uma razão, ou pelo menos uma desculpa superficialmente justificável. Você pode argumentar que essa restrição é tão fraca porque, em muitos casos, isso não passou de uma desculpa. Por exemplo, algumas (se não todas) das Cruzadas eram realmente para ocupar terras e roubar riquezas, mas elas tinham que ser feitas em nome de Deus, mesmo que a cidade a ser roubada fosse a Constantinopla de Deus. No entanto, mesmo uma restrição fraca ainda é uma restrição! Essa pequena exigência de desculpa por si só na verdade impede que os guerreiros sejam completamente inescrupulosos em alcançar seus objetivos. Mesmo um mal como Hitler não poderia simplesmente lançar uma guerra logo de cara – ele teve que passar anos tentando convencer a nação alemã a lutar pelo espaço de vida para a nobre raça ariana.

Hoje, o "humano no circuito" serve como uma verificação importante do poder de um ditador para iniciar guerras ou oprimir seus cidadãos internamente. Humanos no circuito têm impediunuclearguerras, permitiu a abertura do Muro de Berlim, e salvou vidas durante atrocidadesgostaro Holocausto. Se os exércitos forem robôs, esta verificação desaparece completamente. Um ditador poderia se embriagar às 22h, ficar furioso com as pessoas sendo maldosas com ele no Twitter às 23h, e uma frota de invasão robótica poderia cruzar a fronteira para lançar fogo do inferno sobre civis e infraestrutura de uma nação vizinha antes da meia-noite.

E, ao contrário de eras anteriores, onde sempre há algum canto distante, onde o céu é alto e o imperador está longe, onde os oponentes de um regime poderiam se reagrupar e se esconder e eventualmente encontrar uma maneira de melhorar as coisas, com a IA do século XXI, um regime totalitário pode manter vigilância e controle suficientes sobre o mundo para permanecer 'trancado' para sempre.

d/acc: Aceleração defensiva (ou descentralização, ou diferencial)

Nos últimos meses, o movimento “e/acc” (aceleracionista eficaz) ganhou muita força.Resumido por 'Beff Jezos' aqui, e/acc é fundamentalmente sobre uma apreciação dos enormes benefícios reais do progresso tecnológico e o desejo de acelerar essa tendência para trazer esses benefícios mais cedo.

Eu me vejo simpático à perspectiva e/acc em muitos contextos. Há muitas evidências de que a FDA é muito conservadoraem sua disposição para atrasar ou bloquear a aprovação de medicamentos, e a bioética em geral muitas vezes parece operar pelo princípio de que "20 pessoas mortas em um experimento médico que deu errado é uma tragédia, mas 200000 pessoas mortas devido a tratamentos que salvam vidas sendo atrasados é uma estatística". Os atrasos na aprovaçãotestes e vacinas covid, e vacinas contra a malária, parecem confirmar ainda mais isso. No entanto, é possível levar essa perspectiva longe demais.

Além das minhas preocupações relacionadas à IA, sinto-me particularmente ambivalente sobre o e/acc entusiasmoparatecnologia militar. No contexto atual em 2023, onde esta tecnologia está sendo desenvolvida pelos Estados Unidos e imediatamente aplicada para defender a Ucrânia, é fácil ver como ela pode ser uma força para o bem. No entanto, ao adotar uma visão mais ampla, o entusiasmo sobre a tecnologia militar moderna como uma força para o bem parece exigir a crença de que a potência tecnológica dominante será confiavelmente um dos bons em conflitos, agora e no futuro: a tecnologia militar é boa porque está sendo construída e controlada pela América e a América é boa. Será que ser um e/acc requer ser um maximalista americano, apostando tudo tanto na moral presente e futura do governo quanto no sucesso futuro do país?

Por outro lado, vejo a necessidade de novas abordagens ao pensar em como reduzir esses riscos. Estrutura de governança da OpenAIé um bom exemplo: parece um esforço bem intencionado para equilibrar a necessidade de obter lucro para satisfazer os investidores que fornecem o capital inicial com o desejo de ter um sistema de controle para se opor a movimentos que coloquem em risco o OpenAI explodir o mundo. Na prática, no entanto, seus recentestentativa de demitir Sam Altmanfaz a estrutura parecer um fracasso abjeto: centralizou o poder em um conselho de cinco pessoas antidemocrático e sem responsabilidades, que tomou decisões-chave com base em informações secretas e se recusou a dar quaisquer detalhes sobre seu raciocínioaté que os funcionários ameaçaram sairem massa. De alguma forma, o conselho sem fins lucrativos jogou suas cartas tão mal que os funcionários da empresacriadoumunião de fato improvisada...apoiar o CEO bilionário contra eles.

De maneira geral, vejo planos demais para salvar o mundo que envolvem dar a um pequeno grupo de pessoas poder extremo e opaco e esperar que o usem sabiamente. E assim me vejo atraído por uma filosofia diferente, que tem ideias detalhadas sobre como lidar com os riscos, mas que busca criar e manter um mundo mais democrático e tenta evitar a centralização como a solução padrão para nossos problemas. Essa filosofia também vai muito além da IA, e eu argumentaria que ela se aplica bem mesmo em mundos onde as preocupações com o risco de IA acabam sendo em grande parte infundadas. Vou me referir a essa filosofia pelo nome de d/acc.

dacc3

O "d" aqui pode significar muitas coisas; particularmente, defesa, descentralização, democracia e diferencial. Primeiro, pense nisso em termos de defesa, e então podemos ver como isso se relaciona com as outras interpretações.

Mundos favoráveis à defesa ajudam a prosperar uma governança saudável e democrática

Um quadro para pensar sobre as consequências macro da tecnologia é observar o equilíbrio entre defesa e ataque. Algumas tecnologias tornam mais fácil atacar os outros, no sentido amplo do termo: fazer coisas que vão contra seus interesses, que os fazem sentir a necessidade de reagir. Outras tornam mais fácil defender, e até mesmo defender sem depender de grandes atores centralizados.

Um mundo favorável à defesa é um mundo melhor, por muitas razões. Primeiro, é claro, está o benefício direto da segurança: menos pessoas morrem, menos valor econômico é destruído, menos tempo é desperdiçado em conflitos. O que é menos apreciado, no entanto, é que um mundo favorável à defesa torna mais fácil para formas de governança mais saudáveis, mais abertas e mais respeitosas à liberdade prosperarem.

Um exemplo óbvio disso é a Suíça. A Suíça é frequentemente considerada a coisa mais próxima que o mundo real tem de uma utopia de governança liberal clássica. Grandes quantidades de poder são descentralizadas para províncias (chamadas de "cantões"), decisões importantes são decidido por referendos, e muitos locais nem sequer sei quem é o presidente. Como pode um país como este sobreviver extremamente desafiadorpolíticapressões? Parte do resposta é excelente estratégia política, mas a outra parte principal é geografia muito favorável à defesa) na forma de seu terreno montanhoso.

A bandeira é uma grande vantagem. Mas também são as montanhas.

Sociedades anarquistas em Zomia, famosamente perfiladas no novo livro de James C Scott"A Arte de Não Ser Governado", são outro exemplo: eles também mantêm sua liberdade e independência em grande parte graças ao terreno montanhoso. Enquanto isso, as estepes da Eurásia são o oposto exato de uma utopia de governança. A exposição de Sarah Paine de poderes marítimos versus continentaisfaz pontos semelhantes, embora focando na água como uma barreira defensiva em vez de montanhas. De fato, a combinação entre facilidade de comércio voluntário e dificuldade de invasão involuntária, comum tanto à Suíça quanto aos estados insulares, parece ideal para o florescimento humano.

Descobri um fenômeno relacionado ao aconselhar experiências de financiamento quadrático dentro do ecossistema Ethereum: especificamente o Rounds de financiamento do Gitcoin Grants. Em rodada 4, um mini-escândalo surgiu quando alguns dos maiores beneficiários eram influenciadores do Twitter, cujas contribuições são vistas por alguns como positivas e por outros como negativas. Minha própria interpretação desse fenômeno foi que há um desequilíbrio: financiamento quadráticopermite que você sinalize que acha que algo é um bem público, mas não dá nenhuma maneira de sinalizar que algo é um mal público. No extremo, um sistema de financiamento quadrático totalmente neutro financiaria ambos os lados de uma guerra. E assim para rodada 5, Eu propus que o Gitcoin deveria incluir contribuições negativas: você paga $1 para reduzir a quantidade de dinheiro que um determinado projeto recebe (e implicitamente redistribui-lo para todos os outros projetos). O resultado: muitodepessoasodieiisso.

Um dos muitos memes da internet que circularam após a quinta rodada.

Isso me pareceu ser um microcosmo de um padrão maior: criar mecanismos de governança descentralizada para lidar com externalidades negativas é socialmente um problema muito difícil. Há uma razão pela qual o exemplo mais comum de governança descentralizada dando errado é a justiça das multidões. Háalgo sobre psicologia humanaque torna a resposta a negativos muito mais complicada e muito mais propensa a dar muito errado do que a resposta a positivos. E esta é uma razão pela qual, mesmo em organizações altamente democráticas, as decisões sobre como responder aos negativos muitas vezes são deixadas para um conselho centralizado.

Em muitos casos, esse enigma é uma das razões profundas pelas quais o conceito de "liberdade" é tão valioso. Se alguém diz algo que te ofende, ou tem um estilo de vida que você considera repugnante, a dor e o nojo que você sente são reais, e você pode até achar menos ruim ser fisicamente agredido do que ser exposto a essas coisas. Mas tentar concordar sobre quais tipos de ofensa e repugnância são socialmente aceitáveis pode ter custos e perigos muito maiores do que simplesmente lembrar que certos tipos de estranhos e imbecis são o preço que pagamos por viver em uma sociedade livre.

Em outros momentos, no entanto, a abordagem de "sorrir e suportar" é irrealista. E em tais casos, outra resposta que às vezes vale a pena considerar é a tecnologia defensiva. Quanto mais seguro for a internet, menos precisamos violar a privacidade das pessoas e usar táticas diplomáticas internacionais duvidosas para perseguir cada hacker individualmente. Quanto mais pudermos construir ferramentas personalizadas para bloquear pessoas no Twitter, ferramentas no navegador para detectar golpeseferramentas coletivas para distinguir desinformaçãoeverdade, quanto menos tivermos que lutar contra a censura. Quanto mais rápido pudermos produzir vacinas, menos precisaremos perseguir as pessoas por serem supertransmissoras. Tais soluções não funcionam em todos os domínios - certamente não queremos um mundo onde todos tenham que usar armaduras literais - mas em domínios onde podemos construir tecnologia para tornar o mundo mais favorável à defesa, há um valor enorme em fazê-lo.

Essa ideia fundamental, de que algumas tecnologias favorecem a defesa e valem a pena ser promovidas, enquanto outras tecnologias favorecem o ataque e devem ser desencorajadas, tem raízes na literatura dos altruístas eficazes sob um nome diferente: desenvolvimento diferencial de tecnologia. Há um bom exposição deste princípio de pesquisadores da Universidade de Oxforda partir de 2022:

Figura 1: Mecanismos pelos quais o desenvolvimento tecnológico diferencial pode reduzir os impactos negativos na sociedade.

Inevitavelmente, haverá imperfeições na classificação de tecnologias como ofensivas, defensivas ou neutras. Assim como com a “liberdade”, onde se pode debater se políticas governamentais social-democratas diminuem a liberdade ao impor altos impostos e coagir empregadores ou aumentam a liberdade ao reduzir a necessidade média das pessoas se preocuparem com muitos tipos de riscos, com a “defesa” também existem tecnologias que poderiam se enquadrar em ambos os lados do espectro. Armas nucleares favorecem o ataque, mas a energia nuclear éfavorando-o-florescimento-humanoe ofensa-defesa-neutro. Diferentes tecnologias podem desempenhar papéis diferentes em horizontes temporais diferentes. Mas assim como com "liberdade" (ou "igualdade", ou "estado de direito"), a ambiguidade nas bordas não é tanto um argumento contra o princípio, mas sim uma oportunidade para entender melhor suas nuances.

Agora, vamos ver como aplicar esse princípio a uma visão de mundo mais abrangente. Podemos pensar na tecnologia defensiva, como outra tecnologia, sendo dividido em duas esferas: o mundo dos átomos e o mundo dos bits. O mundo dos átomos, por sua vez, pode ser dividido em micro (ou seja, biologia, mais tarde nanotecnologia) e macro (ou seja, o que convencionalmente pensamos como 'defesa', mas também infraestrutura física resiliente). O mundo dos bits eu dividirei em um eixo diferente: quão difícil é concordar, em princípio, quem é o atacante?. Às vezes é fácil; eu chamo isso de defesa cibernética. Em outras ocasiões é mais difícil; eu chamo isso de defesa de informações.

Defesa física macro

A tecnologia defensiva mais subestimada na esfera macro nem mesmo é domos de ferro (incluindo Novo sistema da Ucrânia) e outro hardware militar anti-tecnológico e anti-míssil, mas sim de infraestrutura física resiliente. A maioria das mortes de uma guerra nuclear provavelmente virá de disrupções na cadeia de abastecimento, em vez da radiação inicial e explosão, e soluções de internet de baixa infraestrutura como Starlink têm sido cruciais em mantendo a conectividade da Ucrâniapelo último ano e meio.

Construir ferramentas para ajudar as pessoas a sobreviver e até mesmo viver confortavelmente de forma independente ou semi-independente das longas cadeias de suprimentos internacionais parece ser uma tecnologia defensiva valiosa e com baixo risco de se tornar útil para a ofensiva.

A busca para tornar a humanidade uma civilização multiplanetáriaTambém pode ser visto a partir de uma perspectiva d/acesso: ter pelo menos alguns de nós vivendo de forma auto-suficiente em outros planetas pode aumentar nossa resiliência contra algo terrível acontecendo na Terra. Mesmo que a visão completa se mostre inviável por enquanto, as formas de vida auto-suficiente que precisarão ser desenvolvidas para tornar tal projeto possível podem muito bem ser direcionadas para ajudar a melhorar a nossa resiliência civilizacional na Terra.

Micro defesa física (também conhecida como bio)

Especialmente devido ao seu efeitos de saúde a longo prazo, Covid continua sendo um preocupação. Mas a Covid está longe de ser a última pandemia que enfrentaremos; há muitos aspectos do mundo moderno que tornam provável que mais pandemias em breve virão:

• Maior densidade populacional torna muito mais fácil para vírus transmitidos pelo ar e outros patógenos se espalharem. Doenças epidêmicas são relativamente novas na história humana e a maioria começou com a urbanizaçãoapenas alguns milhares de anos atrás. Urbanização rápida em andamentosignifica que as densidades populacionais aumentarão ainda mais ao longo do próximo meio século.
• O aumento das viagens aéreas significa que os patógenos transportados pelo ar se espalham muito rapidamente pelo mundo. As pessoas estão ficando rapidamente mais ricas, o que provavelmente significa que as viagens aéreas também aumentarão.aumentar muito maisnas próximas cinco décadas; a modelagem de complexidade sugere que mesmo pequenos aumentospode ter efeitos drásticos. A mudança climática pode aumentar ainda mais esse risco.
• Domesticação de animais e criação em massa são importantes fatores de risco. Sarampo provavelmente evoluiu de um vírus de vaca há menos de 3000 anos. Fazendas industriais de hojetambém estão cultivando novas cepas de influenza (bem comoalimentando a resistência aos antibióticos, com consequências para imunidade inata humana).
• A bioengenharia moderna facilita a criação de patógenos novos e mais virulentos. COVID pode ou não ter vazadode um laboratório realizando pesquisa intencional de “ganho de função”. Independentemente,vazamentos de laboratório acontecem o tempo todo, e as ferramentas estão melhorando rapidamente para facilitar a criação intencional de vírus extremamente mortais, ou mesmo príons (proteínas zumbis). Pragas artificiais são particularmente preocupantes em parte porque diferente de armas nucleares, eles são inatribuíveis: você pode lançar um vírus sem que ninguém consiga dizer quem o criou. É possível, neste momento, projetar uma sequência genética e enviá-la para o laboratório úmidopara síntese e enviá-lo para você em cinco dias.

Esta é uma área ondeCryptoReliefeBalvi, duas organizações foram criadas e financiadas como resultado de um grande acidente vento de moedas Shiba Inuem 2021, foram muito ativos. CryptoRelief inicialmente focou em responder à crise imediata e mais recentemente tem construído um ecossistema de pesquisa médica de longo prazo na Índia, enquanto Balvi tem se concentrado em projetos ambiciosos para melhorar nossa capacidade de detectar, prevenir e tratar Covid e outras doenças transmitidas pelo ar. ++Balvi insistiu que os projetos que financia devem ser de código aberto++. Inspirando-se emo movimento de engenharia de água do século XIX que derrotou a cólerae outros patógenos transmitidos pela água, financiou projetos em toda a gama de tecnologias que podem tornar o mundo mais resistente contra patógenos transmitidos pelo ar por padrão (veja: atualizar 1eatualizar 2), incluindo:

• Far-UVCirradiaçãoP&D
• Filtragem do ar e monitoramento da qualidade em Índia, Sri Lanka, os Estados Unidose em outros lugares, e monitoramento da qualidade do ar
• Equipamentos baratos e eficazes teste de qualidade do ar descentralizado
• Pesquisa sobre as causas do Long Covid e possíveis opções de tratamento (a causa principal pode ser diretomasmecanismos de esclarecimentoe encontrar tratamento é mais difícil)
• Vacinas (por exemplo, RaDVaC, PopVax) e pesquisa sobre lesões causadas por vacinas
• Um conjunto de ferramentas médicas totalmente novas e não invasivas
• Detecção precoce de epidemias usando análise de dados de código aberto (por exemplo, EPIWATCH)
• Testando, incluindo testes rápidos moleculares muito baratos
• Máscaras apropriadas para biossegurança quando outras abordagens falham

Outras áreas promissoras de interesse incluem monitoramento de patógenos em águas residuais, melhorando a filtragem e ventilação em edifícios, e melhor compreensão e mitigação riscos da má qualidade do ar.

Existe uma oportunidade paraconstruir um mundoque é muito mais resistente contra pandemias transmitidas pelo ar, tanto naturais quanto artificiais, por padrão. Este mundo apresentaria um pipeline altamente otimizado onde podemos passar de um início de pandemia, para ser automaticamente detectado, para as pessoas ao redor do mundo terem acesso a alvo, vacinas de código aberto localmente fabricáveis e verificáveisououtros profiláticos, administrado via Nebulizaçãoouspray nasal(significado: auto-administrável se necessário, e sem necessidade de agulhas), tudo isso em um mês. Enquanto isso, uma qualidade do ar muito melhor reduziria drasticamente a taxa de propagação e impediria que muitas pandemias sequer começassem.

Imagine um futuro que não precise recorrer ao martelo de guerra da compulsão social - sem mandatos e pior, e sem risco de mandatos mal projetados e implementados que, argumentavelmente, pioram as coisas- porque a infraestrutura da saúde pública está entrelaçada na estrutura da civilização. Estes mundos são possíveis, e uma quantidade média de financiamento para a bio-defesa poderia torná-lo realidade. O trabalho aconteceria ainda mais suavemente se os desenvolvimentos fossem de código aberto, gratuitos para os usuários e protegidos como bens públicos.

Defesa cibernética, blockchains e criptografia

É geralmente entendido entre profissionais de segurança que o estado atual da segurança de computadores é bastante terrível. Dito isso, é fácil subestimar a quantidade de progresso que foi feito. Centenas de bilhões de dólares de criptomoedas estão disponíveis para serem roubados anonimamente por qualquer pessoa que consiga hackear as carteiras dos usuários, e enquanto muito mais se perde ou é roubadodo que eu gostaria, também é um fato que a maior parte dela permaneceu não roubada por mais de uma década. Recentemente, houve melhorias:

• Chips de hardware confiáveis dentro dos telefones dos usuários, criando efetivamente um sistema operacional de alta segurança muito menor dentro do telefone que pode permanecer protegido mesmo se o resto do telefone for hackeado. Entre muitos outros casos de uso, esses chips estão sendo cada vez mais explorados como uma forma de fazer carteiras de criptomoeda mais seguras.
• Navegadores como o sistema operacional de facto. Nos últimos dez anos, houve uma mudança silenciosa de aplicativos para download para aplicativos no navegador. Isso foi amplamente possibilitado pela WebAssembly (WASM). Mesmo o Adobe Photoshop, há muito citado como uma das principais razões pelas quais muitas pessoas não conseguem usar o Linux na prática por sua necessidade e incompatibilidade com o Linux, agora é amigável ao Linux por estar dentro do navegador. Isso também é uma grande vantagem em termos de segurança: enquanto navegadores têm falhas, em geral, eles vêm com muito mais isolamento do que os aplicativos instalados: os aplicativos não podem acessar arquivos arbitrários no seu computador.
• Sistemas operacionais endurecidos. GrapheneOSpara dispositivos móveis existe e é muito utilizável.QubesOSpara desktop existe; atualmente é um pouco menos utilizável do que o Graphene, pelo menos na minha experiência, mas está melhorando.
• Tentativas de ir além das senhas. As senhas são, infelizmente, difíceis de proteger, tanto porque são difíceis de lembrar, quanto porque eles são fáceis de interceptarRecentemente, tem havido um movimento crescente em direção à redução da ênfase nas senhas e à implementação de autenticação baseada em hardware de vários fatores.realmente funcionar.

No entanto, a falta de defesa cibernética em outras esferas também causou grandes contratempos. A necessidade de se proteger contra spam fez com que o e-mail se tornasse muito oligopolista na prática, tornando muito difícil auto-hospedar ou criar um novo provedor de e-mail. Muitos aplicativos online, incluindo Twitter, estão exigindo que os usuários estejam logados para acessar o conteúdo e bloqueando IPs de VPNs, tornando mais difícil acessar a internet de uma forma que proteja a privacidade. A centralização do software também é arriscada por causa de "interdependência armada": a tendência da tecnologia moderna de passar por pontos de estrangulamento centralizados, e para os operadores desses pontos de estrangulamento usarem esse poder para reunir informações, manipular resultados ou excluir atores específicos - uma estratégia que parece estar sendo atualmente empregadacontra a própria indústria blockchain.

Estas são tendências preocupantes, porque ameaçam o que historicamente tem sido uma das minhas grandes esperanças para o futuro da liberdade e privacidade, apesar de grandes compensações, ainda pode se revelar brilhante. Em seu livro "Futuro Imperfeito", David Friedman prevê que poderíamos ter um futuro de compromisso: o mundo presencial seria cada vez mais vigiado, mas por meio da criptografia, o mundo online manteria, e até melhoraria, sua privacidade. Infelizmente, como vimos, tal contra-tendência está longe de ser garantida.

Esta é onde está minha própria ênfase em tecnologias criptográficas como blockchains e provas de conhecimento zerovem. As blockchains nos permitem criar estruturas econômicas e sociais com um “disco rígido compartilhado” sem depender de atores centralizados. Criptomoeda permite que indivíduos economizem dinheiro e realizem transações financeiras, como poderiam antes da internet com dinheiro em espécie, sem depender de terceiros confiáveis que poderiam mudar suas regras a qualquer momento. Eles também podem servir como um mecanismo anti-sybil de reserva.tornando ataques e spams carosmesmo para usuários que não têm ou não querem revelar sua identidade no espaço real. Abstração de conta, e principalmente carteiras de recuperação social, pode proteger nossos criptoativos e, potencialmente, outros ativos no futuro, sem depender demais de intermediários centralizados.

Provas de conhecimento zero podem ser usadas para privacidade, permitindo aos usuários provar coisas sobre si mesmos sem revelar informações privadas. Por exemplo, envolver um assinatura digital de passaporteem um ZK-SNARK para provar que você é um cidadão único de um país específico, sem revelar qual cidadão você é. Tecnologias como esta podem nos permitir manter os benefícios da privacidade e anonimato - propriedades amplamente reconhecidas como sendonecessário para aplicações como votação- enquanto ainda obtendo garantias de segurança e combatendo spam e atores mal-intencionados.

Um design proposto para um sistema de mídia social ZK, onde as ações de moderação podem ocorrer e os usuários podem ser penalizados, tudo sem precisar saber a identidade de ninguém.

Zupass, incubado emZuzalumais cedo este ano, é um excelente exemplo disso na prática. Esta é uma aplicação, que já foi usada por centenas de pessoas na Zuzalu e mais recentemente por milhares de pessoas para emissão de bilhetes na Devconnect, que permite que você mantenha ingressos, associações, (não transferível) colecionáveis digitais e outras certificações, e provar coisas sobre todos eles sem comprometer sua privacidade. Por exemplo, você pode provar que é um residente registrado único de Zuzalu, ou um titular de ingresso Devconnect, sem revelar mais nada sobre quem você é. Essas provas podem ser mostradas pessoalmente, via um código QR, ou digitalmente, para fazer login em aplicativos como Zupoll, um sistema de votação anonimizado disponível apenas para residentes da Zuzalu.

Essas tecnologias são um excelente exemplo dos princípios de d/acc: elas permitem que os usuários e comunidades verifiquem a confiabilidade sem comprometer a privacidade e protejam sua segurança sem depender de pontos de estrangulamento centralizados que impõem suas próprias definições de quem é bom e quem é ruim. Elas melhoram a acessibilidade global ao criar maneiras melhores e mais justas de proteger a segurança de um usuário ou serviço do que as técnicas comuns usadas hoje, como discriminar países inteiros considerados não confiáveis. Estes são primitivos muito poderosos que podem ser necessários se quisermos preservar uma visão descentralizada da segurança da informação ao entrar no século XXI. Trabalhar em tecnologias defensivas para o ciberespaço de forma mais ampla pode tornar a internet mais aberta, segura e livre de maneiras muito importantes no futuro.

Info-defesa

A ciberdefesa, como eu a descrevi, trata de situações em que é fácil para seres humanos razoáveis chegarem a um consenso sobre quem é o atacante. Se alguém tentar hackear sua carteira, é fácil concordar que o hacker é o vilão. Se alguém tentar atacar um site com DoS, é fácil concordar que estão agindo de forma maliciosa e não são moralmente iguais a um usuário comum tentando ler o que está no site. Existem outras situações em que as fronteiras são mais difusas. São as ferramentas para melhorar nossa defesa nessas situações que eu chamo de "info-defesa".

Por exemplo, verificação de fatos (também conhecida como prevenção de “desinformação”). Eu sou um grande fã de Notas da Comunidade, que fez muito para ajudar os usuários a identificar verdades e mentiras no que outros usuários estão twittando. O Community Notes usa um novo algoritmo que destaca não as notas mais populares, mas sim as notas mais aprovadas pelos usuários em todo o espectro político.

Notas da comunidade em ação.

Também sou fã dos mercados de previsão, que podem ajudar a identificar a importância dos eventos em tempo real, antes que a poeira baixe e haja consenso sobre qual direção é qual. O Polymarket em Sam Altmané muito útil para dar um resumo útil das consequências finais das revelações e negociações hora a hora, fornecendo contexto muito necessário para pessoas que apenas veem os itens de notícias individuais e não entendem a importância de cada um.

Os mercados de previsão frequentemente são falhos. Mas os influenciadores do Twitter que estão dispostos a expressar com confiança o que eles pensam que “vai” acontecer no próximo ano são frequentemente ainda mais falhos. Ainda há espaço para melhorar os mercados de previsão muito mais. Por exemplo, uma falha prática importante dos mercados de previsão é seu baixo volume em todos os eventos, exceto os mais notáveis; uma direção natural para tentar resolver isso seria ter mercados de previsão que são jogados por AIs.

Dentro do espaço blockchain, existe um tipo particular de defesa de informações que acho que precisamos muito mais. Ou seja, as carteiras devem ser muito mais opinativas e ativas em ajudar os usuários a determinar o significado das coisas que estão assinando e protegê-los de fraudes e golpes. Este é um caso intermediário: o que é ou não é um golpe é menos subjetivo do que perspectivas sobre eventos sociais controversos, mas é mais subjetivo do que distinguir usuários legítimos de atacantes DoS ou hackers. O Metamask já possui um banco de dados de golpes e bloqueia automaticamente os usuários de visitar sites fraudulentos:

Aplicações como Fogosão um exemplo de como ir muito mais longe. No entanto, software de segurança como esse não deve ser algo que exija instalações explícitas; deve fazer parte das carteiras de criptomoedas, ou até mesmo dos navegadores, por padrão.

Devido à sua natureza mais subjetiva, a defesa da informação é inerentemente mais coletiva do que a ciberdefesa: você precisa de alguma forma se conectar a um grupo grande e sofisticado de pessoas para identificar o que pode ser verdadeiro ou falso, e que tipo de aplicativo é um ponzi enganoso. Há uma oportunidade para os desenvolvedores irem muito mais longe no desenvolvimento de uma defesa da informação eficaz e no fortalecimento das formas existentes de defesa da informação. Algo como Notas da Comunidade poderia ser incluído nos navegadores e abranger não apenas plataformas de mídia social, mas também toda a internet.

Tecnologia social além da moldura de "defesa"

Até certo ponto, posso ser justificadamente acusado de estar forçando a barra ao descrever algumas dessas tecnologias de informação como sendo sobre 'defesa'. Afinal, defesa diz respeito a ajudar atores bem-intencionados a se protegerem de atores mal-intencionados (ou, em alguns casos, da natureza). No entanto, algumas dessas tecnologias sociais são sobre ajudar atores bem-intencionados a formar consenso.

Um bom exemplo disso é pol.is, que utiliza um algoritmo semelhante ao Community Notes (e que antecede o Community Notes) para ajudar as comunidades a identificar pontos de concordância entre subtribos que, de outra forma, discordam em muitos aspectos.Viewpoints.xyzfoi inspirado pelo pol.is e tem um espírito semelhante:

Tecnologias como esta poderiam ser usadas para permitir uma governança mais descentralizada sobre decisões controversas. Novamente, as comunidades blockchain são um bom campo de testes para isso, e um onde tais algoritmos já se mostraram valiosos. Geralmente, decisões sobre quais melhorias (“EIPs") para fazer o protocolo Ethereum são feitos por um grupo bastante pequeno em reuniões chamadas "Todos os desenvolvedores principais ligam“. Para decisões altamente técnicas, em que a maioria dos membros da comunidade não tem opiniões fortes, isso funciona razoavelmente bem. Para decisões mais importantes, que afetam a economia do protocolo, ou valores mais fundamentais como a imutabilidade e a resistência à censura, muitas vezes isso não é suficiente. Lá em 2016-17, quando uma série de decisões controversas sobre a implementação do fork DAO, reduzindo a emissão e (não)descongelando a carteira Parity, ferramentas como Carbonvote, bem como a votação nas redes sociais, ajudaram a comunidade e os desenvolvedores a ver para que lado a maioria da opinião da comunidade estava se voltando.

Votação de carbono sobre o garfo DAO.

Carbonvoteteve suas falhas: ele dependia das participações de ETH para determinar quem era membro da comunidade Ethereum, fazendo com que o resultado fosse dominado por alguns poucos detentores ricos de ETH ("baleias"). No entanto, com ferramentas modernas, poderíamos criar um Carbonvote muito melhor, alavancando múltiplos sinais como POAPs, selos Zupass, Passaportes Gitcoin, Associações de Protocolo Guild, bem como as participações em ETH (ou mesmo ETH staked solo) para avaliar a adesão da comunidade.

Ferramentas como esta poderiam ser usadas por qualquer comunidade para tomar decisões de alta qualidade, encontrar pontos em comum, coordenar migrações (físicas ou digitais) ou fazer uma série de outras coisas sem depender de liderança centralizada e opaca. Isso não é aceleração de defesa em si, mas certamente pode ser chamado de aceleração da democracia. Tais ferramentas poderiam até ser usadas para melhorar e democratizar a governança de atores-chave e instituições que trabalham com IA.

Então, quais são os caminhos para a superinteligência?

O acima é tudo muito bom e poderia tornar o mundo um lugar muito mais harmonioso, seguro e livre para o próximo século. No entanto, ainda não aborda o grande elefante na sala: a superinteligência da IA.

O caminho padrão sugerido por muitos daqueles que se preocupam com a IA essencialmente leva a um governo mundial de IA mínima. Versões de curto prazo disso incluem uma proposta para um consórcio AGI multinacional("MAGIC"). Tal consórcio, se for estabelecido e alcançar seus objetivos de criar uma IA superinteligente, teria um caminho natural para se tornar um governo mundial mínimo de facto. A longo prazo, existem ideias como a ato crucialteoria: criamos uma IA que realiza um único ato que rearranja o mundo em um jogo onde a partir desse ponto os humanos ainda estão no comando, mas onde o tabuleiro do jogo é de alguma forma mais favorável à defesa e mais propício ao florescimento humano.

A principal questão prática que vejo até agora é que as pessoas parecem não confiar realmente em nenhum mecanismo de governança específico com o poder de construir tal coisa. Este fato se torna evidente quando você olha para os resultados das minhas pesquisas recentes no Twitter, perguntando se as pessoas prefeririam ver a IA monopolizada por uma única entidade com uma década de vantagem, ou a IA atrasada por uma década para todos:

O tamanho de cada enquete é pequeno, mas as enquetes compensam isso na uniformidade de seus resultados em uma ampla diversidade de fontes e opções. Em nove de nove casos, a maioria das pessoas preferiria ver a IA altamente avançada adiada por uma década do que ser monopolizada por um único grupo, seja uma corporação, governo ou entidade multinacional. Em sete de nove casos, o adiamento venceu por pelo menos dois para um. Isso parece ser um fato importante a entender para quem busca regulamentar a IA. As abordagens atuais têm se concentrado em criar esquemas de licenciamento e requisitos regulatórios, tentando restringir o desenvolvimento de IA a um número menor de pessoas, mas essas têm enfrentado resistência popular precisamente porque as pessoas não querem ver ninguém monopolizar algo tão poderoso. Mesmo que propostas regulatórias de cima para baixo reduzam os riscos de extinção, elas correm o risco de aumentar a chance de algum tipo de aprisionamento permanente em um totalitarismo centralizado. Paradoxalmente, poderiam acordos que proíbem pesquisas de IA extremamente avançadas (talvez com exceções para IA biomédica), combinadas com medidas como a exigência de código aberto para os modelos que não são proibidos como forma de reduzir os incentivos de lucro enquanto melhora ainda mais a igualdade de acesso, serem mais populares?

A abordagem principal preferida pelos opositores da rota "vamos obter uma organização global para fazer IA e tornar sua governança realmente muito boa" époliteísta AI: intencionalmente tentar garantir que haja muitas pessoas e empresas desenvolvendo muitos AIs, para que nenhum deles se torne muito mais poderoso do que o outro. Dessa forma, teoricamente, mesmo à medida que os AIs se tornam superinteligentes, podemos manter um equilíbrio de poder.

Essa filosofia é interessante, mas minha experiência ao tentar garantir o “politeísmo” dentro do ecossistema Ethereum me faz preocupar que isso seja um equilíbrio intrinsecamente instável. No Ethereum, tentamos intencionalmente garantir a descentralização de muitas partes do conjunto: garantindo que não haja um único código-fonte que controle mais da metade da rede de prova de participação, tentando neutralizar o domínio de grandes grupos de staking, melhorando descentralização geográfica, e assim por diante. Essencialmente, o Ethereum está na verdade tentando executar o antigo sonho libertário de uma sociedade baseada no mercado que usa pressão social, em vez de governo, como regulador antitruste. Até certo ponto, isso funcionou: o Domínio do cliente Prysmcaiu de acima de 70% para menos de 45%. Mas esse não é um processo de mercado automático: é o resultado da intenção humana e da ação coordenada.

Minha experiência dentro do Ethereum é espelhada por aprendizados do mundo como um todo, onde muitos mercados têm se mostrado monopólios naturaisCom superinteligências artificiais agindo de forma independente dos humanos, a situação se torna ainda mais instável. Obrigado aautoaperfeiçoamento recursivo , a inteligência artificial mais forte pode se destacar muito rapidamente, e uma vez que as IAs sejam mais poderosas do que os humanos, não há força que possa reequilibrar as coisas.

Além disso, mesmo que tenhamos um mundo politeísta de superinteligências artificiais que acaba sendo estável, ainda temos o outro problema: teremos um universo onde os humanos são animais de estimação.

Um caminho feliz: fundir-se com os AIs?

Uma opção diferente que ouvi mais recentemente é focar menos na IA como algo separado dos humanos e mais em ferramentas que aprimoram a cognição humana em vez de substituí-la.

Um exemplo de curto prazo de algo que segue nessa direção são as ferramentas de desenho de IA. Hoje, as ferramentas mais proeminentes para a criação de imagens geradas por IA têm apenas uma etapa em que o humano dá sua entrada, e a IA assume totalmente a partir daí. Uma alternativa seria focar mais em versões de IA do Photoshop: ferramentas em que o artista ou a IA podem fazer um rascunho inicial de uma imagem, e então os dois colaboram para melhorá-la com um processo de feedback em tempo real.

Preenchimento de IA generativa do Photoshop, 2023.Fonte. Eu tentei, e leva tempo para se acostumar, mas na verdade funciona muito bem!

Outra direção em um espírito semelhante é o Arquitetura da Agência Aberta, que propõe dividir as diferentes partes de uma “mente” de IA (por exemplo, fazer planos, executar planos, interpretar informações do mundo exterior) em componentes separados e introduzir feedback humano diversificado entre essas partes.

Até agora, isso parece mundano e algo que quase todos concordam que seria bom ter. O trabalho do economista Daron Acemoglu está longe desse tipo de futurismo de IA, mas seu novo livro Poder e Progressosugere querer ver mais exatamente desses tipos de IA.

Mas se quisermos extrapolar essa ideia de cooperação entre humanos e IA ainda mais, chegamos a conclusões mais radicais. A menos que criemos um governo mundial poderoso o bastante para detectar e impedir cada pequeno grupo de pessoas hackeando em GPUs individuais com laptops, alguém vai acabar criando uma IA superinteligente eventualmente - uma que possa pensar a mil vezes mais rápidodo que podemos - e nenhuma combinação de humanos usando ferramentas com as mãos será capaz de se sustentar contra isso. E assim, precisamos levar essa ideia de cooperação entre humanos e computadores muito mais fundo e mais longe.

Um primeiro passo natural é interfaces cérebro-computador. As interfaces cérebro-computador podem dar aos humanos acesso muito mais direto a formas de computação e cognição cada vez mais poderosas, reduzindo o ciclo de comunicação bidirecional entre o homem e a máquina de segundos para milissegundos. Isso também reduziria muito o custo de "esforço mental" para obter um computador para ajudá-lo a reunir fatos, dar sugestões ou executar um plano.

Estágios posteriores de tal roadmap admitem-se estranhos. Além das interfaces cérebro-computador, existem vários caminhos para melhorar nossos cérebros diretamente por meio de inovações em biologia. Um eventual passo adicional, que mescla ambos os caminhos, pode envolver carregando nossas mentespara rodar diretamente em computadores. Isso também seria o d/acc definitivo para a segurança física: proteger-nos de danos não seria mais um problema desafiador de proteger corpos humanos inevitavelmente macios, mas sim um problema muito mais simples de fazer backups de dados.

Direções como esta às vezes são recebidas com preocupação, em parte porque são irreversíveis e, em parte, porque podem dar às pessoas poderosas mais vantagens sobre o resto de nós. Interfaces cérebro-computador em particular têm perigos - afinal, estamos falando literalmente sobre ler e escrever nas mentes das pessoas. Essas preocupações são exatamente por isso que eu acho que seria ideal que um papel principal nesse caminho fosse desempenhado por um movimento de código aberto focado em segurança, em vez de corporações fechadas e proprietárias e fundos de capital de risco. Além disso, todos esses problemas são piores com IAs superinteligentes que operam independentemente dos humanos, do que com augmentations que estão intimamente ligados aos humanos. A divisão entre "melhorados" e "não melhorados" já existe hoje devido alimitações em quem pode e quem não pode usar o ChatGPT.

Se quisermos um futuro que seja tanto superinteligente quanto 'humano', um onde os seres humanos não sejam apenas animais de estimação, mas realmente mantenham uma agência significativa sobre o mundo, então parece que algo assim é a opção mais natural. Também existem bons argumentos que defendem que este poderia ser um caminho mais seguro para o alinhamento da IA: ao envolver o feedback humano a cada passo da tomada de decisão, reduzimos o incentivo para transferir a responsabilidade de planejamento de alto nível para a própria IA, e assim reduzimos a chance de a IA fazer algo totalmente desalinhado com os valores da humanidade por conta própria.

Outro argumento a favor desta direção é que pode ser mais socialmente aceitável do que simplesmente gritarpausa AISem uma mensagem complementar que forneça um caminho alternativo à frente. Isso exigirá uma mudança filosófica da mentalidade atual de que os avanços tecnológicos que afetam os humanos são perigosos, mas os avanços que são separados dos humanos são, por padrão, seguros. Mas isso tem um benefício contrário enorme: dá aos desenvolvedores algo a fazer. Hoje, a mensagem principal do movimento de segurança da IA para os desenvolvedores de IA parece servocê deve apenas parar". Pode-setrabalhar em pesquisa de alinhamento, mas hoje isso carece de incentivos econômicos. Comparado a isso, a mensagem comum de “você já é um herói do jeito que é” é compreensivelmente extremamente atraente. Uma mensagem diferente, que diz “você deve construir e criar coisas rentáveis, mas seja muito mais seletivo e intencional para garantir que você esteja construindo coisas que o ajudem a prosperar junto com a humanidade”, pode ser um vencedor.

É o d/acc compatível com a sua filosofia existente?

• Se você é um e/acc, então d/acc é uma subespécie de e/acc - apenas uma subespécie muito mais seletiva e intencional.
• Se você é um altruísta eficaz, então d/acc é uma reformulação da ideia de altruísmo eficaz dedesenvolvimento de tecnologia diferencial, embora com maior ênfase em valores liberais e democráticos.
• Se você é um libertário, então d/acc é uma subespécie de tecno-libertarianismo, embora seja mais pragmática e crítica da 'máquina tecno-capitalista', disposta a aceitar intervenções governamentais hoje (pelo menos, se as intervenções culturais não funcionarem) para evitar uma falta de liberdade muito pior amanhã.
• Se você é um Pluralista, no Sentido de Glen Weyl do termo, então d/acc é um quadro que pode facilmente incluir a ênfase na melhor tecnologia de coordenação democrática que os valores de Pluralidade.
• Se você é um defensor da saúde pública, então as ideias d/acc podem ser uma fonte de uma visão mais ampla a longo prazo e uma oportunidade de encontrar pontos em comum com as pessoas de tecnologia com as quais você pode sentir-se em desacordo.
• Se você é um defensor da blockchain, então d/acc é uma narrativa mais moderna e ampla para abraçar do que a ênfase de quinze anos na hiperinflação e nos bancos, que coloca as blockchains em contexto como uma das muitas ferramentas em uma estratégia concreta para construir um futuro mais brilhante.
• Se você é um solarpunk, então d/acc é uma subespécie de solarpunk e incorpora um foco semelhante na intencionalidade e na ação coletiva.
• Se você é um lunarpunk, então você apreciará o ênfase d/acc na defesa informacional, através da manutenção da privacidade e liberdade.

Somos a estrela mais brilhante

Eu amo tecnologia porque a tecnologia expande o potencial humano. Dez mil anos atrás, poderíamos construir algumas ferramentas manuais, mudar quais plantas crescem em um pequeno pedaço de terra e construir casas básicas. Hoje, podemos construir torres de 800 metros de altura, armazenar toda a extensão do conhecimento humano registrado em um dispositivo que podemos segurar em nossas mãos, comunicar instantaneamente em todo o mundo, dobrar nossa expectativa de vida e viver vidas felizes e realizadas sem medo de nossos melhores amigos morrerem regularmente de doenças.

Começamos de baixo, agora estamos aqui.

Eu acredito que essas coisas são profundamente boas e que expandir o alcance da humanidade ainda mais para os planetas e estrelas é profundamente bom, porque eu acredito que a humanidade é profundamente boa. É moda em alguns círculos ser cético disso: o movimento de extinção humana voluntáriaargumenta que a Terra seria melhor sem os seres humanos existindo, e muitos mais querem verum número muito menor de seres humanosver a luz deste mundo nos séculos vindouros. É comumdiscutirissohumanos são mausporque trapaceamos e roubamos, nos envolvemos em colonialismo e guerra, e maltratamos e aniquilamos outras espécies. Minha resposta a esse estilo de pensamento é uma simples pergunta: comparado a quê?

Sim, os seres humanos muitas vezes são mesquinhos, mas muito mais frequentemente mostramos bondade e misericórdia, e trabalhamos juntos para o nosso benefício comum. Mesmo durante as guerras, muitas vezes cuidamos de proteger os civis - certamente não o suficiente, mas também muito mais do quefizemos 2000 anos atrás. O próximo século pode muito bem trazer carne não baseada em animais amplamente disponível, eliminando o maior catástrofe moralque os seres humanos podem ser justamente culpados hoje. Os animais não são assim. Não há situação em que um gato adote um estilo de vida inteiro de recusar a comer ratos como uma questão de princípio ético. O Sol está ficando mais brilhante a cada ano e em cerca deum bilhão de anos, espera-se que isso torne a Terra quente demais para sustentar a vida. Será que o Sol pensa mesmo no genocídio que vai causar?

E assim é minha firme convicção de que, de todas as coisas que conhecemos e vimos em nosso universo, nós, humanos, somos a estrela mais brilhante. Somos a única coisa que sabemos que, mesmo que imperfeitamente, às vezes faz um esforço sincero para se importar com 'o bem' e ajustar nosso comportamento para melhor servi-lo. Daqui a dois bilhões de anos, se a Terra ou alguma parte do universo ainda tiver a beleza da vida terrena, serão os artefatos humanos como viagens espaciais e geoengenhariaIsso terá feito acontecer.

Precisamos construir e acelerar. Mas há uma pergunta muito real que precisa ser feita: para que direção estamos acelerando? O século XXI pode muito bem ser o século crucialpara a humanidade, o século em que nosso destino para milênios futuros é decidido. Será que caímos em uma série de armadilhas das quais não podemos escapar, ou encontramos um caminho em direção a um futuro onde mantemos nossa liberdade e agência? Estes são problemas desafiadores. Mas aguardo com expectativa observar e participar do grande esforço coletivo de nossa espécie para encontrar as respostas.

Aviso Legal：

1. Este artigo é reproduzido a partir de [ Vitalik Buterin]. Todos os direitos autorais pertencem ao autor original [Vitalik Buterin]. Se houver objeções a esta reimpressão, entre em contato com o Gate Learnequipe e eles vão lidar com isso prontamente.
2. Isenção de responsabilidade: As opiniões expressas neste artigo são exclusivamente do autor e não constituem qualquer conselho de investimento.
3. As traduções do artigo para outros idiomas são feitas pela equipe Gate Learn. Salvo menção em contrário, copiar, distribuir ou plagiar os artigos traduzidos é proibido.