Terima kasih khusus kepada Morgan Beller, Juan Benet, Eli Dourado, Karl Floersch, Sriram Krishnan, Nate Soares, Jaan Tallinn, Vincent Weisser, relawan Balvi, dan yang lainnya atas masukan dan tinjauan.

Bulan lalu, Marc Andreessen menerbitkan “manifesto teknologi-optimisargumen untuk antusiasme yang diperbarui tentang teknologi, dan untuk pasar dan kapitalisme sebagai sarana membangun teknologi tersebut dan mendorong umat manusia menuju masa depan yang jauh lebih cerah. Manifesto ini dengan tegas menolak apa yang digambarkannya sebagai ideologi stagnasi, yang takut akan kemajuan dan memprioritaskan mempertahankan dunia sebagaimana adanya hari ini. Manifesto ini telah mendapatkan banyak perhatian, termasuk artikel tanggapan dari Noah Smith, Robin Hanson, Joshua Gans(lebih positif), danDave Karpf, Luca Ropek, Ezra Klein(lebih negatif) dan banyak lainnya. Tidak terkait dengan manifesto ini, tetapi sejalan dengan tema serupa, adalah "James Pethokoukis’s"Konservatif Futurisdan Palladium'sSudah Saatnya Membangun untuk KebaikanBulan ini, kita menyaksikan perdebatan serupa yang dilakukan melalui Perselisihan OpenAI, yang melibatkan banyak diskusi yang berpusat pada bahaya kecerdasan buatan super dan kemungkinan bahwa OpenAI bergerak terlalu cepat.

Perasaanku sendiri tentang tekonik-optimisme hangat, namun halus. Aku percaya pada masa depan yang jauh lebih cerah dari saat ini berkat teknologi yang sangat transformatif, dan aku percaya pada manusia dan kemanusiaan. Aku menolak mentalitas bahwa yang terbaik yang harus kita coba lakukan adalah menjaga dunia secara kasar sama seperti hari ini tetapi dengan lebih sedikit keserakahan dan lebih banyak perawatan kesehatan publik. Namun, aku berpikir bahwa bukan hanya besarnya yang penting tetapi juga arahnya. Ada jenis teknologi tertentu yang jauh lebih dapat diandalkan membuat dunia menjadi lebih baik daripada jenis teknologi lainnya. Ada jenis teknologi tertentu yang bisa, jika dikembangkan, mengurangi dampak negatif dari jenis teknologi lainnya. Dunia terlalu berfokus pada beberapa arah pengembangan teknologi, dan kurang fokus pada yang lain. Kita memerlukan niat manusia yang aktif untuk memilih arah yang kita inginkan, karena rumus “maksimalkan keuntungan” tidak akan mencapainya secara otomatis.

Dalam pos ini, saya akan membicarakan apa yang teknologi-optimisme artinya bagi saya. Ini mencakup pandangan dunia yang lebih luas yang memotivasi pekerjaan saya pada jenis aplikasi blockchain dan kriptografi tertentu dan teknologi sosial, serta bidang ilmu lain di mana saya telah menunjukkan minat. Tetapi perspektif tentang pertanyaan yang lebih luas ini juga memiliki implikasi untuk Kecerdasan Buatan, dan untuk banyak bidang lainnya. Kemajuan teknologi kita yang cepat kemungkinan besar akan menjadi isu sosial yang paling penting di abad kedua puluh satu, dan oleh karena itu penting untuk memikirkannya dengan hati-hati.

Daftar isi

• Teknologi sangat menakjubkan, dan ada biaya yang sangat tinggi untuk menundanya
  • Lingkungan, dan pentingnya niat yang terkoordinasi
• AI secara mendasar berbeda dari teknologi lain, dan layak untuk diperlakukan dengan hati-hati secara unik
  • Risiko eksistensial adalah masalah besar
  • Bahkan jika kita selamat, apakah masa depan kecerdasan buatan superintelligent adalah dunia di mana kita ingin tinggal?
  • Langit dekat, kaisar di mana-mana
• d/acc: Akselerasi Defensif (atau desentralisasi, atau diferensial)
  • Dunia yang mendukung pertahanan membantu tumbuhnya tata kelola yang sehat dan demokratis
  • Pertahanan fisik makro
  • Pertahanan fisik mikro (alias bio)
  • pertahanan cyber, blockchain, dan kriptografi
  • Info pertahanan
  • Teknologi sosial di luar kerangka "pertahanan"
• Jadi apa saja jalur yang bisa dilalui untuk superkecerdasan?
  • Sebuah jalur yang menyenangkan: bergabung dengan AI?
• Apakah d/acc kompatibel dengan filosofi Anda yang sudah ada?
• Kami adalah bintang paling terang

Teknologi sangat menakjubkan, dan ada biaya yang sangat tinggi untuk menundanya

Dalam beberapa lingkaran, umum untuk meremehkan manfaat teknologi, dan melihatnya terutama sebagai sumber distopia dan risiko. Untuk separuh abad terakhir, hal ini sering berasal baik dari kekhawatiran lingkungan, atau dari kekhawatiran bahwa manfaatnya hanya akan diperoleh oleh orang kaya, yang akan memperkuat kekuasaan mereka atas orang miskin. Baru-baru ini, saya juga mulai melihat libertarian yang khawatir tentang beberapa teknologi, karena takut bahwa teknologi akan menyebabkan sentralisasi kekuasaan. Bulan ini, saya melakukan beberapa jajak pendapatbertanya pertanyaan berikut: jika suatu teknologi harus dibatasi, karena terlalu berbahaya untuk dibebaskan untuk siapa pun menggunakan, apakah mereka lebih suka itu dimonopoli atau ditunda selama sepuluh tahun? Saya kaget melihat, di tiga platform dan tiga pilihan untuk siapa yang akan menjadi pemegang monopoli, suara yang sangat besar untuk penundaan.

Dan kadang-kadang saya khawatir bahwa kami telah melakukan koreksi berlebihan, dan banyak orang melewatkan sisi argumen yang berlawanan: bahwa manfaat teknologiadalahbenar-benar friggin besar, pada sumbu-sumbu di mana kita dapat mengukurnya, kebaikan secara besar-besaran jauh lebih unggul daripada keburukan, dan biaya bahkan satu dekade keterlambatan sangat tinggi.

Sebagai contoh konkret, mari kita lihat bagan harapan hidup:

Apa yang kita lihat? Selama abad terakhir, kemajuan yang sangat besar. Ini benar di seluruh dunia, baik di wilayah yang kaya dan dominan secara historis maupun di wilayah miskin dan dieksploitasi.

Beberapa menyalahkan teknologi atas menciptakan atau memperburuk bencana seperti totaliter dan perang. Bahkan, kita bisa melihat kematian yang disebabkan oleh perang di grafik: satu pada tahun 1910-an (PD1), dan satu pada tahun 1940-an (PD2). Jika Anda melihat dengan seksama, Flu Spanyol, Lonjakan Besar Ke Depan, dan tragedi non-militer lainnya juga terlihat. Tetapi ada satu hal yang jelas dari grafik: bahkan bencana sehoror itu terguncang oleh besarnya kemajuan yang tak berujung dalam makanan, Sanitasi, obatdan infrastruktur yang terjadi selama abad itu.

Hal ini tercermin dari peningkatan besar pada kehidupan sehari-hari kita. Berkat internet, sebagian besar orang di seluruh duniamendapat akses informasi dengan mudah yang tidak bisa didapatkan dua puluh tahun yang lalu. Ekonomi global menjadi lebih terjangkau berkat peningkatan dalam pembayaran internasional dan keuangan. Kemiskinan global cepat turun. Berkat peta online, kita tidak perlu lagi khawatir tersesat di kota, dan jika Anda perlu kembali ke rumah dengan cepat, sekarang kita memiliki cara yang jauh lebih mudah untuk memanggil mobil untuk melakukannya. Properti kita menjadi terdigitalisasi, dan kita barang fisik menjadi murah, berarti kita jauh lebih sedikit harus takut terhadap pencurian fisik. Belanja online telah mengurangi kesenjangan akses terhadap barang antara megakota global dan bagian lain dunia. Dalam berbagai cara, otomatisasi telah memberikan manfaat yang selalu dianggap remeh yaitu hanya membuat kehidupan kita lebih nyaman.

Peningkatan ini, baik yang dapat diukur maupun yang tidak dapat diukur, besar. Dan di abad kedua puluh satu, ada kemungkinan besar bahwa peningkatan yang lebih besar akan segera datang. Saat ini, mengakhiri penuaan dan penyakit terasa utopis. Tapi dari sudut pandangkomputer sebagaimana mereka ada pada tahun 1945, era modernisasi dimana hampir semua barang ditanami chip akan terlihat sangat ideal: bahkan film fiksi ilmiah seringkali menampilkan komputer dengan ukuran ruangan. Jika bioteknologi mengalami kemajuan sebanyak yang terjadi dalam 75 tahun terakhir seperti halnya komputer, masa depan mungkin akan lebih mengesankan daripada harapan hampir siapapun.

Sementara itu, argumen yang mengekspresikan skeptisisme tentang kemajuan seringkali menuju tempat-tempat gelap. Bahkan buku-buku medis, seperti ini pada tahun 1990-an (kreditEmma Szewczakuntuk menemukannya), terkadang membuat klaim ekstrim yang menyangkal nilai dua abad ilmu kedokteran dan bahkan berargumen bahwa tidak jelas bagus untuk menyelamatkan nyawa manusia:

The "batas pertumbuhan"tesis, sebuah gagasan yang dikemukakan pada tahun 1970-an yang berargumen bahwa populasi dan industri yang berkembang akhirnya akan habis sumber daya terbatas Bumi, akhirnya menginspirasiKebijakan satu anak di China dan sterilisasi paksa besar-besaran di IndiaPada era sebelumnya, kekhawatiran tentang kepadatan penduduk digunakan untuk mengesahkanmasspembunuhan. Dan ide-ide itu, diperdebatkan sejak 1798, memiliki sejarah panjang dari terbukti salah.

Alasan seperti ini lah yang membuat saya merasa sangat gelisah tentang argumen untuk melambatkan teknologi atau kemajuan manusia. Mengingat seberapa terhubungnya semua sektor, bahkan perlambatan sektoral itu berisiko. Jadi ketika saya menulis hal-hal seperti yang akan saya katakan nanti dalam posting ini, meninggalkan semangat terbuka untuk kemajuan-tidak-masalah-apa-bentuknya, itu adalah pernyataan yang saya buat dengan berat hati - dan namun, abad ke-21 berbeda dan cukup unik sehingga nuansa-nuansa ini layak dipertimbangkan.

Namun demikian, ada satu titik penting dari nuansa yang perlu dibuat pada gambaran yang lebih luas, terutama ketika kita melewati konsep 'teknologi secara keseluruhan baik' dan beralih ke topik 'teknologi spesifik mana yang baik?'. Dan di sini kita perlu membahas masalah utama yang banyak orang khawatirkan: lingkungan.

Lingkungan, dan pentingnya niat yang terkoordinasi

Sebuah pengecualian utamake arah tren hampir semua hal menjadi lebih baik dalam seratus tahun terakhir adalah perubahan iklim:

Bahkan skenario pesimis dari kenaikan suhu yang terus berlangsung tidak akan mendekati punahnya manusia secara harfiah. Tetapi skenario tersebut dapat membunuh lebih banyak orang daripada perang besar, dan secara serius merugikan kesehatan dan mata pencaharian orang di daerah di mana orang sudah berjuang sebagian besar.Sebuah studi Institut Swiss Remengusulkan bahwa skenario perubahan iklim terburuk dapat menurunkan PDB negara-negara termiskin di dunia hingga 25%.Studi inimengusulkan bahwa masa hidup di pedesaan India mungkin akan sepuluh tahun lebih pendek dari seharusnya, dan studi seperti satu inidansatu iniSaya sarankan bahwa perubahan iklim bisa menyebabkan seratus juta kematian berlebihan pada akhir abad ini.

Masalah-masalah ini adalah masalah besar. Jawaban saya mengapa saya optimis tentang kemampuan kita untuk mengatasi tantangan ini adalah dua kali lipat. Pertama, setelah puluhan tahun histeria dan pikiran yang penuh harapan,tenaga suryaadalahakhirnyaberputarsudut, dan Teknologi pendukung seperti bateraisedang membuat kemajuan yang serupa. Kedua, kita dapat melihat catatan jejak kemanusiaan dalam menyelesaikan masalah lingkungan sebelumnya. Ambil contoh, polusi udara. Temui distopia masa lalu: Kabut Asap Besar London, 1952.

Apa yang terjadi sejak itu? Mari kita tanyakan lagi kepada Our World In Data:

Ternyata, tahun 1952 bahkan bukan puncaknya: pada akhir abad ke-19, konsentrasi polusi udara yang lebih tinggi bahkan hanya diterima dan dianggap normal. Sejak itu, kita telah melihat satu abad penurunan yang berkelanjutan dan cepat. Saya secara pribadi mengalami bagian akhir dari ini dalam kunjungan saya ke China: pada tahun 2014, tingkat kabut asap di udara tinggi,diperkirakan dapat mengurangi harapan hidup lebih dari lima tahun, biasa saja, tetapi pada tahun 2020, udara sering terasa bersih seperti banyak kota di Barat. Ini bukan satu-satunya kisah sukses kami. Di banyak bagian dunia, luas hutan semakin meningkat. Krisis hujan asam membaik. The lapisan ozon telah pulihselama beberapa dekade.

Bagi saya, moral dari cerita ini adalah ini. Seringkali, itu benar-benar kasus bahwa versi N dari teknologi peradaban kita menyebabkan masalah, dan versi N + 1 memperbaikinya. Namun, ini tidak terjadi secara otomatis, dan membutuhkan upaya manusia yang disengaja. Lapisan ozon pulih karena, melalui perjanjian internasional seperti Protokol Montreal, kami membuatnya pulihPencemaran udara sedang membaik karena kami membuatnya membaik. Dan begitu pula, panel surya tidak menjadi jauh lebih baik karena itu adalah bagian yang telah ditentukan sebelumnya dari pohon teknologi energi; panel surya telah menjadi jauh lebih baik karena puluhan tahun kesadaran akan pentingnya menyelesaikan perubahan iklim telah memotivasi baik insinyur untuk bekerja pada masalah tersebut, dan perusahaan-perusahaan dan pemerintah untuk mendanai penelitian mereka. Itu adalah tindakan yang disengaja, yang dikoordinasikan melalui wacana publik dan budaya yang membentuk pandangan pemerintah, ilmuwan, filantropis, dan bisnis, dan bukan sebuah"Mesin Techno-Capital" yang tak terhindarkan, yang telah menyelesaikan masalah-masalah ini.

AI secara mendasar berbeda dari teknologi lain, dan layak untuk sangat hati-hati

Banyak pandangan meremehkan yang saya lihat tentang AI berasal dari perspektif bahwa itu adalah "hanya teknologi lain": sesuatu yang berada di kelas umum yang sama seperti media sosial, enkripsi, kontrasepsi, telepon, pesawat terbang, senjata, mesin cetak, dan roda. Hal-hal ini jelas sangat penting secara sosial. Mereka bukan hanya perbaikan terisolasi untuk kesejahteraan individu: mereka secara radikal mengubah budaya, mengubah keseimbangan kekuasaan, dan merugikan orang-orang yang sangat bergantung pada tatanan sebelumnya. Banyak menentang merekaDan pada akhirnya, para pesimis selalu salah.

Tetapi ada cara yang berbeda untuk memikirkan apa itu AI: ini adalah tipe pikiran baru yang dengan cepat semakin cerdas, dan memiliki peluang serius untuk melampaui kemampuan mental manusia dan menjadi spesies puncak baru di planet ini. Kelompok hal dalam kategori itu jauh lebih sedikit: kita mungkin dengan wajar termasuk manusia melampaui monyet, kehidupan multiseluler melampaui kehidupan uniseluler, asal mula kehidupan itu sendiri, dan mungkin Revolusi Industri, di mana mesin mengalahkan manusia dalam kekuatan fisik. Tiba-tiba, terasa seperti kita berjalan di tanah yang jauh lebih sedikit diinjak.

Risiko eksistensial adalah masalah besar

Salah satu cara di mana AI yang salah bisa membuat dunia menjadi lebih buruk adalah (hampir) cara terburuk yang mungkin: itu bisa secara harfiah menyebabkan kepunahan manusia. Ini adalah klaim ekstrem: sebanyak kerusakan yang mungkin disebabkan oleh skenario terburuk perubahan iklim, atau pandemi buatan atau perang nuklir, ada banyak pulau-pulau peradaban yang akan tetap utuh untuk mengumpulkan potongan-potongan. Tetapi kecerdasan buatan super, jika memutuskan untuk berbalik melawan kita, mungkin tidak akan meninggalkan satu pun yang selamat, dan mengakhiri umat manusia selamanya. Bahkan Marsmungkin tidak aman.

Alasan besar untuk khawatir berkisar seputar konvergensi instrument: untuk kelas tujuan yang sangat luas yang dapat dimiliki oleh entitas superinteligens, dua langkah perantara yang sangat alami yang bisa diambil oleh AI untuk lebih baik mencapai tujuan tersebut adalah (i) mengkonsumsi sumber daya, dan (ii) memastikan keselamatannya. Bumi mengandung banyak sumber daya, dan manusia adalah ancaman yang dapat diprediksikeamanan entitas tersebut. Kita bisa mencoba memberi AI tujuan eksplisit untuk mencintai dan melindungi manusia, tetapi kita memiliki tidak tahubagaimana caranyasebenarnya melakukan itudengan cara yang tidak akan benar-benar rusak begitu saja beg AImenemui situasi yang tidak terdugaJadi, kami memiliki masalah.

Upaya peneliti MIRI Rob Bensingerpada mengilustrasikan perkiraan orang-orang yang berbeda tentang probabilitas bahwa AI akan entah membunuh semua orang atau melakukan sesuatu yang hampir sama buruknya. Banyak posisi tersebut adalah perkiraan kasar berdasarkan pernyataan publik orang-orang, tetapi banyak orang lain telah memberikan perkiraan mereka secara tepat secara publik; cukup banyak yang memiliki 'probabilitas malapetaka' di atas 25%.

Sebuah survei para peneliti pembelajaran mesindari 2022 menunjukkan bahwa secara rata-rata, para peneliti berpikir bahwa ada peluang 5-10% bahwa AI benar-benar akan membunuh kita semua: sekitar probabilitas yang sama dengan peluang yang diharapkan secara statistik bahwa Anda akan mati karena penyebab non-biologis seperti cedera.

Ini semua adalah hipotesis spekulatif, dan kita semua harus waspada terhadap hipotesis spekulatif yang melibatkan cerita kompleks multi-langkah. Namun, argumen-argumen ini telah bertahan selama lebih dari satu dekade pemeriksaan, dan karena itu, sepertinya layak khawatir setidaknya sedikit. Tetapi bahkan jika Anda tidak khawatir tentang kepunahan secara harfiah, ada alasan lain untuk takut juga.

Meskipun kita bertahan, apakah masa depan kecerdasan buatan super adalah dunia tempat kita ingin tinggal?

Banyak fiksi ilmiah modern bersifat distopia, dan melukiskan AI dalam cahaya yang buruk. Bahkan upaya non-fiksi ilmiah untuk mengidentifikasi kemungkinan masa depan AI seringkali memberijawaban yang cukup tidak menarikDan begitu saya berkeliling dan bertanya: apa itu gambaran, apakah fiksi ilmiah atau yang lain, dari masa depan yang berisi kecerdasan buatan superintelligent yang ingin kita tinggali. Jawaban yang paling sering muncul adalah karya Iain Banks's.seri budaya.

Seri Budaya menampilkan peradaban antarbintang jauh di masa depan yang didominasi oleh dua jenis aktor: manusia biasa, dan Kecerdasan Buatan superintelejen yang disebut Pikiran. Manusia telah dimodifikasi, tetapi hanya sedikit: teknologi medis secara teoritis memungkinkan manusia untuk hidup tanpa batas, tetapi kebanyakan memilih untuk hidup hanya sekitar 400 tahun, tampaknya karena mereka bosan dengan kehidupan pada titik tersebut.

Dari sudut pandang yang dangkal, kehidupan sebagai manusia tampak baik: nyaman, masalah kesehatan diurus, banyak pilihan hiburan, dan hubungan positif dan sinergis antara manusia dan Pikiran. Namun, jika kita melihat lebih dalam, ada masalah: tampaknya Pikiran sepenuhnya bertanggung jawab, dan peran manusia dalam cerita hanyalah sebagai tindakan pion dari Pikiran, melakukan tugas atas nama mereka.

Mengutip dariGavin Leech's "Against the Culture":

Manusia bukanlah protagonis. Bahkan ketika buku-buku tersebut tampak memiliki protagonis manusia, yang melakukan hal-hal serius besar, sebenarnya mereka adalah agen dari AI. (Zakalwe adalah salah satu pengecualian, karena dia bisa melakukan hal-hal yang tidak bermoral yang Minds tidak ingin lakukan.) 'Pikiran-pikiran dalam Budaya tidak membutuhkan manusia, namun manusia perlu dibutuhkan.' (Saya pikir hanya sejumlah kecil manusia yang perlu dibutuhkan - atau, hanya sejumlah kecil dari mereka yang membutuhkannya cukup untuk mengorbankan banyak kenyamanan. Kebanyakan orang tidak hidup dalam skala ini. Ini tetap menjadi kritik yang bagus.)

Proyek yang diambil manusia berisiko tidak otentik. Hampir semua hal yang mereka lakukan, mesin bisa melakukannya lebih baik. Apa yang bisa Anda lakukan? Anda dapat memesan Pikiran agar tidak menangkap Anda jika Anda jatuh dari tebing yang sedang Anda daki hanya karena; Anda dapat menghapus cadangan pikiran Anda sehingga Anda benar-benar berisiko. Anda juga dapat meninggalkan Budaya dan bergabung kembali dengan beberapa sipil yang kuno, tidak bebas “bernilai kuat”. Alternatifnya adalah mengkhotbahkan kebebasan dengan bergabung Kontak.

Saya akan berpendapat bahwa bahkan peran-peran 'bermakna' yang diberikan kepada manusia dalam seri Budaya adalah suatu hal yang meragukan; Saya bertanya kepada ChatGPT (siapa lagi?) mengapa manusia diberi peran yang mereka miliki, daripada Pikiran melakukan segalanya sendiri, dan saya secara pribadi menemukan jawabannyacukup mengecewakan. Sepertinya sangat sulit untuk memiliki dunia yang dikuasai kecerdasan buatan yang "ramah" di mana manusia bukanlah apa-apa selain hewan peliharaan.

Dunia yang tidak ingin saya lihat.

Banyak seri scifi lainnya menempatkan dunia di mana AI supercerdas ada, tetapi menerima perintah dari master manusia biologis (yang tidak ditingkatkan). Star Trek adalah contoh yang baik, menunjukkan visi harmoni antara kapal luar angkasa dengan mereka AI "komputer"(danData) dan kru angkatan manusia mereka. Namun, ini terasa seperti suatu keseimbangan yang sangat tidak stabil. Dunia Star Trek terlihat idilis dalam saat ini, tetapi sulit untuk membayangkan visinya tentang hubungan manusia-AI sebagai apa pun selain tahap transisi satu dekade sebelum kapal luar angkasa sepenuhnya dikendalikan oleh komputer, dan dapat berhenti repot dengan lorong besar, gravitasi buatan, dan kontrol iklim.

Seorang manusia yang memberi perintah kepada mesin supercerdas akan jauh lebih cerdas daripada mesin, dan itu akan memiliki akses ke lebih sedikit informasi. Di alam semesta yang memiliki tingkat persaingan apa pun, peradaban di mana manusia mengambil kursi belakang akan mengungguli peradaban di mana manusia dengan keras kepala bersikeras untuk mengendalikan. Selanjutnya, komputer itu sendiri dapat merebut kendali. Untuk melihat mengapa, bayangkan bahwa Anda secara hukum adalah budak harfiah dari seorang anak berusia delapan tahun. Jika Anda bisa berbicara dengan anak untuk waktu yang lama, apakah Anda pikir Anda bisa meyakinkan anak untuk menandatangani selembar kertas yang membebaskan Anda? Saya belum menjalankan eksperimen ini, tetapi jawaban naluriah saya adalah ya yang kuat. Dan secara keseluruhan, manusia menjadi hewan peliharaan tampak seperti penarik yang sangat sulit untuk melarikan diri.

Langit dekat, kaisar ada di mana-mana

Pepatah Cina 天高皇帝远 ("tian gao huang di yuan"), "langit tinggi, kaisar jauh", merangkum fakta dasar tentang batas-batas sentralisasi dalam politik. Bahkan dalam kekaisaran nominal besar dan despotik - pada kenyataannya, terutama jika kekaisaran despotik besar, ada batasan praktis untuk jangkauan dan perhatian kepemimpinan, kebutuhan kepemimpinan untuk mendelegasikan kepada agen lokal untuk menegakkan kehendaknya melemahkan kemampuannya untuk menegakkan niatnya, dan karenanya selalu ada tempat di mana tingkat kebebasan praktis tertentu memerintah. Kadang-kadang, ini dapat memiliki kelemahan: tidak adanya kekuatan yang jauh menegakkan prinsip-prinsip dan hukum yang seragam dapat menciptakan ruang bagi hegemoni lokal untuk mencuri dan menindas. Tetapi jika kekuatan terpusat memburuk, keterbatasan praktis perhatian dan jarak dapat menciptakan batasan praktis seberapa buruk hal itu.

Dengan AI, tidak lagi. Pada abad kedua puluh, teknologi transportasi modern membuat batasan jarak menjadi kendala yang jauh lebih lemah terhadap kekuasaan terpusat daripada sebelumnya; kekaisaran totaliter besar pada tahun 1940-an merupakan hasilnya. Pada abad kedua puluh satu, pengumpulan informasi yang dapat diskalakan dan otomatisasi mungkin berarti bahwa perhatian juga tidak lagi menjadi kendala. Konsekuensi dari hilangnya batasan alami terhadap pemerintah secara keseluruhan bisa sangat buruk.

kekuasaan otoriter digital telah menjadinaik selama satu dekade, dan teknologi pengawasan telah memberikan pemerintahan otoriter strategi baru yang kuat untuk menindak oposisi: biarkan protes terjadi, tapi kemudian deteksi dan pergi diam-diam setelahpara pesertasetelah kejadianLebih umumnya, ketakutan dasar saya adalah bahwa jenis teknologi manajerial yang sama yang memungkinkan OpenAI melayani lebih dari seratus juta pelanggan dengan 500 karyawanjuga akan memungkinkan elit politik 500 orang, atau bahkan dewan 5 orang, untuk menjaga kekuasaan besi atas seluruh negara. Dengan pengawasan modern untuk mengumpulkan informasi, dan kecerdasan buatan modern untuk menginterpretasikannya, mungkin tidak ada tempat untuk bersembunyi.

Hal ini menjadi lebih buruk ketika kita memikirkan konsekuensi dari AI dalam peperangan. Mengutip sebuahposting semi-terkenaltentang filsafat AI dan kripto oleh0xAlpha:

Ketika tidak ada kebutuhan untuk pekerjaan politik-ideologis dan mobilisasi perang, panglima perang hanya perlu mempertimbangkan situasi itu sendiri seolah-olah itu adalah permainan catur dan sepenuhnya mengabaikan pikiran dan emosi bidak/kuda/benteng di papan catur. Perang menjadi permainan teknologi murni.

Selain itu, kerja politik-ideologis dan mobilisasi perang membutuhkan pembenaran bagi siapa pun untuk berperang. Jangan meremehkan pentingnya "pembenaran" semacam itu. Ini telah menjadi kendala legitimasi pada perang dalam masyarakat manusia selama ribuan tahun. Siapa pun yang ingin berperang harus memiliki alasan, atau setidaknya alasan yang dapat dibenarkan secara dangkal. Anda mungkin berpendapat bahwa kendala ini sangat lemah karena, dalam banyak kasus, ini tidak lebih dari sebuah alasan. Misalnya, beberapa (jika tidak semua) Perang Salib benar-benar menduduki tanah dan merampok kekayaan, tetapi mereka harus dilakukan atas nama Tuhan, bahkan jika kota yang dirampok adalah Konstantinopel Tuhan. Namun, bahkan kendala yang lemah masih menjadi kendala! Persyaratan alasan kecil ini saja sebenarnya mencegah para pembuat perang menjadi benar-benar tidak bermoral dalam mencapai tujuan mereka. Bahkan kejahatan seperti Hitler tidak bisa begitu saja melancarkan perang langsung dari kelelawar – dia harus menghabiskan bertahun-tahun pertama mencoba meyakinkan bangsa Jerman untuk memperjuangkan ruang hidup bagi ras Arya yang mulia.

Hari ini, 'manusia dalam lingkaran' menjadi pemeriksa penting atas kekuasaan seorang diktator untuk memulai perang, atau menindas warganya secara internal. Manusia dalam lingkaran memiliki mencegahnuklirperang, memungkinkan pembukaan tembok Berlin, dan menyelamatkan nyawa selama kekejamansepertiyang HolocaustJika pasukan adalah robot, pemeriksaan ini benar-benar hilang. Seorang diktator bisa mabuk pada pukul 10 malam, marah pada orang-orang yang tidak sopan pada mereka di Twitter pada pukul 11 malam, dan armada invasi robot bisa melintasi perbatasan untuk menaburkan neraka pada warga negara dan infrastruktur negara tetangga sebelum tengah malam.

Dan tidak seperti era sebelumnya, di mana selalu ada sudut yang jauh, di mana langit tinggi dan kaisar jauh, di mana lawan rezim bisa berkumpul kembali, bersembunyi, dan akhirnya menemukan cara untuk memperbaiki keadaan, dengan kecerdasan buatan abad ke-21 rezim totaliter mungkin saja dapat mempertahankan cukup pengawasan dan kontrol atas dunia untuk tetap 'terkunci' selamanya.

d/acc: Akselerasi Defensif (atau desentralisasi, atau diferensial)

Selama beberapa bulan terakhir, gerakan “e/acc” (“effective accelerationist”) telah mendapatkan banyak dukungan.Disarikan oleh “Beff Jezos” di sini, e/acc pada dasarnya tentang menghargai manfaat yang benar-benar besar dari kemajuan teknologi, dan keinginan untuk mempercepat tren ini untuk membawa manfaat tersebut lebih cepat.

Saya merasa simpatik terhadap perspektif e/acc dalam banyak konteks. Ada banyak bukti bahwa FDA terlalu konservatifdalam kesediaannya untuk menunda atau menghalangi persetujuan obat-obatan, dan bioetika secara umum terlalu sering terlihat beroperasi dengan prinsip bahwa “20 orang meninggal dalam eksperimen medis yang salah adalah tragedi, tetapi 200.000 orang meninggal akibat penundaan pengobatan penyelamat adalah statistik”. Penundaan dalam menyetujui tes covid dan vaksin, dan vaksin malaria, tampaknya semakin mengkonfirmasi ini. Namun, mungkin juga mungkin untuk mengambil sudut pandang ini terlalu jauh.

Selain kekhawatiran terkait AI saya, saya merasa sangat ambivalen tentang e/acc antusiasmeuntukteknologi militerDalam konteks saat ini pada tahun 2023, di mana teknologi ini dibuat oleh Amerika Serikat dan segera diterapkan untuk membela Ukraina, mudah untuk melihat bagaimana hal itu dapat menjadi kekuatan yang baik. Namun, jika dilihat secara lebih luas, antusiasme tentang teknologi militer modern sebagai kekuatan yang baik tampaknya memerlukan keyakinan bahwa kekuatan teknologi yang dominan akan dapat diandalkan sebagai salah satu pihak yang baik dalam kebanyakan konflik, baik sekarang maupun di masa depan: teknologi militer dianggap baik karena teknologi militer dibangun dan dikendalikan oleh Amerika dan Amerika dianggap baik. Apakah menjadi seorang penggemar Amerika memerlukan menjadi seorang maksimalis, mempertaruhkan segalanya pada moralitas pemerintah saat ini dan masa depan serta kesuksesan masa depan negara?

Di sisi lain, saya melihat kebutuhan akan pendekatan baru dalam berpikir tentang bagaimana mengurangi risiko-risiko ini. Struktur tata kelola OpenAIadalah contoh baik: tampaknya sebagai upaya yang baik untuk menyeimbangkan kebutuhan untuk menghasilkan keuntungan untuk memuaskan investor yang memberikan modal awal dengan keinginan untuk memiliki pemeriksaan dan keseimbangan untuk menentang langkah-langkah yang berisiko OpenAI meledakkan dunia. Namun, dalam praktiknya, yang terbaru merekaupaya untuk memecat Sam Altmanmembuat struktur tersebut terlihat seperti kegagalan mutlak: ini memusatkan kekuatan dalam dewan lima orang yang tidak demokratis dan tidak bertanggung jawab, yang membuat keputusan kunci berdasarkan informasi rahasia dan menolak memberikan rincian tentang alasan merekasampai karyawan mengancam untuk berhentisecara massal. Entah bagaimana, dewan nirlaba memainkan tangan mereka begitu buruk sehingga karyawan perusahaan dibuatsebuahpersatuan de-facto mendadak...untuk mendukung CEO miliarder melawan mereka.

Secara umum, saya melihat terlalu banyak rencana untuk menyelamatkan dunia yang melibatkan memberikan kekuasaan ekstrem dan tidak transparan kepada sekelompok kecil orang dan berharap bahwa mereka menggunakannya dengan bijaksana. Dan itulah mengapa saya tertarik pada filosofi yang berbeda, yang memiliki ide-ide rinci tentang bagaimana mengatasi risiko, namun berusaha menciptakan dan menjaga dunia yang lebih demokratis dan berupaya menghindari sentralisasi sebagai solusi utama untuk masalah-masalah kita. Filosofi ini juga jauh lebih luas daripada AI, dan saya berpendapat bahwa ini berlaku dengan baik bahkan di dunia di mana kekhawatiran risiko AI ternyata sebagian besar tidak beralasan. Saya akan menyebut filosofi ini dengan nama d/acc.

dacc3

Huruf 'd' di sini bisa melambangkan banyak hal; khususnya, pertahanan, desentralisasi, demokrasi, dan diferensial. Pertama, pikirkan itu tentang pertahanan, dan kemudian kita bisa melihat bagaimana hal ini terkait dengan interpretasi lainnya.

Dunia yang mendukung pertahanan membantu tumbuhnya tata kelola yang sehat dan demokratis

Satu kerangka untuk memikirkan konsekuensi makro dari teknologi adalah melihat keseimbangan pertahanan vs serangan. Beberapa teknologi membuat lebih mudah untuk menyerang orang lain, dalam arti luas istilah tersebut: melakukan hal-hal yang bertentangan dengan kepentingan mereka, yang mereka rasakan perlu mereka reaksi. Yang lain membuat lebih mudah untuk bertahan, bahkan bertahan tanpa ketergantungan pada aktor sentral besar.

Sebuah dunia yang cenderung memihak pertahanan adalah dunia yang lebih baik, dengan banyak alasan. Pertama tentu saja adalah manfaat langsung dari keamanan: lebih sedikit orang yang meninggal, nilai ekonomi yang lebih sedikit hancur, waktu yang lebih sedikit terbuang pada konflik. Namun, yang kurang dihargai adalah bahwa dunia yang cenderung memihak pertahanan membuat lebih mudah bagi bentuk pemerintahan yang lebih sehat, lebih terbuka, dan lebih menghormati kebebasan untuk berkembang.

Sebuah contoh yang jelas dari hal ini adalah Swiss. Swiss sering dianggap sebagai sesuatu yang paling mendekati dunia nyata memiliki utopia tata pemerintahan klasik-liberal. Jumlah kekuasaan yang besar didelegasikan ke provinsi-provinsi (yang disebut "kanton"), keputusan-keputusan pentingditentukan oleh referendum, dan banyak penduduk lokal tidak tahu siapa presidennyaBagaimana negara seperti ini bisa bertahan sangat menantangpolitiktekanan? Bagian dari jawabanadalahstrategi politik yang sangat baik, tetapi bagian lainnya yang besar adalah geografi yang sangat memihak pertahanan) dalam bentuk medannya yang berbukit.

Bendera adalah sebuah tambah besar. Tapi begitu pula dengan pegunungan.

Masyarakat anarkis di Zomia, yang terkenal diprofilkan dalam buku baru James C Scott“Seni Tidak Diperintah”, adalah contoh lain: mereka juga menjaga kebebasan dan kemandirian mereka sebagian besar berkat medan pegunungan. Sementara itu, stepa Eurasia adalah kebalikan persis dari sebuah utopia tata kelola. Paparan Sarah Paine tentang kekuatan maritim versus kekuatan benuamembuat poin yang serupa, meskipun berfokus pada air sebagai penghalang pertahanan daripada gunung. Bahkan, kombinasi kemudahan perdagangan sukarela dan kesulitan invasi paksa, umum bagi Swiss dan negara-negara pulau, nampaknya ideal untuk kemakmuran manusia.

Saya menemukan fenomena terkait saat menyarankan eksperimen pendanaan kuadratik dalam ekosistem Ethereum: khususnyaPutaran pendanaan Gitcoin Grants. Di putaran 4, sebuah mini-skandal muncul ketika beberapa penerima dengan pendapatan tertinggi adalah pengaruh Twitter, kontribusi mereka dianggap positif oleh beberapa orang dan negatif oleh yang lain. Interpretasi saya sendiri tentang fenomena ini adalah bahwa ada ketidakseimbangan: pendanaan kuadratikmemungkinkan Anda untuk menandakan bahwa Anda pikir sesuatu adalah kebaikan publik, tetapi tidak memberikan cara untuk menandakan bahwa sesuatu adalah keburukan publik. Pada tingkat ekstrim, sistem pendanaan kuadratik yang sepenuhnya netral akan mendanai kedua belah pihak dalam perang. Dan begitu juga untuk putaran 5, Saya mengusulkan agar Gitcoin menyertakan kontribusi negatif: Anda membayar $1 untuk mengurangi jumlah uang yang diterima proyek tertentu (dan secara implisit mendistribusikannya ke semua proyek lain). Hasilnya: banyakdariorangmembenciitu.

Salah satu meme internet yang beredar setelah putaran 5.

Ini sepertinya menjadi mikrokosmos dari pola yang lebih besar: menciptakan mekanisme tata kelola terdesentralisasi untuk menangani eksternalitas negatif secara sosial merupakan masalah yang sangat sulit. Ada alasan mengapa contoh tata kelola terdesentralisasi yang salah adalah hukum rimba. Adasesuatu tentang psikologi manusiayang membuat merespons hal negatif menjadi jauh lebih sulit, dan jauh lebih mungkin untuk berjalan sangat salah, daripada merespons hal positif. Dan inilah alasan mengapa bahkan di organisasi yang sejauh ini sangat demokratis, keputusan tentang bagaimana merespons hal negatif seringkali dibiarkan kepada dewan terpusat.

Dalam banyak kasus, paradoks ini merupakan salah satu alasan mendalam mengapa konsep 'kebebasan' begitu berharga. Jika seseorang mengatakan sesuatu yang menyakiti Anda, atau memiliki gaya hidup yang Anda anggap menjijikkan, rasa sakit dan jijik yang Anda rasakan nyata, dan Anda mungkin bahkan merasa lebih baik jika dipukul secara fisik daripada terpapar hal-hal seperti itu. Namun, mencoba untuk setuju pada jenis pelanggaran dan ketidaksenonohan apa yang dapat diambil tindakan sosial dapat memiliki biaya dan bahaya jauh lebih besar daripada sekadar mengingatkan diri kita bahwa jenis-jenis aneh dan orang brengsek adalah harga yang kita bayar untuk hidup di masyarakat yang bebas.

Pada waktu lain, namun, pendekatan “tersenyum dan terimalah” tidak realistis. Dan dalam kasus-kasus seperti itu, jawaban lain yang kadang-kadang layak dipertimbangkan adalah teknologi pertahanan. Semakin amannya internet, semakin sedikit kita perlu melanggar privasi orang dan menggunakan taktik diplomatik internasional yang kotor untuk menindak setiap peretas individu. Semakin kita dapat membangun alat yang dipersonalisasi untuk memblokir orang di Twitter, alat di browser untuk mendeteksi penipuandanalat kolektif untuk membedakan informasi yang salahdankebenaranSemakin cepat kita dapat membuat vaksin, semakin sedikit hal yang harus diperdebatkan tentang sensor. Semakin cepat kita dapat membuat vaksin, semakin sedikit hal yang harus diperdebatkan tentang penyebaran super. Solusi seperti itu tidak berlaku di semua domain - kita tentu tidak menginginkan dunia di mana setiap orang harus mengenakan baju zirah secara harfiah - tetapi di domain di mana kita dapat membangun teknologi untuk membuat dunia lebih memihak pertahanan, ada nilai yang sangat besar dalam melakukannya.

Ide inti ini, bahwa beberapa teknologi cenderung memihak pertahanan dan layak dipromosikan, sementara teknologi lain cenderung memihak serangan dan seharusnya dihindari, memiliki akar dalam literatur altruisme efektif dengan nama yang berbeda: pengembangan teknologi diferensial. Ada penjelasan prinsip ini dari para peneliti University of Oxforddari 2022:

Gambar 1: Mekanisme di mana pengembangan teknologi diferensial dapat mengurangi dampak negatif pada masyarakat.

Tidak dapat dihindari akan adanya ketidaksempurnaan dalam mengklasifikasikan teknologi sebagai ofensif, defensif, atau netral. Sama halnya dengan “kebebasan”, di mana seseorang dapat memperdebatkan apakah kebijakan pemerintah sosial-demokrat mengurangi kebebasan dengan memberlakukan pajak berat dan memaksa pengusaha atau meningkatkan kebebasan dengan mengurangi kekhawatiran orang biasa terhadap banyak jenis risiko, dengan “pertahanan” juga ada beberapa teknologi yang dapat berada di kedua sisi spektrum tersebut. Senjata nuklir cenderung ofensif, namun energi nuklir adalahmemihak kesejahteraan manusiadan ofensif-defensif-netral. Berbagai teknologi mungkin memainkan peran yang berbeda pada horison waktu yang berbeda. Tetapi sama seperti dengan "kebebasan" (atau "kesetaraan", atau "aturan hukum"), ambiguitas di pinggiran bukanlah begitu banyak sebagai argumen menentang prinsip itu, tetapi sebagai kesempatan untuk lebih memahami nuansa-nuansanya.

Sekarang, mari kita lihat bagaimana menerapkan prinsip ini ke pandangan dunia yang lebih komprehensif. Kita bisa berpikir tentang teknologi pertahanan, seperti teknologi lainnya, yang dibagi menjadi dua bidang: dunia atom dan dunia bit. Dunia atom, pada gilirannya, dapat dibagi menjadi mikro (yaitu biologi, kemudian nanoteknologi) dan makro (yaitu apa yang secara konvensional kita pikirkan sebagai “pertahanan”, tetapi juga infrastruktur fisik yang tangguh). Dunia bit akan saya bagi berdasarkan sumbu yang berbeda: seberapa sulitnya untuk setuju, pada prinsipnya, siapa penyerangnya?. Terkadang mudah; saya menyebutnya pertahanan cyber. Di lain waktu lebih sulit; saya menyebutnya pertahanan informasi.

Pertahanan fisik makro

Teknologi pertahanan yang paling dianggap remeh di ranah makro bahkan tidakkubah besi (termasuk sistem baru Ukraina) dan perangkat keras militer anti-teknologi dan anti-peluru kendali lainnya, tetapi infrastruktur fisik yang tangguh. Sebagian besar kematian akibat perang nuklir kemungkinan besar akan berasal dari gangguan rantai pasokan, bukan radiasi dan ledakan awal, dan solusi internet berinfrastruktur rendah seperti Starlink telah menjadi sangat penting dalammemelihara konektivitas Ukrainaselama setahun setengah terakhir.

Membangun alat untuk membantu orang bertahan hidup dan bahkan hidup nyaman secara mandiri atau semi-mandiri dari rantai pasokan internasional yang panjang sepertinya merupakan teknologi defensif yang berharga, dan satu-satunya dengan risiko rendah menjadi berguna untuk serangan.

Pencarian untuk membuat kemanusiaan menjadi peradaban multi-planetaryDapat juga dilihat dari sudut pandang d/acc: memiliki setidaknya beberapa dari kita hidup mandiri di planet lain dapat meningkatkan ketahanan kita terhadap sesuatu yang mengerikan terjadi di Bumi. Bahkan jika visi lengkap terbukti tidak layak untuk saat ini, bentuk-bentuk kehidupan mandiri yang harus dikembangkan untuk membuat proyek seperti itu mungkin juga dapat digunakan untuk membantu meningkatkan ketahanan peradaban kita di Bumi.

Pertahanan fisik mikro (alias bio)

Terutama karenaefek kesehatan jangka panjang, Covid terus menjadi sebuah perhatianTetapi Covid jauh dari pandemi terakhir yang akan kita hadapi; ada banyak aspek dunia modern yang membuat kemungkinan lebih banyak pandemi segera akan datang:

• Kepadatan penduduk yang lebih tinggi membuat virus udara dan patogen lainnya jauh lebih mudah menyebar. Penyakit wabah relatif baru dalam sejarah manusia dan sebagian besar dimulai dengan urbanisasihanya beberapa ribu tahun yang lalu. Urbanisasi cepat yang sedang berlangsungberarti bahwa kepadatan penduduk akan meningkat lebih lanjut dalam setengah abad mendatang.
• Peningkatan perjalanan udara berarti patogen yang tersebar dengan sangat cepat di seluruh dunia. Orang-orang dengan cepat menjadi lebih kaya berarti bahwa perjalanan udara kemungkinan besar akan meningkat lebih jauhselama setengah abad berikutnya; pemodelan kompleksitas menunjukkan bahwabahkan peningkatan kecilmungkin memiliki efek drastis. Perubahan iklim mungkin meningkatkan risiko ini bahkan lebih jauh.
• Pemeliharaan hewan dan peternakan massal adalah faktor risiko utama.Campak mungkin berevolusi dari virus sapi kurang dari 3000 tahun yang lalu. Pabrik peternakan hari ini juga bertani strain baru influenza (serta mendorong resistensi antibiotik, dengan konsekuensi bagi kekebalan alami manusia.
• Bio-engineering modern membuatnya lebih mudah untuk membuat patogen baru dan lebih ganas. COVID mungkin atau tidak sengaja bocor dari laboratorium yang melakukan penelitian "gain of function" yang disengaja. Terlepas kebocoran laboratorium terjadi sepanjang waktu, dan alat meningkat pesat untuk membuatnya lebih mudah untuk sengaja membuat virus yang sangat mematikan, atau bahkan prions (protein zombie. Wabah buatan sangat mengkhawatirkan terutama karena tidak seperti nukes, mereka tidak dapat diatribusikan: Anda dapat melepaskan virus tanpa ada yang tahu siapa yang membuatnya. Hal ini dimungkinkan sekarang untuk merancang urutan genetik dan mengirimkannya ke lab basahuntuk mensintesis, dan memiliki itu dikirim kepada Anda dalam waktu lima hari.

Ini adalah area di mana CryptoReliefdanBalvi, dua organisasi dibentuk dan didanai sebagai hasil dari sebuah kecelakaan besar keuntungan besar dari koin Shiba Inupada tahun 2021, telah sangat aktif. CryptoRelief pada awalnya berfokus pada menanggapi krisis yang terjadi dan baru-baru ini telah membangun ekosistem penelitian medis jangka panjang di India, sementara Balvi telah fokus pada proyek moonshot untuk meningkatkan kemampuan kita dalam mendeteksi, mencegah, dan mengobati Covid dan penyakit udara lainnya. ++Balvi telah menekankan bahwa proyek yang didanainya harus open source++. Mengambil inspirasi darigerakan rekayasa air abad ke-19 yang berhasil mengalahkan kolera dan patogen yang ditularkan melalui air lainnya, ia telah mendanai proyek-proyek di seluruh spektrum teknologi yang dapat membuat dunia lebih keras terhadap patogen di udara secara default (lihat: pembaruan 1danperbarui 2) , termasuk:

• Far-UVCiradiasiPenelitian & Pengembangan
• Pemfilteran udara dan pemantauan kualitas udara di India, Sri Lanka, Amerika Serikatdan di tempat lainnya, serta pemantauan kualitas udara
• Peralatan untuk murah dan efektifpengujian kualitas udara terdesentralisasi
• Penelitian tentang penyebab Long Covid dan opsi pengobatan potensial (penyebab utama mungkin adalahlangsung ke depantetapimengklarifikasi mekanismedan menemukan pengobatan lebih sulit)
• Vaksin (misalnya RaDVaC, PopVax) dan penelitian cedera vaksin
• Sebuah set alat medis non-invasif yang benar-benar baru
• Deteksi dini wabah menggunakan analisis data open-source (mis. EPIWATCH)
• Pengujian, termasuk tes cepat molekuler yang sangat murah
• Masker yang sesuai dengan keamanan biologis saat pendekatan lain gagal

Area lain yang menjanjikan termasukpemantauan air limbah patogen, memperbaiki penyaringan dan ventilasi di gedung-gedung, dan pemahaman yang lebih baik serta mitigasi yang lebih baik risiko dari kualitas udara yang buruk.

Ada kesempatan untukmembangun duniaitu jauh lebih lebih keras terhadap pandemi udara, baik alami maupun buatan, secara default. Dunia ini akan menampilkan pipa yang sangat dioptimalkan di mana kita dapat beralih dari dimulainya pandemi, hingga secara otomatis terdeteksi, hingga orang-orang di seluruh dunia memiliki akses kevaksin open source yang dapat diproduksi secara lokal dan diverifikasiatauprophylaktik lainnya, dikelola melalui nebulisasiatausemprotan hidung(yang berarti: dapat dikelola sendiri jika diperlukan, dan tidak memerlukan jarum), semua dalam waktu sebulan. Sementara itu, kualitas udara yang jauh lebih baik akan secara drastis mengurangi laju penyebaran, dan mencegah banyak pandemi dari timbul sama sekali.

Bayangkanlah sebuah masa depan yang tidak perlu mengandalkan palu besar dari paksaan sosial - tanpa mandat dan yang lebih buruk, dan tanpa risiko darimandat yang dirancang dan diterapkan dengan buruk yang bisa dikatakan membuat segalanya menjadi lebih burukKarena infrastruktur kesehatan masyarakat terjalin dalam struktur peradaban. Dunia-dunia ini memungkinkan, dan sejumlah dana yang cukup untuk bio-defense dapat membuat hal itu terjadi. Pekerjaan akan berjalan dengan lebih lancar jika perkembangan bersifat open source, gratis bagi pengguna, dan dilindungi sebagai barang publik.

pertahanan cyber, blockchain, dan kriptografi

Umumnya dipahami di kalangan profesional keamanan bahwa kondisi keamanan komputer saat ini sangat buruk. Namun, mudah untuk meremehkan kemajuan yang telah dicapai. Ratusan miliar dolar cryptocurrency tersedia untuk dicuri secara anonim oleh siapa pun yang dapat meretas dompet pengguna, dan sementara jauh lebih banyak yang hilang atau dicuridaripada yang saya inginkan, juga fakta bahwa sebagian besar telah tetap tidak dicuri selama lebih dari satu dekade. Baru-baru ini, telah terjadi peningkatan:

• Chip perangkat keras tepercaya di dalam ponsel pengguna, secara efektif menciptakan sistem operasi keamanan tinggi yang jauh lebih kecil di dalam ponsel yang dapat tetap terlindungi bahkan jika bagian lain dari ponsel tersebut diretas. Di antara banyak kasus penggunaan lainnya, chip-chip ini semakin banyak dieksplorasi sebagai cara untuk membuat dompet kripto yang lebih aman.
• Browser sebagai sistem operasi de-facto. Selama sepuluh tahun terakhir, terjadi pergeseran yang cukup tenang dari aplikasi yang dapat diunduh menjadi aplikasi di browser. Hal ini sebagian besar dimungkinkan oleh WebAssembly (WASM)Bahkan Adobe Photoshop, yang sering disebut sebagai alasan utama mengapa banyak orang tidak dapat secara praktis menggunakan Linux karena kebutuhannya dan ketidakcocokannya dengan Linux, kini ramah terhadap Linux berkat adanya di dalam browser. Ini juga memberikan keuntungan keamanan yang besar: sementara browser memang memiliki kekurangan, secara umum, aplikasi web biasanya dilengkapi dengan sandboxing yang lebih ketat daripada aplikasi yang diinstal: aplikasi tidak dapat mengakses file sembarangan di komputer Anda.
• Sistem operasi yang diperkuat. GrapheneOSuntuk seluler sudah ada, dan sangat mudah digunakan.QubesOSuntuk desktop sudah ada; saat ini agak kurang dapat digunakan dibandingkan dengan Graphene, setidaknya berdasarkan pengalaman saya, tetapi sedang meningkat.
• Upaya untuk melampaui kata sandi. Sayangnya, kata sandi sulit diamankan karena sulit diingat, dan karena mereka mudah didengarkanBaru-baru ini, ada gerakan yang semakin meningkat untuk mengurangi penekanan pada kata sandi, dan membuat otentikasi berbasis perangkat keras multi-faktorbenar-benar bekerja.

Namun, kurangnya pertahanan cyber di bidang lain juga telah menyebabkan kemunduran besar. Kebutuhan untuk melindungi dari spam telah membuat email menjadi sangat oligopolistik dalam praktiknya, membuatnya sangat sulit untuk di-host sendiri atau membuat penyedia email baru. Banyak aplikasi online, termasuk Twitter, mengharuskan pengguna untuk masuk untuk mengakses konten, dan memblokir IP dari VPN, sehingga lebih sulit untuk mengakses internet dengan cara yang melindungi privasi. Sentralisasi perangkat lunak juga berisiko karena "ketergantungan yang dipersenjatai": kecenderungan teknologi modern untuk melalui titik-titik pusat terpusat, dan bagi para operator dari titik-titik tersebut untuk menggunakan kekuatan itu untuk mengumpulkan informasi, memanipulasi hasil atau mengesampingkan aktor-aktor tertentu - sebuah strategi yang tampaknya bahkan saat ini digunakanterhadap industri blockchain itu sendiri.

Ini adalah tren yang mengkhawatirkan, karena hal ini mengancam apa yang secara historis merupakan salah satu harapan besar saya untuk mengapa masa depan kebebasan dan privasi, meskipun ada kompromi yang dalam, masih bisa berubah menjadi cerah. Dalam bukunya “Masa Depan Tidak Sempurna”, David Friedman memprediksi bahwa kita mungkin akan mendapatkan kompromi di masa depan: dunia tatap muka akan semakin banyak diawasi, tetapi melalui kriptografi, dunia online akan tetap, dan bahkan meningkatkan, privasinya. Sayangnya, seperti yang telah kita lihat, tren sebaliknya tidak terjamin.

Ini adalah tempat saya sendiri menekankan pada teknologi kriptografi seperti blockchain dan bukti pengetahuan nolmasuk ke dalam. Blockchain memungkinkan kita membuat struktur ekonomi dan sosial dengan “hard drive bersama” tanpa harus bergantung pada aktor-aktor terpusat. Cryptocurrency memungkinkan individu untuk menyimpan uang dan melakukan transaksi keuangan, sebagaimana mereka bisa sebelum internet dengan uang tunai, tanpa ketergantungan pada pihak ketiga tepercaya yang bisa mengubah aturan mereka seenaknya. Mereka juga dapat berfungsi sebagai mekanisme anti-sybil cadangan.Membuat serangan dan spam menjadi mahalbahkan bagi pengguna yang tidak memiliki atau tidak ingin mengungkap identitas fisik mereka. Abstraksi akun, dan terutamadompet pemulihan sosial, dapat melindungi aset kripto kita, dan mungkin aset lain di masa depan, tanpa terlalu bergantung pada perantara terpusat.

Bukti pengetahuan nol dapat digunakan untuk privasi, memungkinkan pengguna untuk membuktikan hal-hal tentang diri mereka tanpa harus mengungkapkan informasi pribadi. Sebagai contoh, bungkus sebuah tanda tangan paspor digitaldalam sebuah ZK-SNARK untuk membuktikan bahwa Anda adalah warga negara unik dari suatu negara tertentu, tanpa mengungkapkan warga negara mana yang Anda adalah. Teknologi seperti ini dapat memungkinkan kita mempertahankan manfaat privasi dan anonimitas - properti yang secara luas disepakati sebagaidiperlukan untuk aplikasi seperti pemungutan suara- sambil tetap mendapatkan jaminan keamanan dan melawan spam dan pelaku buruk.

Sebuah desain yang diusulkan untuk sistem media sosial ZK, di mana tindakan moderasi dapat terjadi dan pengguna dapat dikenai sanksi, semua tanpa perlu mengetahui identitas seseorang.

Zupass, diinkubasi di Zuzaluawal tahun ini, adalah contoh yang sangat baik dari ini dalam praktek. Ini adalah sebuah aplikasi, yang telah digunakan oleh ratusan orang di Zuzalu dan baru-baru ini oleh ribuan orang untuk pembelian tiket di Devconnect, yang memungkinkan Anda untuk menyimpan tiket, keanggotaan, (non-transferable) koleksi digital, dan pengakuan lainnya, dan membuktikan hal-hal tentang semuanya tanpa mengorbankan privasi Anda. Misalnya, Anda dapat membuktikan bahwa Anda adalah penduduk terdaftar unik dari Zuzalu, atau pemegang tiket Devconnect, tanpa mengungkapkan hal lain tentang siapa Anda. Bukti-bukti ini dapat ditunjukkan secara langsung, melalui kode QR, atau secara digital, untuk masuk ke aplikasi seperti Zupoll, sistem pemungutan suara yang anonim hanya tersedia untuk penduduk Zuzalu.

Teknologi-teknologi ini adalah contoh yang sangat baik dari prinsip d/acc: mereka memungkinkan pengguna dan komunitas untuk memverifikasi kepercayaan tanpa mengorbankan privasi, dan melindungi keamanan mereka tanpa bergantung pada titik-titik sentral yang memberlakukan definisi mereka sendiri tentang siapa yang baik dan buruk. Mereka meningkatkan aksesibilitas global dengan menciptakan cara yang lebih baik dan lebih adil untuk melindungi keamanan pengguna atau layanan daripada teknik umum yang digunakan saat ini, seperti diskriminasi terhadap seluruh negara yang dianggap tidak dapat dipercaya. Ini adalah primitif yang sangat kuat yang mungkin diperlukan jika kita ingin mempertahankan visi desentralisasi keamanan informasi menuju abad ke-21. Bekerja pada teknologi pertahanan untuk dunia maya secara lebih luas dapat menjadikan internet lebih terbuka, aman, dan bebas dengan cara yang sangat penting ke depannya.

Info-defense

Pertahanan cyber, seperti yang telah saya jelaskan, adalah tentang situasi di mana mudah bagi manusia yang masuk akal untuk semua mencapai konsensus tentang siapa penyerangnya. Jika seseorang mencoba meretas dompet Anda, mudah untuk setuju bahwa peretas adalah orang jahat. Jika seseorang mencoba menyerang situs web, mudah untuk menyetujui bahwa mereka jahat, dan secara moral tidak sama dengan pengguna biasa yang mencoba membaca apa yang ada di situs tersebut. Ada situasi lain di mana garis-garisnya lebih buram. Ini adalah alat untuk meningkatkan pertahanan kita dalam situasi ini yang saya sebut "info-pertahanan".

Ambil contoh, misalnya, pemeriksaan fakta (alias, mencegah “informasi yang salah”). Saya adalah penggemar besar dari Catatan Komunitas, yang telah melakukan banyak hal untuk membantu pengguna mengidentifikasi kebenaran dan kebohongan dalam apa yang pengguna lain tweet. Community Notes menggunakan algoritma baru yang menampilkan bukan catatan yang paling populer, tetapi catatan yang paling disetujui oleh pengguna di seluruh spektrum politik.

Catatan Komunitas dalam aksi.

Saya juga penggemar pasar prediksi, yang dapat membantu mengidentifikasi signifikansi acara secara real time, sebelum debu mengendap dan ada konsensus mengenai arah yang mana.Polymarket di Sam Altmansangat membantu dalam memberikan ringkasan yang berguna dari konsekuensi akhir dari pengungkapan dan negosiasi per jam, memberikan konteks yang sangat diperlukan kepada orang-orang yang hanya melihat item berita individu dan tidak memahami signifikansi masing-masing.

Pasar prediksi sering kali cacat. Tetapi pengaruh Twitter yang bersedia dengan percaya diri menyatakan apa yang mereka pikirkan akan terjadi selama setahun ke depan sering kali bahkan lebih cacat. Masih ada ruang untuk meningkatkan pasar prediksi lebih jauh. Sebagai contoh, cacat praktis utama dari pasar prediksi adalah volume rendah pada semua kejadian kecuali yang paling terkenal; arah alami untuk mencoba memecahkan masalah ini adalah memiliki pasar prediksi yang dimainkan oleh Kecerdasan Buatan.

Dalam ruang blockchain, ada jenis pertahanan informasi tertentu yang menurut saya sangat diperlukan. Yakni, dompet seharusnya lebih memiliki pendapat dan aktif dalam membantu pengguna menentukan makna dari hal-hal yang mereka tandatangani, serta melindungi mereka dari penipuan. Ini merupakan kasus menengah: apa yang merupakan penipuan dan bukan penipuan lebih objektif daripada sudut pandang pada peristiwa sosial kontroversial, namun lebih subjektif daripada membedakan pengguna sah dari serangan DoS atau peretas. Metamask sudah memiliki basis data penipuan, dan secara otomatis memblokir pengguna dari mengunjungi situs penipuan:

Aplikasi seperti Apiadalah contoh salah satu cara untuk pergi jauh lebih jauh. Namun, perangkat lunak keamanan seperti ini seharusnya bukan sesuatu yang memerlukan instalasi eksplisit; itu seharusnya menjadi bagian dari dompet kripto, atau bahkan browser, secara default.

Karena sifatnya yang lebih subjektif, info-defense secara inheren lebih kolektif daripada cyber-defense: Anda perlu somehow menyatu ke dalam kelompok orang yang besar dan canggih untuk mengidentifikasi apa yang mungkin benar atau salah, dan jenis aplikasi mana yang merupakan ponzi yang menipu. Ada kesempatan bagi pengembang untuk jauh lebih maju dalam mengembangkan info-defense yang efektif, dan dalam memperkuat bentuk-bentuk info-defense yang sudah ada. Sesuatu seperti Catatan Komunitas bisa dimasukkan ke dalam browser, dan mencakup tidak hanya platform media sosial tetapi juga seluruh internet.

Teknologi sosial di luar kerangka "pertahanan"

Secara beberapa hal, saya bisa dengan alasan dituduh memaksa dengan mendeskripsikan beberapa teknologi informasi ini sebagai tentang 'pertahanan'. Bagaimanapun juga, pertahanan adalah tentang membantu aktor yang berbuat baik untuk dilindungi dari aktor yang berkeinginan buruk (atau, dalam beberapa kasus, dari alam). Beberapa teknologi sosial ini, bagaimanapun, adalah tentang membantu aktor yang berbuat baik membentuk konsensus.

Contoh bagus dari ini adalah pol.is, yang menggunakan algoritma yang mirip dengan Catatan Komunitas (dan yang mendahului Catatan Komunitas) untuk membantu komunitas mengidentifikasi titik kesepakatan antara suku-suku yang sebaliknya tidak setuju dalam banyak hal.Viewpoints.xyzterinspirasi oleh pol.is, dan memiliki semangat yang serupa:

Teknologi seperti ini bisa digunakan untuk memungkinkan tata kelola yang lebih terdesentralisasi atas keputusan kontroversial. Sekali lagi, komunitas blockchain adalah tempat uji coba yang baik untuk ini, dan di mana algoritma-algoritma tersebut telah terbukti berharga. Secara umum, keputusan tentang perbaikan mana ("EIPsperubahan yang dilakukan pada protokol Ethereum dilakukan oleh kelompok yang cukup kecil dalam pertemuan yang disebut Semua panggilan Core Devs“. Untuk keputusan yang sangat teknis, di mana sebagian besar anggota komunitas tidak memiliki perasaan yang kuat, ini berfungsi cukup baik. Untuk keputusan yang lebih penting, yang memengaruhi ekonomi protokol, atau nilai-nilai yang lebih fundamental seperti ketidakubahannya dan resistensi sensor, ini seringkali tidak cukup. Kembali pada tahun 2016-17, ketika serangkaian keputusan kontroversial seputar implementasi fork DAO, mengurangi penerbitan dan (tidak)membekukan dompet Parity, alat seperti Carbonvote, serta pemungutan suara media sosial, membantu komunitas dan pengembang untuk melihat arah mana pendapat mayoritas komunitas menghadap.

Carbonvote pada fork DAO.

Carbonvotememiliki kekurangan: itu bergantung pada kepemilikan ETH untuk menentukan siapa yang merupakan anggota komunitas Ethereum, membuat hasil didominasi oleh beberapa pemegang ETH kaya ("paus"). Namun, dengan alat modern, kita bisa membuat Carbonvote yang jauh lebih baik, memanfaatkan sinyal-sinyal ganda seperti POAPs, perangko Zupass, Paspor Gitcoin, Keanggotaan Guild Protokol, serta kepemilikan ETH (atau bahkan ETH yang dipertaruhkan secara solo) untuk mengukur keanggotaan komunitas.

Alat seperti ini bisa digunakan oleh setiap komunitas untuk membuat keputusan yang lebih berkualitas, menemukan titik kesamaan, mengkoordinasikan migrasi (fisik atau digital) atau melakukan sejumlah hal lain tanpa bergantung pada kepemimpinan terpusat yang tidak transparan. Ini bukanlah akselerasi pertahanan itu sendiri, tetapi dapat dengan pasti disebut sebagai akselerasi demokrasi. Alat-alat seperti ini bahkan dapat digunakan untuk meningkatkan dan mendemokratisasi tata kelola para pelaku kunci dan lembaga yang bekerja di bidang kecerdasan buatan.

Jadi apa jalan ke depan untuk superintelligence?

Semuanya baik-baik saja dan bisa membuat dunia menjadi tempat yang jauh lebih harmonis, aman, dan bebas untuk abad mendatang. Namun, hal itu belum menangani isu besar yang ada: kecerdasan buatan superinteligensia.

Jalur default yang disarankan oleh banyak orang yang khawatir tentang AI pada dasarnya mengarah ke pemerintahan dunia AI minimal. Versi jangka pendek dari ini termasuk proposal untuk sebuah konsorsium AGI multinasional(“MAGIC”). Konsorsium seperti itu, jika terbentuk dan berhasil mencapai tujuannya dalam menciptakan kecerdasan buatan superinteligensia, akan memiliki jalan alami untuk menjadi pemerintah dunia minimal de-facto. Jangka panjang, ada gagasan seperti itu“tindakan penting”teori: kita menciptakan kecerdasan buatan yang melakukan satu tindakan sekali pakai yang mengubah dunia menjadi permainan di mana mulai dari titik itu manusia masih berkuasa, tetapi di mana papan permainannya entah bagaimana lebih memihak pertahanan dan lebih cocok untuk kemakmuran manusia.

Isu praktis utama yang saya lihat sejauh ini adalah bahwa orang sepertinya tidak benar-benar mempercayai mekanisme pemerintahan tertentu dengan kekuatan untuk membangun sesuatu seperti itu. Fakta ini menjadi nyata ketika Anda melihat hasil dari jajak pendapat Twitter saya baru-baru ini, bertanya apakah orang lebih memilih melihat AI dimonopoli oleh satu entitas dengan keunggulan sepuluh tahun, atau AI ditunda selama sepuluh tahun bagi semua orang:

Ukuran setiap jajak pendapat kecil, tetapi jajak pendapat tersebut mengimbanginya dalam keseragaman hasil mereka di berbagai sumber dan opsi. Dalam sembilan dari sembilan kasus, mayoritas orang lebih memilih melihat AI yang sangat canggih ditunda selama satu dekade ketimbang dimonopoli oleh satu kelompok, apakah itu perusahaan, pemerintah, atau badan multinasional. Dalam tujuh dari sembilan kasus, penundaan menang setidaknya dua banding satu. Ini tampaknya merupakan fakta penting untuk dipahami bagi siapa pun yang mengejar regulasi AI. Pendekatan saat ini telah fokus pada menciptakan skema lisensi dan persyaratan regulasi, berusaha membatasi pengembangan AI kepada sejumlah orang, tetapi ini telah menghadapi penolakan populer tepat karena orang tidak ingin melihat siapa pun memonopoli sesuatu yang begitu kuat. Bahkan jika proposal regulasi dari atas ke bawah tersebut mengurangi risiko kepunahan, mereka berisiko meningkatkan kemungkinan terjadinya jenis kunci permanen ke totaliter terpusat. Secara paradoks, apakah kesepakatan yang melarang penelitian AI yang sangat canggih secara langsung (mungkin dengan pengecualian untuk AI biomedis), dikombinasikan dengan langkah-langkah seperti mewajibkan open source untuk model-model yang tidak dilarang sebagai cara untuk mengurangi motif keuntungan sambil lebih meningkatkan kesetaraan akses, lebih populer?

Pendekatan utama yang lebih disukai oleh para penentang rute 'ayo buat satu organisasi global untuk melakukan AI dan membuat tata kelolanya benar-benar baik-baik saja' adalahAI politeis: sengaja mencoba memastikan ada banyak orang dan perusahaan yang mengembangkan banyak AI, sehingga tidak ada yang tumbuh jauh lebih kuat dari yang lain. Dengan cara ini, teorinya, bahkan ketika AI menjadi superintelejen, kita dapat mempertahankan keseimbangan kekuatan.

Filosofi ini menarik, tetapi pengalaman saya mencoba untuk memastikan “pemahaman banyak tuhan” dalam ekosistem Ethereum membuat saya khawatir bahwa ini adalah keseimbangan yang tidak stabil secara inheren. Di Ethereum, kami dengan sengaja mencoba untuk memastikan desentralisasi dari banyak bagian dari tumpukan: memastikan bahwa tidak ada satu kode sumber tunggal yang mengendalikan lebih dari separuh jaringan bukti kepemilikan, mencoba untuk menetralkan yang dominasi kolam staking besar, meningkatkan decentralisasi geografis, dan seterusnya. Pada dasarnya, Ethereum sebenarnya sedang berusaha untuk mewujudkan impian libertarian lama tentang masyarakat berbasis pasar yang menggunakan tekanan sosial, bukan pemerintah, sebagai regulator antitrust. Sampai batas tertentu, hal ini telah berhasil: dominasi klien Prysmtelah turun dari di atas 70% menjadi di bawah 45%. Tetapi ini bukanlah proses pasar otomatis: ini adalah hasil dari niat manusia dan tindakan yang terkoordinasi.

Pengalaman saya dalam Ethereum tercermin dari pembelajaran dari dunia secara keseluruhan, di mana banyak pasar telah terbukti menjadi monopoli alamDengan kecerdasan superintelejen bertindak secara independen dari manusia, situasinya bahkan lebih tidak stabil. Terima kasih kepada pembaruan diri yang berulang, kecerdasan buatan terkuat mungkin akan maju dengan sangat cepat, dan begitu kecerdasan buatan lebih kuat dari pada manusia, tidak ada kekuatan yang dapat mengembalikan keseimbangan.

Selain itu, bahkan jika kita mendapatkan dunia politeis dari kecerdasan buatan superintelligent yang berakhir stabil, kita masih memiliki masalah lain: bahwa kita mendapatkan alam semesta di mana manusia adalah hewan peliharaan.

Jalur bahagia: bergabung dengan AI?

Pilihan yang berbeda yang baru-baru ini saya dengar adalah fokus kurang pada kecerdasan buatan sebagai sesuatu yang terpisah dari manusia, dan lebih pada alat-alat yang meningkatkan kognisi manusia daripada menggantikannya.

Salah satu contoh dekat yang mengarah ke arah ini adalah alat gambar AI. Hari ini, alat-alat paling terkemuka untuk membuat gambar yang dihasilkan oleh AI hanya memiliki satu langkah di mana manusia memberikan masukan mereka, dan AI sepenuhnya mengambil alih dari sana. Alternatifnya adalah fokus lebih pada versi AI dari Photoshop: alat di mana seniman atau AI mungkin membuat draf awal gambar, dan kemudian keduanya bekerja sama untuk memperbaikinya dengan proses umpan balik real-time.

Photoshop mengisi AI generatif, 2023.Sumber. Saya mencoba, dan butuh waktu untuk terbiasa tetapi sebenarnya cukup baik!

Arah lain dalam semangat yang sama adalahArsitektur Agensi Terbuka, yang mengusulkan pemisahan berbagai bagian dari "pikiran" AI (misalnya membuat rencana, melaksanakan rencana, menafsirkan informasi dari dunia luar) menjadi komponen terpisah, dan memperkenalkan beragam umpan balik manusia di antara bagian-bagian ini.

Sejauh ini, ini terdengar biasa saja, dan sesuatu yang hampir semua orang setuju bahwa akan baik untuk dimiliki. Karya ekonom Daron Acemoglu jauh dari jenis futurisme AI semacam ini, tetapi bukunya yang baruKekuatan dan Kemajuanmengisyaratkan ingin melihat lebih banyak dari jenis AI ini secara tepat.

Tetapi jika kita ingin menguraikan ide kerjasama manusia-AI ini lebih lanjut, kita akan sampai pada kesimpulan yang lebih radikal. Kecuali kita menciptakan pemerintahan dunia yang cukup kuat untuk mendeteksi dan menghentikan setiap kelompok kecil orang yang meretas GPU individual dengan laptop, seseorang akan membuat AI superintelejensia akhirnya - yang dapat berpikir aseribu kali lebih cepatdaripada yang bisa kita lakukan - dan tidak ada kombinasi manusia yang menggunakan alat dengan tangan mereka yang akan mampu bertahan melawan itu. Dan oleh karena itu kita perlu mengambil gagasan kerjasama manusia-komputer ini lebih dalam dan lebih jauh.

Langkah alami pertama adalah antarmuka otak-komputerAntarmuka otak-komputer dapat memberikan manusia akses yang jauh lebih langsung ke bentuk-bentuk komputasi dan kognitif yang lebih kuat, mengurangi loop komunikasi dua arah antara manusia dan mesin dari detik menjadi milidetik. Hal ini juga akan sangat mengurangi biaya 'usaha mental' untuk meminta komputer membantu Anda mengumpulkan fakta, memberi saran, atau melaksanakan suatu rencana.

Tahap-tahap selanjutnya dari peta jalan seperti itu memang menjadi aneh. Selain antarmuka otak-komputer, ada berbagai cara untuk meningkatkan otak kita secara langsung melalui inovasi dalam bidang biologi. Langkah selanjutnya yang akhirnya, yang menggabungkan kedua jalur, mungkin melibatkan mengunggah pikiran kitaberjalan langsung di komputer. Ini juga akan menjadi d/acc utama untuk keamanan fisik: melindungi diri dari bahaya tidak akan lagi menjadi masalah menantang melindungi tubuh manusia yang pasti-lunak, tetapi lebih merupakan masalah yang jauh lebih sederhana membuat cadangan data.

Arah seperti ini kadang-kadang dipenuhi dengan kekhawatiran, sebagian karena mereka tidak dapat diubah, dan sebagian karena mereka dapat memberi orang-orang kuat lebih banyak keuntungan daripada kita semua. Antarmuka otak-komputer khususnya memiliki bahaya - setelah semua, kita berbicara tentang membaca dan menulis secara harfiah ke pikiran orang. Kekhawatiran ini persis mengapa saya pikir akan ideal untuk peran utama dalam jalur ini yang akan dipegang oleh gerakan open-source yang berfokus pada keamanan, daripada perusahaan tertutup dan eksklusif dan dana modal ventura. Selain itu, semua masalah ini lebih buruk dengan AI supercerdas yang beroperasi secara independen dari manusia, daripada dengan augmentasi yang terkait erat dengan manusia. Kesenjangan antara "ditingkatkan" dan "tidak ditingkatkan" sudah ada saat ini karena keterbatasan dalam siapa yang bisa dan tidak bisa menggunakan ChatGPT.

Jika kita menginginkan masa depan yang superintelek dan 'manusia', di mana manusia bukan hanya hewan peliharaan, tetapi benar-benar mempertahankan agensi yang bermakna atas dunia, maka rasanya seperti sesuatu seperti ini adalah pilihan yang paling alami. Ada juga argumen yang baik mengapa ini bisa menjadi jalur penyelarasan kecerdasan buatan yang lebih aman: dengan melibatkan umpan balik manusia pada setiap langkah pengambilan keputusan, kita mengurangi insentif untuk memindahkan tanggung jawab perencanaan tingkat tinggi ke kecerdasan buatan itu sendiri, dan dengan demikian mengurangi peluang bahwa kecerdasan buatan melakukan sesuatu yang benar-benar tidak selaras dengan nilai-nilai kemanusiaan secara mandiri.

Salah satu argumen lain yang mendukung arah ini adalah bahwa hal tersebut mungkin lebih diterima secara sosial daripada sekadar berteriak “jeda AItanpa pesan komplementer yang memberikan arah alternatif ke depan. Ini akan memerlukan perubahan filosofis dari mentalitas saat ini bahwa kemajuan teknologi yang menyentuh manusia berbahaya tetapi kemajuan yang terpisah dari manusia secara default aman. Tetapi itu memiliki manfaat pengimbang yang besar: itu memberi pengembang sesuatu untuk dilakukan. Hari ini, pesan utama gerakan keselamatan AI kepada pengembang AI nampaknya adalah Anda hanya harus berhenti". Seseorang dapat kerja pada penelitian perataan, namun saat ini hal ini kekurangan insentif ekonomi. Dibandingkan dengan ini, pesan e/acc umum 'kamu sudah seorang pahlawan apa adanya' secara wajar sangat menarik. Sebuah pesan d/acc, yang mengatakan 'kamu seharusnya membangun, dan membangun hal-hal yang menguntungkan, namun lebih selektif dan tujuan dalam memastikan bahwa kamu membangun hal-hal yang membantu kamu dan umat manusia berkembang', mungkin menjadi pemenang.

Apakah d/acc kompatibel dengan filosofi Anda yang ada?

• Jika Anda adalah e/acc, maka d/acc adalah subspesies dari e/acc - hanya yang jauh lebih selektif dan disengaja.
• Jika Anda adalah altruisme efektif, maka d/acc adalah penyegaran dari ide efektif-altruistik pengembangan teknologi diferensial, meskipun dengan penekanan yang lebih besar pada nilai-nilai liberal dan demokratis.
• Jika Anda seorang libertarian, maka d/acc adalah sub-spesies dari techno-libertarianisme, meskipun lebih pragmatis yang lebih kritis terhadap “mesin teknologi kapital”, dan bersedia menerima intervensi pemerintah hari ini (setidaknya, jika intervensi budaya tidak berhasil) untuk mencegah keterbatasan yang lebih buruk besok.
• Jika Anda seorang Pluralis, di Pengertian Glen Weyl dari istilah tersebut, maka d/acc adalah kerangka yang dapat dengan mudah mencakup penekanan pada teknologi koordinasi demokratis yang lebih baik yang menghargai Plurality.
• Jika Anda adalah seorang advokat kesehatan masyarakat, maka ide-ide dapat menjadi sumber visi jangka panjang yang lebih luas, dan peluang untuk menemukan titik temu dengan "orang teknologi" yang mungkin sebaliknya Anda merasa tidak sejalan.
• Jika Anda adalah seorang advokat blockchain, maka d/acc adalah narasi yang lebih modern dan lebih luas untuk diadopsi daripada penekanan selama lima belas tahun terhadap hiperinflasi dan bank, yang menempatkan blockchain dalam konteks sebagai salah satu dari banyak alat dalam strategi konkret untuk membangun menuju masa depan yang lebih cerah.
• Jika Anda adalah solarpunk, maka d/acc adalah sebuah subspesies dari solarpunk, dan menggabungkan penekanan yang serupa pada ketetapan dan tindakan kolektif.
• Jika Anda adalah lunarpunk, maka Anda akan menghargai penekanan d/acc pada pertahanan informasi, melalui menjaga privasi dan kebebasan.

Kami adalah bintang paling terang

Saya mencintai teknologi karena teknologi memperluas potensi manusia. Sepuluh ribu tahun yang lalu, kita bisa membuat beberapa alat tangan, mengubah tanaman yang tumbuh di sebuah lahan kecil, dan membangun rumah-rumah dasarHari ini, kita dapat membangunMenara sebanyak 800 meter, menyimpan seluruh pengetahuan manusia yang tercatat dalam sebuah perangkat yang dapat kita pegang di tangan, berkomunikasi secara instan di seluruh dunia, memperpanjang usia hidup kita, dan menjalani kehidupan yang bahagia dan memuaskan tanpa takut teman-teman terbaik kita sering kali meninggal karena penyakit.

Kami mulai dari bawah, sekarang kami di sini.

Saya percaya bahwa hal-hal ini sangat baik, dan bahwa memperluas jangkauan umat manusia bahkan lebih jauh ke planet dan bintang sangat baik, karena saya percaya umat manusia sangat baik. Saat ini sedang populer di beberapa kalangan untuk meragukan hal ini: Gerakan kepunahan manusia sukarelaberpendapat bahwa Bumi akan lebih baik tanpa adanya manusia sama sekali, dan banyak yang ingin melihatjumlah manusia yang jauh lebih sedikitmelihat cahaya dunia ini dalam beberapa abad yang akan datang. Hal ini umum berdebatituManusia itu jahatkarena kita menipu dan mencuri, terlibat dalam kolonialisme dan perang, dan menganiaya serta memusnahkan spesies lain. Balasanku terhadap gaya berpikir ini adalah satu pertanyaan sederhana: dibandingkan dengan apa?

Ya, manusia seringkali jahat, tetapi kita jauh lebih sering menunjukkan kebaikan dan belas kasihan, serta bekerja sama untuk keuntungan bersama kita. Bahkan selama perang kita sering kali berusaha melindungi warga sipil - tentu saja belum cukup, tetapi juga jauh lebih darikami melakukan 2000 tahun yang lalu. Abad berikutnya mungkin akan membawa daging non-hewan yang tersedia secara luas, menghilangkan bencana moral terbesar Manusia hanya dapat disalahkan atas hal-hal yang terjadi saat ini. Hewan non-manusia tidak seperti ini. Tidak ada situasi di mana seekor kucing akan mengadopsi gaya hidup yang menolak untuk memakan tikus sebagai suatu prinsip etika. Matahari semakin terang setiap tahun, dan dalam sekitar satu miliar tahun, Diharapkan ini akan membuat Bumi terlalu panas untuk menopang kehidupan. Apakah Matahari bahkan berpikir tentang genosida yang akan ditimbulkannya?

Dan oleh karena itu, saya sangat yakin bahwa, dari semua hal yang telah kita ketahui dan lihat di alam semesta kita, kita, manusia, adalah bintang paling terang. Kita adalah satu-satunya hal yang kita ketahui, meskipun tidak sempurna, kadang-kadang berusaha sungguh-sungguh untuk peduli pada “kebaikan”, dan menyesuaikan perilaku kita untuk lebih baik melayaninya. Dua miliar tahun dari sekarang, jika Bumi atau bagian manapun dari alam semesta masih memancarkan keindahan kehidupan di Bumi, itu akan menjadi hasil karya manusia seperti perjalanan antariksa dan geoengineeringyang akan membuatnya terjadi.

Kita perlu membangun, dan mempercepat. Tapi ada pertanyaan yang sangat nyata yang perlu diajukan: apa yang sedang kita percepat? Abad ke-21 mungkin akan menjadiabad yang menentukanuntuk umat manusia, abad di mana nasib kita untuk ribuan tahun mendatang ditentukan. Apakah kita jatuh ke dalam salah satu dari sejumlah perangkap dari mana kita tidak bisa melarikan diri, atau apakah kita menemukan jalan menuju masa depan di mana kita mempertahankan kebebasan dan agensi kita? Ini adalah masalah yang menantang. Tapi saya berharap untuk menonton dan berpartisipasi dalam upaya kolektif besar spesies kita untuk menemukan jawabannya.

Penyangkalan：

1. Artikel ini dicetak ulang dari [GateVitalik Buterin]. Semua hak cipta milik penulis asli [Vitalik Buterin]. Jika ada keberatan terhadap cetak ulang ini, harap hubungi Gate Belajartim, dan mereka akan menanganinya dengan cepat.
2. Penolakan Tanggung Jawab: Pandangan dan opini yang terdapat dalam artikel ini semata-mata milik penulis dan tidak merupakan saran investasi apa pun.
3. Terjemahan artikel ke dalam bahasa lain dilakukan oleh tim Gate Learn. Kecuali disebutkan, menyalin, mendistribusikan, atau menjiplak artikel yang diterjemahkan dilarang.