Особая благодарность Моргану Беллеру, Хуану Бенету, Эли Доурадо, Карлу Флёршу, Срираму Кришнану, Нейту Соаресу, Яану Таллинну, Винсенту Вайссеру, добровольцам Balvi и другим за отзывы и обзор.

В прошлом месяце Марк Андрессен опубликовал свою “техно-оптимистический манифест“, аргументируя возрождение энтузиазма по поводу технологий и рыночной экономики как средства построения этих технологий и продвижения человечества к гораздо более светлому будущему. В манифесте однозначно отвергается то, что описывается как идеология застоя, которая боится прогресса и отдает предпочтение сохранению мира таким, каким он есть сегодня. На этот манифест обратило много внимания, включая ответные статьи от Noah Smith, Robin Hanson, Joshua Gans(более позитивно), иДейв Карпф, Лука Ропек, Ezra Klein(более негативные) и многие другие. Не связанные с этим манифестом, но похожие по тематике, это работы Джеймса Петокукиса «Консервативный футурист"и "Palladium’s"Пришло время строить для добраВ этом месяце мы видели аналогичный дебаты, проведенные черезСпор OpenAI, которые включали в себя много обсуждений вокруг опасностей сверхинтеллектуального искусственного интеллекта и возможности того, что OpenAI движется слишком быстро.

Мои собственные чувства по поводу техно-оптимизма теплые, но нюансированные. Я верю в будущее, которое будет значительно светлее настоящего благодаря радикально трансформационным технологиям, и я верю в людей и гуманность. Я отвергаю менталитет, согласно которому лучшее, что мы должны пытаться сделать, - это сохранить мир примерно таким же, как сегодня, но с меньшей жадностью и большим общественным здравоохранением. Однако я считаю, что важно не только величина, но и направление. Существуют определенные типы технологий, которые намного более надежно делают мир лучше, чем другие типы технологий. Существуют определенные типы технологий, которые могли бы, если развиваться, смягчить негативное воздействие других типов технологий. В мире переусердствуют в отношении некоторых направлений развития технологий и недоусердствуют в отношении других. Нам нужно активное человеческое намерение выбирать направления, которые нам нужны, так как формула «максимизируй прибыль» не призовет их автоматически.

В этом посте я расскажу, что для меня означает техно-оптимизм. Это включает в себя более широкое мировоззрение, которое мотивирует мою работу над определенными типами блокчейна и криптографических приложений и социальных технологий, а также других областях науки, которые вызвали мой интерес. Но точки зрения на этот более широкий вопрос также имеют последствия для искусственного интеллекта и многих других областей. Наши быстрые успехи в технологиях, вероятно, станут наиболее важной социальной проблемой в двадцатом первом веке, поэтому важно внимательно обдумать их.

Содержание

• Технологии удивительны, и задержка их внедрения обходится очень дорого
  • Окружающая среда и важность согласованного намерения
• Искусственный интеллект фундаментально отличается от других технологий, и его стоит уникально осторожно относиться
  • Риск существования - это большая проблема
  • Даже если мы выживем, является ли будущее суперинтеллектуального ИИ миром, в котором мы хотим жить?
  • Небо близко, император повсюду
• d/acc: Защитный (или децентрализация, или дифференциальное) ускорение
  • Миры, благоприятствующие обороне, способствуют процветанию здорового и демократического управления
  • Макрофизическая защита
  • Микрофизическая защита (также известная как био)
  • Киберзащита, блокчейны и криптография
  • Защита информации
  • Социальные технологии за пределами рамок "обороны"
• Так куда идти дальше для сверхинтеллекта?
  • Счастливый путь: слияние с ИИ?
• Совместима ли d/acc с вашей существующей философией?
• Мы - самая яркая звезда

Технологии удивительны, и отсрочка их внедрения связана с очень высокими затратами

В некоторых кругах обычно преуменьшают пользу технологий и видят ее в первую очередь как источник дистопии и риска. За последние полвека это часто проистекало либо из экологических соображений, либо из опасений, что выгоды получат только богатые, которые укрепят свою власть над бедными. Более недавно я также начал видеть, что либертарианцы начали беспокоиться из-за некоторых технологий, опасаясь, что технологии приведут к централизации власти. В этом месяце я сделал некоторые опросыследующий вопрос: если технологию нужно было ограничить, потому что она была слишком опасной, чтобы быть свободной для всех, кто бы использовал ее, они предпочли бы, чтобы она была монополизирована или отложена на десять лет? Меня удивило увидеть, что на трех платформах и три варианта выбора монополиста было равномерное, подавляющее большинство голосов за задержку.

Иногда я беспокоюсь, что мы переборщили, и многие упускают противоположную сторону аргумента: что преимущества технологийareдействительно чертовски массивныйНа тех осях, где мы можем измерить, хорошее значительно превосходит плохое, и затраты даже десятилетней задержки невероятно высоки.

Давайте рассмотрим конкретный пример, такой как диаграмма продолжительности жизни:

Что мы видим? За последний век действительно огромный прогресс. Это верно для всего мира, как исторически богатых и доминирующих регионов, так и бедных и эксплуатируемых регионов.

Некоторые винят технологии в создании или усугублении бедствий, таких как тоталитаризм и войны. Фактически мы можем видеть смерти, вызванные войнами, на графиках: одна в 1910-х годах (ПМВ), и одна в 1940-х годах (ПМВ2). Если вы посмотрите внимательно, Испанская грипп, Великий скачок вперед и другие не военные трагедии также видны. Но есть одна вещь, которую четко показывает график: даже бедствия, столь ужасные, как эти, оказываются подавлены абсолютным масштабом бесконечного марша улучшений в еда, санитария, медицинаи инфраструктура, которая произошла в течение этого века.

Это отражается в значительных улучшениях нашей повседневной жизни. Благодаря интернету, большинство людей по всему мируимеют доступ к информации на расстоянии вытянутой руки, которая была бы недоступна двадцать лет назад. Глобальная экономика становится более доступной благодаря улучшениям в международных платежах и финансах. Глобальная бедностьбыстро падаетБлагодаря онлайн-картам нам больше не нужно беспокоиться о том, что мы потеряемся в городе, и если вам нужно быстро вернуться домой, у нас теперь есть гораздо более простые способы вызвать машину для этого. Наша собственность становится цифровой, и наш физические товары становятся дешевле, означает, что у нас намного меньше опасаться физической кражи. Онлайн-шопинг уменьшил неравенство в доступе к товарам между глобальными мегаполисами и остальным миром. Автоматизация принесла нам вечно недооцененную пользу просто производящего наша жизнь станет более удобной.

Эти улучшения, как измеримые, так и немеряемые, являются значительными. И в двадцать первом веке есть хороший шанс, что скоро появятся еще более крупные улучшения. Сегодня прекращение старения и болезней кажется утопическим. Но с точки зрения компьютеры такими, какими они существовали в 1945 году, в современной эпохе внедрения чипов в практически все, казалось бы, утопично: даже в научно-фантастических фильмах компьютеры часто были размером с комнату. Если биотехнологии продвинутся так же сильно за следующие 75 лет, как компьютеры продвинулись за последние 75 лет, будущее может быть более впечатляющим, чем у большинства.

Тем временем аргументы, выражающие скептицизм относительно прогресса, часто приводили к темным местам. Даже медицинские учебники, как этот в 1990-х годах (кредитEmma Szewczakпоиск его), иногда делают крайние заявления, отрицающие ценность двух веков медицинской науки и даже утверждая, что не очевидно хорошо спасать человеческие жизни:

"пределы роста"диссертация, идея, выдвинутая в 1970-х годах, утверждающая, что растущее население и промышленность в конечном итоге исчерпают ограниченные ресурсы Земли, в конечном итоге вдохновилаПолитика одного ребенка в Китае и массовая принудительная стерилизация в Индии. В более ранние эпохи беспокойства о перенаселении использовались для обосноватьмассаубийствоИ эти идеи, аргументированныес 1798 года, имеют долгую историю быть доказанным неправильным.

Именно по таким причинам в качестве отправной точки я чувствую себя очень неловко из-за аргументов в пользу замедления технологий или человеческого прогресса. Учитывая, насколько все сектора взаимосвязаны, даже отраслевое замедление является рискованным. И поэтому, когда я пишу такие вещи, как то, что я скажу позже в этом посте, отходя от открытого энтузиазма по поводу прогресса, независимо от его формы, это заявления, которые я делаю с тяжелым сердцем - и все же, 21-й век отличается и достаточно уникален, чтобы эти нюансы заслуживали внимания.

Сказано это, есть один важный момент нюанса, который следует учитывать в более широком контексте, особенно когда мы переходим от идеи "технология в целом хороша" к вопросу "какие конкретные технологии хороши?". И здесь мы сталкиваемся с основной проблемой многих людей: окружающая среда.

Окружающая среда и важность согласованного намерения

A основное исключениек тому тенденции того, что практически все улучшилось за последние сто лет, является изменение климата:

Даже пессимистические сценарии продолжающегося повышения температуры не приведут к буквальному вымиранию человечества. Но такие сценарии могли бы убить больше людей, чем крупные войны, и серьезно навредить здоровью и средствам к существованию людей в регионах, где люди уже наиболее тяжело борются.Исследование института Swiss Reпредполагает, что в худшем случае изменения климата могут снизить ВВП самых бедных стран мира на 25%.Это исследованиепредполагает, что продолжительность жизни в сельской Индии может быть на десять лет меньше, чем могла бы быть, и исследования, подобныеэтот и этотпредполагают, что изменение климата может привести к избыточной смертности в сто миллионов человек к концу века.

Эти проблемы - большая проблема. Мой ответ на вопрос, почему я оптимистичен относительно нашей способности преодолеть эти вызовы, двойной. Во-первых, после десятилетий хайпа и мечтаний, солнечная энергияэтонаконецповоротугол, и технологии, поддерживающие, например, батареиделают аналогичные успехи. Во-вторых, мы можем посмотреть на историю человечества в решении предыдущих экологических проблем. Возьмем, к примеру, загрязнение воздуха. Встретьте дистопию прошлого: Большой Смог Лондона, 1952 год.

Что произошло с тех пор? Давайте снова спросим Our World In Data:

Оказалось, что 1952 год даже не был пиком: в конце 19 века еще более высокие концентрации загрязнителей воздуха просто принимались как норма. С тех пор мы видели столетие постоянного и быстрого снижения. Лично я имел возможность испытать это на собственном опыте во время своих визитов в Китай: в 2014 году в воздухе были высокие уровни смога, предполагается, что сократит среднюю продолжительность жизни на более чем пять лет, были обычными, но к 2020 году воздух часто казался таким же чистым, как во многих западных городах. Это не единственный наш успех. Во многих частях мира, лесные территории увеличиваются. Кризис кислотных дождей совершенствуется. слой озона восстанавливаетсяна протяжении десятилетий.

На мой взгляд, мораль этой истории такова. Часто бывает так, что версия N технологии нашей цивилизации вызывает проблему, а версия N+1 ее решает. Однако это не происходит автоматически, а требует целенаправленных усилий человека. Озоновый слой восстанавливается, потому что: через международные соглашения, такие как Протокол Монреаль, мы сделали его восстановление. Загрязнение воздуха улучшается, потому что мы его улучшили. И точно так же солнечные батареи не стали намного лучше, потому что они были предопределенной частью дерева энергетических технологий; Солнечные панели стали намного лучше, потому что десятилетия осознания важности решения проблемы изменения климата мотивировали как инженеров работать над этой проблемой, так и компании и правительства финансировать свои исследования. Это целенаправленные действия, скоординированные через общественный дискурс и культуру, формирующие взгляды правительств, ученых, филантропов и бизнеса, а не непреклонная "техно-капиталистическая машина", которые решили эти проблемы.

Искусственный интеллект фундаментально отличается от других технологий, и его стоит уникально осторожно относиться

Большинство пренебрежительных мнений, которые я видел по поводу ИИ, исходят из того, что он является "просто еще одной технологией": чем-то, что находится в том же общем классе вещей, что и социальные сети, шифрование, контрацепция, телефоны, самолеты, оружие, печатный станок и колесо. Эти вещи очевидно имеют большое социальное значение. Они не просто изолированные улучшения благополучия отдельных лиц: они радикально трансформируют культуру, меняют балансы сил и вредят людям, которые сильно зависели от предыдущего порядка. Многие противостоял имИ в конечном итоге, пессимисты всегда оказывались неправыми.

Но есть и другой способ думать о том, что такое ИИ: это новый тип ума, который быстро увеличивает свой интеллект и серьезно угрожает превзойти умственные способности людей и стать новым вершинным видом на планете. Класс вещей в этой категории намного меньше: мы могли бы убедительно включить сюда превосходство людей над обезьянами, многоклеточную жизнь, превосходящую одноклеточную жизнь, происхождение самой жизни, и, возможно, промышленная революция, в которой машина вытеснила человека физической силой. Вдруг кажется, что мы идем по гораздо менее изведанной местности.

Риск существования - это большая проблема

Один из способов, с помощью которого ИИ может сделать мир хуже, заключается в том, что (почти) наихудшим из возможных способов: он мог бы в буквальном смысле являются причиной вымирания человечества. Это крайнее утверждение: столько вреда, сколько может причинить худший сценарий изменения климата, искусственная пандемия или ядерная война, могут быть, есть множество островов цивилизации, которые останутся неприкосновенными, чтобы собрать осколки. Но если сверхинтеллектуальный ИИ решит повернуться против нас, он может не оставить выживших и навсегда покончить с человечеством. Даже Марсможет быть небезопасным.

Большая причина беспокойства связана с Инструментальная конвергенция: для очень широкого класса целей, которые может иметь сверхразумная сущность, два вполне естественных промежуточных шага, которые ИИ может предпринять для лучшего достижения этих целей, — это (i) потребление ресурсов и (ii) обеспечение своей безопасности. Земля содержит множество ресурсов, и люди Предсказуемая угрозак безопасности такой сущности. Мы могли бы попытаться дать ИИ явную цель любить и защищать людей, но у наснет идеикакфактическиделатьчто таким образом, чтобы он не сломался полностью, как только ИИ сталкивается с неожиданной ситуацией. Следовательно, у нас проблема.

Попытка исследователя MIRI Роба Бенсингера чтобы проиллюстрировать оценки разными людьми вероятности того, что ИИ либо убьет всех, либо сделает что-то почти такое же плохое. Многие из этих позиций являются приблизительными, основанными на публичных заявлениях людей, но многие другие публично дали свои точные оценки; Довольно многие из них имеют «вероятность гибели» более 25%.

A опрос исследователей машинного обученияиз 2022 года показали, что в среднем исследователи считают, что существует 5-10% шанс того, что искусственный интеллект буквально убьет нас всех: примерно такая же вероятность, как статистически ожидаемый шанс, что Вы умрете от небиологических причин, таких как травмы.

Это все спекулятивная гипотеза, и мы все должны быть осторожны по отношению к спекулятивным гипотезам, которые включают в себя сложные многоэтапные истории. Однако эти аргументы выдержали более десятилетнюю проверку, поэтому, кажется, стоит беспокоиться хотя бы немного. Но даже если вы не беспокоитесь о буквальном вымирании, есть и другие причины для беспокойства.

Даже если мы выживем, хотим ли мы жить в мире суперинтеллектуального ИИ?

Много современной научной фантастики дистопично и изображает искусственный интеллект в плохом свете. Даже ненаучно-фантастические попытки идентифицировать возможные будущие сценарии искусственного интеллекта часто дают довольно непривлекательные ответыИтак, я обошел и задал вопрос: что такое изображение, будь то научная фантастика или что-то еще, будущего, содержащего сверхинтеллектуального искусственного интеллекта, в котором мы хотели бы жить. Самым частым ответом было произведение Айна Бэнкса Серия культуры.

Серия Culture представляет собой далекую будущую межзвездную цивилизацию, в основном занятую двумя видами участников: обычные люди и сверхинтеллектуальные ИИ по имени Minds. Люди были усовершенствованы, но только незначительно: медицинская технология теоретически позволяет людям жить бесконечно, но большинство выбирают жить только около 400 лет, по-видимому, потому что им надоедает жизнь на этом этапе.

С поверхностной точки зрения жизнь человека кажется хорошей: комфортно, заботятся о здоровье, есть множество вариантов развлечений, и между людьми и Умами существует позитивные и синергетические отношения. Однако, если посмотреть глубже, возникает проблема: кажется, что Умы полностью контролируют ситуацию, и роль людей в историях сводится к тому, чтобы выступать в качестве пешек Умов, выполняя задания от их имени.

Цитируя Гэвин Лич «Против культуры»:

Люди не являются главными героями. Даже когда в книгах кажется, что у человека главная роль, совершающего серьезные вещи, на самом деле он является агентом ИИ. (Закалве - одно из единственных исключений, потому что он может совершать аморальные поступки, которые Умы не желают делать.) "Умы в Культуре не нуждаются в людях, и все же людям нужно быть нужными." (Я думаю, что лишь небольшое число людей нуждается в том, чтобы быть нужными - или же только немногие из них нуждаются в этом настолько, чтобы отказаться от многих удобств. Большинство людей не живут на таком уровне. Это все равно хорошая критика.)

Проекты, которые люди берут на себя, рискуют неаутентичностью. Почти все, что они делают, машина могла бы сделать лучше. Что ты можешь сделать? Ты можешь приказать Разуму не ловить тебя, если ты упадешь с скалы, по которой ты взбираешься, просто потому что; ты можешь удалить резервные копии своего разума, чтобы ты на самом деле рисковал. Ты также можешь просто покинуть Культуру и присоединиться к какому-нибудь старомодному, невольному «сильно оценочному» цивилизованному миру. Альтернатива — проповедовать свободу, присоединяясь к Контакту.

Я бы поспорил, что даже "смысловые" роли, которые люди играют в серии Культура, являются выдумкой; Я спросил ChatGPT (кто еще?) почему людям дают такие роли, вместо того чтобы Умы делали все сами, и лично для меняего ответыдовольно не впечатляюще. Кажется, что очень сложно создать "дружелюбный" мир, подчиненный сверхинтеллектуальному искусственному интеллекту, где люди не являются ничем иным, как домашними животными.

Мир, который я не хочу видеть.

Многие другие научно-фантастические сериалы предполагают мир, где существуют сверхинтеллектуальные ИИ, но подчиняются (недоразвитым) биологическим человеческим хозяевам. Звездный путь - хороший пример, показывающий видение гармонии между звездными кораблями с их Искусственный интеллект "компьютеры"(и Данные) и их человеческие операторы экипажа. Однако это кажется чрезвычайно неустойчивым равновесием. Мир Звездного пути выглядит идиллическим на данный момент, но трудно представить его видение отношений человека и искусственного интеллекта как что-то, кроме переходного этапа за десять лет до того, как звездолеты станут полностью управляемыми компьютерами и перестанут беспокоиться о больших коридорах, искусственной гравитации и климатическом контроле.

Человек, отдающий приказы сверхразумной машине, будет гораздо менее умным, чем машина, и у нее будет доступ к меньшему количеству информации. Во Вселенной, где существует хоть какая-то степень конкуренции, цивилизации, в которых люди отходят на второй план, превзойдут те, где люди упорно настаивают на контроле. Более того, сами компьютеры могут перехватить контроль. Чтобы понять, почему, представьте, что по закону вы в буквальном смысле являетесь рабом восьмилетнего ребенка. Если бы вы могли долго разговаривать с ребенком, как вы думаете, смогли бы вы убедить его подписать лист бумаги, освобождающий вас? Я не проводил этот эксперимент, но мой инстинктивный ответ — решительное «да». И в целом, превращение людей в домашних животных кажется аттрактором, от которого очень трудно избавиться.

Небо близко, император везде

Китайская пословица 天高皇帝远 (“tian gao huang di yuan”), "небо высоко, император далеко", содержит основной факт о пределах централизации в политике. Даже в формально большой и деспотической империи - на самом деле, особенно если деспотическая империя большая, существуют практические пределы влияния и внимания руководства, необходимость руководства делегировать полномочия местным агентам для осуществления своей воли разбавляет его способность добиться исполнения своих намерений, и поэтому всегда есть места, где царит определенная степень практической свободы. Иногда это может иметь негативные стороны: отсутствие далекой власти, принуждающей соблюдать единые принципы и законы, может создать пространство для местных гегемонов, чтобы красть и угнетать. Но если централизованная власть становится плохой, практические ограничения внимания и расстояния могут создать практические пределы тому, насколько это может стать плохо.

С ИИ больше нет. В двадцатом веке современные технологии транспортировки сделали ограничения расстояний гораздо слабее, чем раньше; великие тоталитарные империи 1940-х годов были частично результатом этого. В двадцать первом информационное сбор и автоматизация могут означать, что внимание тоже больше не будет ограничением. Последствия полного исчезновения естественных ограничений для правительства могут быть страшными.

Цифровой авторитаризм на подъеме уже десять лет, и технологии наблюдения уже дали авторитарным правительствам мощные новые стратегии для подавления оппозиции: позвольте проводить протесты, а затем обнаруживайте и тихо идти заучастникипозднееБолее общим образом, мой основной страх заключается в том, что те же виды управленческих технологий, которые позволяют OpenAI обслуживать более ста миллионов клиентов, 500 сотрудниковТакже позволит 500-человеческой политической элите, или даже 5-человечному совету, удерживать железный кулак над целой страной. С современным наблюдением за сбором информации и современным искусственным интеллектом для ее интерпретации, возможно, не будет места для скрытности.

Это становится еще хуже, когда мы думаем об последствиях использования искусственного интеллекта в военных действиях. Цитируя полузнаменитый посто философии искусственного интеллекта и криптовалют от 0xAlpha:

Когда нет необходимости в политико-идеологической работе и военной мобилизации, верховному командующему войной нужно рассматривать ситуацию как игру в шахматы и полностью игнорировать мысли и эмоции пешек/коней/ладей на шахматной доске. Война становится чисто технологической игрой.

Кроме того, политически-идеологическая работа и мобилизация на войну требуют оправдания для того, чтобы кто-либо начал войну. Не недооценивайте важность такого «оправдания». Это было ограничение легитимности в войнах в человеческом обществе на протяжении тысячелетий. Любой, кто хочет начать войну, должен иметь причину, или по крайней мере, поверхностно оправдываемое отмазку. Можно возразить, что это ограничение настолько слабо, потому что во многих случаях это было ничем иным, как отмазкой. Например, некоторые (если не все) Крестовые походы были на самом деле для оккупации земель и грабежа богатства, но их приходилось делать от имени Бога, даже если грабимым городом был Константинополь Бога. Тем не менее, даже слабое ограничение все равно остается ограничением! Требование этой маленькой отмазки в одиночку фактически помешало военным откровенно безнравственно достигать своих целей. Даже злодейство как у Гитлера не могло просто так начать войну сразу — ему пришлось потратить годы на попытки убедить немецкую нацию в борьбе за жизненное пространство для благородной арийской расы.

Сегодня "человек в петле" служит важной проверкой для диктатора, чтобы начать войны или подавлять своих граждан внутренне. Люди в петле имеютпредотвращенядерныйвойны, разрешил открытие Берлинской стены, и спасли жизни во время зверстваподобнов Холокост. Если армии - это роботы, то этот контроль полностью исчезает. Диктатор может напиться в 22:00, разозлиться на людей, оскорбивших его в твиттере в 23:00, и роботизированный вторжение флота может пересечь границу, чтобы обрушить ад на граждан и инфраструктуру соседней нации до полуночи.

И в отличие от предыдущих эпох, где всегда есть какой-то отдаленный угол, где небо высоко и император далеко, где противники режима могли бы перегруппироваться, скрыться и в конечном итоге найти способ улучшить ситуацию, с искусственным интеллектом XXI века тоталитарный режим может прекрасно осуществлять достаточное наблюдение и контроль над миром, чтобы остаться «заблокированным» навсегда.

d/acc: Защитное (или децентрализация, или дифференциальное) ускорение

За последние несколько месяцев движение "e/acc" ("effective accelerationist") набрало большую популярность.Опубликовано «Бефф Джеффом» здесь, e/acc в основном означает ценность по-настоящему огромных выгод технологического прогресса и желание ускорить эту тенденцию, чтобы получить эти выгоды как можно скорее.

Я нахожу себя одобряющим точку зрения во многих контекстах. Есть много доказательств, чтоFDA слишком консервативнав своей готовности замедлять или блокировать утверждение лекарств, а также биоэтика в целом слишком часто кажется работающей по принципу, что "20 человек, погибших в результате неудачного медицинского эксперимента, - это трагедия, но 200000 человек, погибших из-за задержки жизненно важных лечений - это статистика". Задержки в утверждении тесты на ковид и вакцины, и вакцины от малярии, кажется, дополнительно подтверждает это. Однако возможно зайти слишком далеко с этой точки зрения.

Помимо моих опасений, связанных с искусственным интеллектом, я чувствую особенно двойственное отношение к e/acc энтузиазмдлявоенная техникаВ текущем контексте в 2023 году, когда эта технология создается Соединенными Штатами и немедленно применяется для защиты Украины, легко увидеть, как она может быть силой добра. Однако, принимая более широкую точку зрения, энтузиазм относительно современной военной технологии как силы добра кажется требующим веры в то, что доминирующая технологическая сила будет надежно оказываться на стороне добрых парней в большинстве конфликтов, как сейчас, так и в будущем: военная технология хороша, потому что ее строят и контролируют американцы, и Америка хороша. Требуется ли быть сторонником Америки, ставя все на кон, как на нынешние, так и будущие моральные принципы правительства и будущий успех страны?

С другой стороны, я вижу необходимость новых подходов в мышлении о том, как уменьшить эти риски. The Структура управления OpenAIэто хороший пример: кажется, что это хорошо задуманная попытка сбалансировать необходимость получения прибыли для удовлетворения инвесторов, которые предоставляют начальный капитал, с желанием иметь проверку и баланс для противодействия шагам, которые могут поставить под угрозу мир со стороны OpenAI. Однако на практике их недавниепопытка уволить Сэма Альтманаделает структуру казаться убыточной: она централизовала власть в недемократичном и не подотчетном совете из пяти человек, которые принимали ключевые решения на основе секретной информации и отказывались предоставлять любые детали своего рассуждениядо тех пор, пока сотрудники не угрожали уйтимассово. Каким-то образом некоммерческий совет сыграл свои карты настолько плохо, что сотрудники компании созданныйанимпровизированный фактический союз... встать на сторону миллиардера-генерального директора против них.

По всем фронтам я вижу слишком много планов по спасению мира, которые предполагают предоставление небольшой группе людей крайней и непрозрачной власти и надеются, что они будут использовать ее мудро. И поэтому я нахожу себя привлеченным к другой философии, которая имеет детальные идеи о том, как бороться с рисками, но которая стремится создать и поддерживать более демократический мир и пытается избежать централизации как единственного решения наших проблем. Эта философия также охватывает гораздо больший круг вопросов, чем искусственный интеллект, и я бы утверждал, что она хорошо применима даже в мирах, где опасности связанные с искусственным интеллектом оказываются в значительной степени необоснованными. Я буду называть эту философию именем d/acc.

dacc3

«D» здесь может означать многое; в частности, защиту, децентрализацию, демократию и дифференциацию. Сначала думайте об обороне, а затем мы можем увидеть, как это связано с другими интерпретациями.

Миры, благоприятствующие обороне, способствуют процветанию здорового и демократического управления

Один из способов рассмотреть макро-последствия технологий - это взглянуть на баланс между обороной и нападением. Некоторые технологии делают проще атаковать других в широком смысле этого термина: делать то, что противоречит их интересам, за что им приходится реагировать. Другие делают защиту проще, позволяя обороняться даже без полагания на крупных централизованных участников.

Мир, благоприятствующий обороне, является лучшим миром по многим причинам. Во-первых, это прямая выгода безопасности: меньше людей погибает, меньше экономической ценности уничтожается, меньше времени тратится на конфликты. Тем не менее, меньше ценится то, что мир, благоприятствующий обороне, делает более легкими формы управления, более здоровые, более открытые и уважающие свободу.

Очевидным примером этого является Швейцария. Швейцарию часто считают ближайшим к идеалу классически-либеральной утопии управления в реальном мире. Огромные полномочия передаются провинциям (называемым 'кантонами'), основные решения принимаются решается на референдумах, и многие местные даже не знаю, кто президент. Как такая страна может выжить чрезвычайно сложнополитическийдавления? Часть из ответ это отличная политическая стратегия, но другая важная часть -очень благоприятная география для обороны) в виде своей гористой местности.

Флаг - это большой плюс. Но таковы и горы.

Анархистские общества в Зомии, о которых так известно из новой книги Джеймса К. Скотта«Искусство не быть управляемым», являются еще одним примером: они тоже сохраняют свою свободу и независимость в значительной степени благодаря гористой местности. Тем временем, евразийские степи - точная противоположность утопии управления. Выступление Сары Пейн о морские против континентальных державделает аналогичные замечания, хотя акцентирует внимание на воде как оборонительном барьере, а не на горах. Фактически, комбинация легкости добровольной торговли и сложности недобровольного вторжения, характерная как для Швейцарии, так и для островных государств, кажется идеальной для процветания человека.

Я обнаружил связанный феномен при консультировании экспериментов по квадратичному финансированию в экосистеме Ethereum: в частности Финансирование раундов фонда Gitcoin Grants. В раунд 4, вспыхнул мини-скандал, когда некоторые из самых высокооплачиваемых получателей оказались инфлюенсерами Twitter, чьи вклады некоторые считают положительными, а другие - отрицательными. Мое собственное толкование этого явления заключается в том, что здесь имеется дисбаланс: квадратичное финансированиепозволяет вам сигнализировать, что вы считаете что-то общественным благом, но не дает способа сигнализировать, что что-то является общественным вредом. В крайнем случае полностью нейтральная система квадратичного финансирования финансировала бы обе стороны войны. И так для раунд 5, Я предложил, чтобы Gitcoin включил отрицательные взносы: вы платите 1 доллар, чтобы уменьшить сумму денег, которую получает данный проект (и неявно перераспределить ее между всеми другими проектами). Результат: множествоизлюдиненавиделэто.

Один из многих интернет-мемов, который появился после пятого раунда.

Мне показалось, что это было микрокосмом более крупного шаблона: создание децентрализованных механизмов управления для решения негативных внешних эффектов социально очень сложная проблема. Есть причина, по которой стандартным примером неправильного функционирования децентрализованного управления является мобильная юстиция. что-то о психологии человекачто делает ответ на негативы намного сложнее и намного более вероятным ошибочным, чем ответ на позитивы. И вот почему даже в прочих высокодемократичных организациях решения о том, как реагировать на негативы, часто остаются за централизованным советом.

Во многих случаях именно этот парадокс является одной из глубоких причин, почему концепция 'свободы' настолько ценна. Если кто-то говорит что-то, что оскорбляет вас, или ведет образ жизни, который вы считаете отвратительным, боль и отвращение, которые вы чувствуете, реальны, и вам даже может показаться, что лучше быть физически ударенным, чем сталкиваться с подобными вещами. Но попытки договориться о том, какие виды оскорблений и отвращения являются социально допустимыми, могут обернуться гораздо большими затратами и опасностями, чем просто напоминание себе о том, что определенные виды странников и придурков - это цена, которую мы платим за жизнь в свободном обществе.

В другие моменты, однако, подход "улыбнуться и перенести" нереалистичен. И в таких случаях еще один ответ, на который иногда стоит обратить внимание, - это оборонительные технологии. Чем более безопасен Интернет, тем меньше нам нужно нарушать частную жизнь людей и использовать теневые международные дипломатические тактики для борьбы с каждым отдельным хакером. Тем больше мы можем создатьперсонализированные инструменты для блокировки людей в Твиттере, инструменты в браузере для обнаружения мошенничестваиколлективные инструменты для различения дезинформациииправда, чем меньше у нас будет проблем с цензурой. Чем быстрее мы сможем создавать вакцины, тем меньше нам придется преследовать людей за то, что они являются суперраспространителями. Такие решения не работают во всех областях - мы определенно не хотим жить в мире, где каждый должен носить буквальную броню - но в областях, где мы можем создать технологии, чтобы сделать мир более защищенным, это имеет огромную ценность.

Эта основная идея, что некоторые технологии являются благоприятными для обороны и заслуживают поощрения, в то время как другие технологии благоприятствуют нападению и должны быть отвергнуты, имеет корни в литературе о эффективном альтруизме под другим названием: дифференциальное развитие технологий. Есть хорошая экспозиция этого принципа исследователей Университета Оксфордас 2022 года:

Рисунок 1: Механизмы, с помощью которых дифференцированное развитие технологий может снизить негативное влияние на общество.

Неизбежно будут существовать недостатки в классификации технологий как оскорбительных, оборонительных или нейтральных. Как и с "свободой", где можно спорить, уменьшают ли политики социал-демократического правительства свободу, взимая тяжелые налоги и принуждая работодателей, или увеличивают свободу, уменьшая необходимость обычных людей беспокоиться о многих видах рисков, с "обороной" тоже существуют технологии, которые могут попасть на обе стороны спектра. Ядерное оружие благоприятствует нападению, но ядерная энергетика человеческое-процветание-благоприятствующийи оффенсивно-дeфeнсивно-нейтральный. Разные технологии могут играть разные роли в разные временные горизонты. Но, как и в случае с "свободой" (или "равенством", или "правовым государством"), неопределенность на краях является не столько аргументом против принципа, сколько возможностью лучше понять его нюансы.

Теперь давайте посмотрим, как применить этот принцип к более всеобъемлющему мировоззрению. Мы можем думать о защитной технологии, как другие технологии, будто бы разделенный на две сферы: мир атомов и мир битов. Мир атомов, в свою очередь, можно разделить на микро (т. е. биологию, а затем нанотехнологии) и макро (т. е. то, что мы обычно понимаем под "обороной", но также устойчивой физической инфраструктурой). Мир битов я разделю по другой оси: насколько сложно принять в принципе, кто атакующий?. Иногда это легко; я называю это киберзащитой. В другие моменты это сложнее; я называю это информационной защитой.

Макрофизическая защита

Самая недооцененная оборонительная технология в макросфере даже нежелезные купола (включая Новая система Украины) и другая антивоенная и противоракетная военная техника, а скорее устойчивая физическая инфраструктура. Большинство смертей от ядерной войны, вероятно, произойдут от нарушения цепочки поставок, а не первичное излучение и взрыв, и низкоинфраструктурные интернет-решения, такие как Starlink, были критически важными вподдержание связности Украиныза последний год и полтора.

Создание инструментов, чтобы помочь людям выживать и даже жить комфортной жизнью независимо или полунезависимо от длинных международных цепочек поставок, кажется ценной оборонительной технологией, и технологией с низким риском оказаться полезной в оборонных целях.

Квест на сделать человечество многофункциональной цивилизациейМожно рассматривать также с точки зрения возможного/действительного: жизнь по принципу самодостаточности на других планетах хотя бы нескольких из нас может увеличить нашу устойчивость к чему-то ужасному, что может произойти на Земле. Даже если полное видение оказывается невозможным на данный момент, формы самодостаточной жизни, которые потребуется разработать для осуществления такого проекта, могут быть использованы для улучшения нашей цивилизационной устойчивости на Земле.

Микрофизическая защита (также известная как био)

Особенно из-за его долгосрочные последствия для здоровья, Covid продолжает быть беспокойство. Но Covid далеко не последняя пандемия, с которой нам придется столкнуться; существует много аспектов современного мира, которые делают вероятным то, что скоро придут еще пандемии:

• Более высокая плотность населения значительно облегчает распространение воздушных вирусов и других патогенов. Эпидемические заболевания относительно новы в истории человечества, и большинство из них началось с урбанизации.только несколько тысяч лет назад. Постоянное быстрое урбанизацияозначает, что плотности населения будут дальше увеличиваться в течение следующих полувека.
• Увеличение воздушных перевозок означает, что воздушные патогены быстро распространяются по всему миру. Люди быстро становятся богаче, что, вероятно, приведет к увеличению воздушных перевозок увеличиться намного дальшев течение следующей половины века; моделирование сложности позволяет предположить, чтодаже небольшие увеличенияможет оказать решающее влияние. Изменение климата может еще более увеличить этот риск.
• Одомашнивание животных и фабричное животноводство являются основными факторами риска. Корь Вероятно, он развился из коровьего вируса менее 3000 лет назад. Заводские фермы сегодня выращивают также новые штаммы гриппа (а также питание антибиотикорезистентности, с последствиями дляврожденный иммунитет человека).
• Современная биоинженерия облегчает создание новых и более вирулентных патогенов. Ковид может быть или не может быть утеклоиз лаборатории, занимающейся умышленными исследованиями "прироста функций". В любом случае, утечки из лабораторий происходят постоянно, и инструменты быстро совершенствуются, чтобы облегчить преднамеренное создание чрезвычайно смертоносных вирусов или даже белки, вызывающие заразные нейродегенеративные заболевания (Зомби-белкиИскусственные чумы вызывают особенное беспокойство, в частности, потому что в отличие от ядерного оружия, они не могут быть отнесены к вирусу: вы можете выпустить вирус, и никто не сможет сказать, кто его создал. Уже сейчас можно спроектировать генетическую последовательность и отправить ее в влажная лабораториядля синтеза и доставим вам в течение пяти дней.

Это область, где CryptoReliefиBalvi, две организации были созданы и финансируются в результате большого случайного внезапный выпад Шиба Ину монетв 2021 году проявила себя очень активно. CryptoRelief сначала сосредоточилась на реагировании на непосредственный кризис, а недавно начала создавать долгосрочную медицинскую исследовательскую экосистему в Индии, в то время как Balvi сосредотачивается на амбициозных проектах для улучшения нашей способности обнаруживать, предотвращать и лечить Covid и другие воздушно-переносимые заболевания. ++Balvi настаивает на том, что проекты, которые он финансирует, должны быть открытыми исходниками++. Инспирируясьдвижение по водному строительству XIX века, победившее холеруи другие патогены, передаваемые через воду, финансировал проекты во всем спектре технологий, которые могут сделать мир более устойчивым к воздушным патогенам по умолчанию (см. обновление 1иобновление 2), включая:

• Far-UVCоблучениеИсследование и разработка
• Фильтрация воздуха и мониторинг качества в Индия, Шри-Ланка, Соединенные Штатыи в других местах, и мониторинг качества воздуха
• Оборудование для дешевого и эффективногодецентрализованное тестирование качества воздуха
• Исследование причин длительного ковида и потенциальных вариантов лечения (основная причина может бытьпростойноуточнение механизмови поиск лечения еще сложнее)
• Вакцины (например, RaDVaC, PopVax) и исследование вакцинных повреждений
• Набор абсолютно новых неинвазивных медицинских инструментов
• Раннее выявление эпидемий с использованием анализа открытых данных (например, EPIWATCH)
• Тестирование, включая очень дешевые молекулярные экспресс-тесты
• Маски, соответствующие биозащите, когда другие методы не срабатывают

Другие перспективные области интереса включают в себямониторинг сточных вод патогенов, улучшение фильтрации и вентиляции в зданиях, и лучшее понимание и смягчение риски от плохого качества воздуха.

Есть возможностьпостроить мирчто намного более устойчиво к воздушным пандемиям, как естественным, так и искусственным, по умолчанию. В этом мире будет представлена высокооптимизированная трубопроводная система, где мы можем перейти от начала пандемии к автоматическому обнаружению, чтобы люди по всему миру имели доступ к целевым,локально производимые и проверяемые открытые вакцины с открытым исходным кодомилидругие профилактические меры, администрируемый через аэрозолизацияилиспрей для носа(смысл: самостоятельное использование при необходимости, без использования игл), все в течение месяца. Тем временем гораздо лучшее качество воздуха радикально снизило бы скорость распространения и предотвратило бы возникновение многих пандемий.

Представьте себе будущее, в котором не нужно прибегать к кувалде социального принуждения - ни норм и еще хуже, и нет риска плохо спроектированные и реализованные мандаты, которые, вероятно, ухудшают ситуацию- потому что инфраструктура общественного здравоохранения вплетена в ткань цивилизации. Эти миры возможны, и небольшое количество средств, вложенных в биооборону, могло бы сделать это реальностью. Работа проходила бы еще более плавно, если бы разработки были открытыми, бесплатными для пользователей и защищены как общественные блага.

Киберзащита, блокчейны и криптография

Эксперты в области безопасности обычно понимают, что текущее состояние компьютерной безопасности довольно ужасно. Тем не менее, легко недооценить количество проделанной работы. Сотни миллиардов долларов криптовалюты доступны для анонимного кражи любым, кто может взломать кошельки пользователей, и в то время как гораздо больше теряется или крадетсячем бы мне ни хотелось, факт остаётся фактом, что большая часть из этого осталась не украденной на протяжении более десяти лет. Недавно были внесены улучшения:

• Доверенные аппаратные чипы внутри телефонов пользователей, что фактически создает гораздо меньшую высоко защищенную операционную систему внутри телефона, которая может оставаться защищенной даже в случае взлома остальной части телефона. Среди многих других сфер применения эти чипы все чаще исследуются как способ сделать более безопасные криптокошельки.
• Браузеры как де-факто операционная система. За последние десять лет произошел тихий переход от загружаемых приложений к веб-приложениям. Это в значительной степени обусловленоWebAssembly (WASM)Даже Adobe Photoshop, который долгое время считался основной причиной того, почему многие люди не могут практически использовать Linux из-за его необходимости и несовместимости с Linux, теперь дружелюбен к Linux благодаря нахождению в браузере. Это также большой плюс в плане безопасности: в то время как браузеры действительно имеют недостатки, в целом, они обладают гораздо большей изоляцией, чем установленные приложения: приложения не могут получить доступ к произвольным файлам на вашем компьютере.
• Защищенные операционные системы. GrapheneOSдля мобильных устройств существует и очень удобен.QubesOSнастольная версия существует; в настоящее время она менее удобна, чем Graphene, по крайней мере, по моему опыту, но она улучшается.
• Попытки преодоления паролей. Пароли, к сожалению, сложно обеспечить безопасность как потому, что их трудно запомнить, так и потому, что их легко подслушать. Недавно наблюдается растущее движение к сокращению ударения на пароли и внедрению аутентификации на аппаратном уровне с несколькими факторами.фактически работать.

Однако отсутствие киберзащиты в других сферах также привело к серьезным неудачам. Необходимость защиты от спама привела к тому, что электронная почта стала очень олигополистический на практике, что затрудняет самостоятельное размещение или создание нового почтового провайдера. Многие онлайн-приложения, включая Twitter, требуют, чтобы пользователи были авторизованы для доступа к контенту, и блокируют IP-адреса с VPN, что затрудняет доступ к интернету таким образом, чтобы обеспечить конфиденциальность. Централизация программного обеспечения также рискованна из-за"вооруженная взаимозависимость": тенденция современных технологий проходить через централизованные узлы, а для операторов этих узлов использовать эту власть для сбора информации, манипулирования результатами или исключения определенных участников - стратегия, которая, кажется, даже в настоящее время используетсяпротив самой отрасли блокчейна.

Эти тенденции вызывают беспокойство, потому что они угрожают тому, что исторически было одной из моих больших надежд на то, что будущее свободы и конфиденциальности, несмотря на глубокие компромиссы, все равно может оказаться светлым. В своей книге "Будущее Несовершенное", Дэвид Фридман предсказывает, что мы можем получить компромиссное будущее: мир в реальной жизни будет все более и более подвергаться наблюдению, но благодаря криптографии онлайн-мир сохранит и даже улучшит свою конфиденциальность. К сожалению, как мы видели, такая контренаправленность далеко не гарантирована.

Здесь я делаю акцент на криптографических технологиях, таких как блокчейн, и доказательства нулевого разглашенияпоявляется. Блокчейны позволяют нам создавать экономические и социальные структуры с «общим жестким диском», не полагаясь на централизованных участников. Криптовалюта позволяет людям экономить деньги и совершать финансовые сделки, как они могли раньше в интернете с наличными, без зависимости от доверенных третьих сторон, которые могли бы изменить свои правила по своему усмотрению. Они также могут служить запасным анти-сибиловским механизмом,Что делает атаки и спам дорогимидаже для пользователей, у которых нет или которые не хотят раскрывать свою мясо-пространственную личность. Абстрагирование учетной записи, и особенно социальные кошельки для восстановления , может защитить наши криптовалютные активы, а в будущем, возможно, и другие активы, без чрезмерной зависимости от централизованных посредников.

Доказательства нулевого знания могут быть использованыдля конфиденциальности, позволяя пользователям доказывать что-либо о себе, не раскрывая частной информации. Например, завернуть в цифровая подпись паспортав использовании ZK-SNARK для доказательства того, что вы уникальный гражданин определенной страны, не раскрывая, кто именно вы. Такие технологии позволяют нам сохранить преимущества конфиденциальности и анонимности - свойства, считающиеся необходимо для приложений, таких как голосование - при этом обеспечивая гарантии безопасности и борясь со спамом и плохими участниками.

Предложенный дизайн для системы ZK социальных медиа, где могут происходить модерационные действия и пользователи могут быть наказаны, не зная личности никого.

Zupass, выведенный в Zuzaluранее в этом году – прекрасный пример этого на практике. Это приложение, которое уже использовалось сотнями людей в Zuzalu и недавно тысячами людей для покупки билетов на Devconnect, что позволяет вам удерживать билеты, членства, (непередаваемый) цифровые коллекционные предметы и другие утверждения и доказательства о них, не раскрывая своей конфиденциальной информации. Например, вы можете доказать, что являетесь уникальным зарегистрированным жителем Zuzalu или обладателем билета Devconnect, не раскрывая ничего еще о себе. Эти доказательства могут быть предъявлены лично, через QR-код или в цифровом виде для входа в приложения, такие как Zupoll, анонимная система голосования, доступная только жителям Zuzalu.

Эти технологии являются отличным примером принципов d/acc: они позволяют пользователям и сообществам проверять надежность без ущемления конфиденциальности и защищать свою безопасность, не полагаясь на централизованные точки удушения, навязывающие свои собственные определения того, кто хороший и плохой. Они улучшают глобальную доступность, создавая лучшие и более справедливые способы защиты безопасности пользователя или сервиса, чем общепринятые сегодня техники, такие как дискриминация против целых стран, считаемых ненадежными. Это очень мощные примитивы, которые могут быть необходимы, если мы хотим сохранить децентрализованное видение информационной безопасности на пороге XXI века. Работа над оборонительными технологиями для киберпространства в более широком контексте может сделать интернет более открытым, безопасным и свободным в очень важных аспектах впереди.

Инфо-оборона

Киберзащита, как я ее описал, - это ситуации, в которых легко для разумных людей все прийти к согласию о том, кто является атакующей стороной. Если кто-то пытается взломать ваш кошелек, легко согласиться, что хакер - плохой парень. Если кто-то пытается осуществить DoS-атаку на веб-сайт, легко согласиться, что они действуют злонамеренно и морально не то же самое, что и обычный пользователь, пытающийся прочесть то, что находится на сайте. Есть другие ситуации, где границы более размыты. Именно инструменты для улучшения нашей защиты в этих ситуациях я называю "info-защита".

Возьмем, к примеру, факт-чекинг (также известный как предотвращение «дезинформации»). Япоклонник Community Notes, который сделал многое, чтобы помочь пользователям определить правду и ложь в том, что другие пользователи твитят. Community Notes использует новый алгоритм, который выдвигает не заметки, которые самые популярные, а заметки, которые наиболее одобрены пользователями по всему политическому спектру.

Примечания сообщества в действии.

Я также являюсь поклонником рынков прогнозов, которые могут помочь определить значимость событий в реальном времени, до того как пыль оседает и достигается консенсус относительно того, в каком направлении что.Polymarket на Sam Altmanочень полезен в даче понятного обзора конечных последствий час за часом раскрытий и переговоров, придавая необходимый контекст людям, которые видят только отдельные новостные материалы и не понимают значения каждого из них.

Прогностические рынки часто содержат ошибки. Но твиттер-инфлюенсеры, которые готовы уверенно выражать свои мнения о том, что, по их мнению, произойдет в ближайший год, часто еще более ошибаются. Есть еще много места для улучшения прогностических рынков. Например, один из основных практических недостатков прогностических рынков - это их низкий объем за исключением самых высокопрофильных событий; естественным направлением для решения этой проблемы было бы создание прогностических рынков, в которых участвуют искусственные интеллекты.

В рамках пространства блокчейн существует особый тип защиты информации, о котором, на мой взгляд, нам нужно гораздо больше. А именно, кошельки должны быть намного более мнениями и активно помогать пользователям определить значение вещей, которые они подписывают, и защищать их от мошенничества и афер. Это промежуточный случай: то, что является аферой, менее субъективно, чем взгляды на спорные социальные события, но более субъективно, чем различение легитимных пользователей от атакующих DoS или хакеров. У Metamask уже есть база данных афер, и автоматически блокируются пользователи от посещения аферистических сайтов:

Приложения, такие как Огоньэто пример одного из способов пойти намного дальше. Однако такое программное обеспечение безопасности не должно быть чем-то, что требует явной установки; оно должно быть частью криптокошельков, или даже браузеров, по умолчанию.

Из-за его более субъективной природы информационная защита в своей сути более коллективна, чем киберзащита: вам нужно каким-то образом включиться в большую и сложную группу людей, чтобы определить, что может быть правдой или ложью, и какого рода приложение является обманной пирамидой. У разработчиков есть возможность пойти намного дальше в развитии эффективной информационной защиты и в укреплении существующих форм информационной защиты. Что-то вроде Заметок сообщества может быть включено в браузеры и охватывать не только платформы социальных сетей, но и весь интернет.

Социальные технологии за рамками концепции "обороны"

До некоторой степени меня справедливо можно обвинить в том, что я описываю некоторые из этих информационных технологий как "оборонительные". В конце концов, оборона заключается в помощи добросовестным участникам защищаться от злоумышленников (или, в некоторых случаях, от природы). Некоторые из этих социальных технологий, однако, направлены на помощь добросовестным участникам в формировании консенсуса.

Хорошим примером этого является pol.is, который использует алгоритм, аналогичный заметкам сообщества (и предшествует заметкам сообщества), чтобы помочь сообществам определить точки согласия между подплеменами, которые в противном случае не согласны по многим вопросам.Viewpoints.xyzбыл вдохновлен pol.is и имеет похожий дух:

Технологии вроде этой могут использоваться для обеспечения более децентрализованного управления спорными решениями. Опять же, блокчейн-сообщества – это хорошая площадка для тестирования таких подходов, и там уже было показано, насколько они ценны.EIPs"), внесенные в протокол Ethereum, делаются довольно небольшой группой на встречах, называемых "Gate"Все звонки основных разработчиков“. Для высокотехнических решений, когда у большинства членов сообщества нет сильных чувств, это работает довольно хорошо. Для более важных решений, которые влияют на экономику протокола или более фундаментальные ценности, такие как неизменяемость и устойчивость к цензуре, этого часто недостаточно. Вернувшись в 2016-17 году, когда был ряд спорных решений относительно реализации DAO fork, сокращая выпуск и (не)размораживание кошелька Parity, инструменты, такие как Carbonvote, а также голосование в социальных сетях, помогли сообществу и разработчикам увидеть, в каком направлении склонялось большинство мнения сообщества.

Голосование за углерод на вилке DAO.

Голосование за углерод имел свои недостатки: оно полагалось на удержание ETH для определения, кто был членом сообщества Ethereum, делая результат доминирующим для нескольких богатых держателей ETH («китов»). Однако современными инструментами мы могли бы создать гораздо более эффективный Carbonvote, используя несколько сигналов, таких какPOAPs, марки Zupass, Паспорта Gitcoin, Членства в Протокольной Гильдии, а также держателя ETH (или даже одиночного стейкинга ETH) для оценки членства в сообществе.

Инструменты, подобные этому, могут использоваться любым сообществом для принятия более качественных решений, нахождения точек соприкосновения, координации (физических или цифровых) миграций или выполнения целого ряда других задач без использования непрозрачного централизованного руководства. Это не ускорение обороны само по себе, но его определенно можно назвать ускорением демократии. Такие инструменты могут быть использованы даже для улучшения и демократизации управления ключевыми деятелями и учреждениями, работающими в области искусственного интеллекта.

Итак, каковы пути развития сверхинтеллекта?

Все вышеизложенное хорошо и хорошо, и может сделать мир намного более гармоничным, безопасным и свободным местом для следующего века. Однако это еще не решает большой проблемы: сверхинтеллектуального искусственного интеллекта.

Предлагаемый по умолчанию путь вперед, предложенный многими теми, кто беспокоится об искусственном интеллекте, в основном приводит к минимальному мировому правительству искусственного интеллекта. В ближайшие версии этого включают предложение для «международный консорциум AGI» («MAGIC»). Если такое объединение будет создано и добьется своей цели создания сверхинтеллектуального искусственного интеллекта, у него будет естественный путь к становлению де-факто минимальным мировым правительством. В долгосрочной перспективе есть идеи, такие как «ключевое действие»теория: мы создаем искусственный интеллект, который выполняет одну единственную действие, которое перестраивает мир в игру, где впредь люди остаются ответственными, но где игровое поле каким-то образом более выгодно для обороны и более подходит для процветания человека.

Основная практическая проблема, которую я вижу в этом на данный момент, заключается в том, что люди, кажется, на самом деле не доверяют никакому конкретному механизму управления властью для создания подобного. Этот факт становится очевидным, когда вы посмотрите на результаты моих недавних опросов в Twitter, спрашивая, хотели бы люди видеть, чтобы искусственный интеллект монополизировался одним субъектом с десятилетним стартом или же задерживался на десять лет для всех:

Размер каждого опроса невелик, но опросы компенсируют это единообразием результатов в самых разных источниках и вариантах. В девяти из девяти случаев большинство людей предпочли бы, чтобы внедрение высокоразвитого ИИ было отложено на десятилетие, чем монополизировалось бы одной группой, будь то корпорация, правительство или транснациональная организация. В семи из девяти случаев промедление победило как минимум в соотношении два к одному. Это кажется важным фактом, который должен понимать любой, кто стремится к регулированию ИИ. Нынешние подходы сосредоточены на создании схем лицензирования и нормативных требований, пытаясь ограничить разработку ИИ меньшим числом людей, но они встретили сопротивление со стороны общественности именно потому, что люди не хотят, чтобы кто-то монополизировал что-то настолько мощное. Даже если такие инициативы по регулированию сверху вниз снижают риски вымирания, они рискуют увеличить вероятность некоторой постоянной привязки к централизованному тоталитаризму. Как это ни парадоксально, могут ли соглашения, полностью запрещающие чрезвычайно продвинутые исследования в области ИИ (возможно, за исключением биомедицинского ИИ), в сочетании с такими мерами, как обязательное использование открытого исходного кода для тех моделей, которые не запрещены, как способ снижения мотивов получения прибыли при дальнейшем улучшении равенства доступа, быть более популярными?

Основной подход, предпочитаемый противниками пути "давайте создадим одну глобальную организацию, занимающуюся искусственным интеллектом, и сделаем ее управление действительно хорошим", много богов искусственный интеллект: намеренно стараемся, чтобы много людей и компаний разрабатывали множество искусственных интеллектов, чтобы ни один из них не стал гораздо более мощным, чем другой. Таким образом, по этой теории, даже когда искусственный интеллект станет сверхразумным, мы сможем сохранить баланс сил.

Эта философия интересна, но мой опыт попыток обеспечить «политеизм» в экосистеме Ethereum заставляет меня беспокоиться, что это нестабильное равновесие по своей природе. В Ethereum мы намеренно пытались обеспечить децентрализацию многих частей стека: гарантировать, что нет единого кодовой базы, контролирующейболее половины сети доказательства доли, пытаясь противодействовать доминирование крупных стейкинг-пулов, улучшая географическая децентрализация, и так далее. Фактически, Эфириум пытается осуществить старую либертарианскую мечту о рыночном обществе, использующем социальное давление вместо правительства в качестве антимонопольного регулятора. В некоторой степени это сработало: Доминирование клиента Prysmснизился с более чем 70% до менее 45%. Но это не какой-то автоматический рыночный процесс: это результат человеческого намерения и согласованных действий.

Мой опыт в рамках Ethereum отражается на уроках из более широкого мира в целом, где многие рынки оказалисьестественные монополииС суперинтеллектуальными искусственными интеллектами, действующими независимо от людей, ситуация становится еще более нестабильной. Благодаря рекурсивное самосовершенствование, самый сильный ИИ может очень быстро вырваться вперед, и когда ИИ станут мощнее людей, нет силы, способной вернуть баланс.

Кроме того, даже если у нас получится политеистический мир сверхинтеллектуальных ИИ, который оказывается стабильным, у нас все равно есть другая проблема: мы получаем вселенную, где люди являются домашними животными.

Счастливый путь: слияние с искусственным интеллектом?

Другой вариант, о котором я услышал недавно, - это сосредоточиться менее на искусственном интеллекте как на отдельном от людей явлении, и больше на инструментах, которые улучшают человеческое познание, а не заменяют его.

Одним из ближайших примеров того, что идет в этом направлении, являются инструменты рисования искусственного интеллекта. Сегодня наиболее значимые инструменты для создания изображений, созданных искусственным интеллектом, имеют только один этап, на котором человек вносит свой вклад, а затем искусственный интеллект полностью берет на себя управление процессом. Альтернативой могло бы быть более активное использование искусственного интеллекта в Photoshop: инструменты, где художник или искусственный интеллект могут создать первоначальный набросок изображения, а затем оба сотрудничают в его улучшении с помощью процесса обратной связи в реальном времени.

Photoshop генеративное заполнение искусственным интеллектом, 2023. Источник. Я попробовал, это занимает время, чтобы привыкнуть, но на самом деле работает довольно хорошо!

Другое направление в том же духе - это Архитектура открытого агентства, которая предлагает разделить различные части "ума" искусственного интеллекта (например, разработку планов, их выполнение, интерпретацию информации из внешнего мира) на отдельные компоненты и вводить разнообразные человеческие обратные связи между этими частями.

Пока это звучит банально, и почти все согласятся, что было бы хорошо иметь это. Работа экономиста Дарона Аджемоглу далека от такого рода футуризма искусственного интеллекта, но его новая книга Сила и Прогресснамекает на желание видеть больше именно таких типов искусственного интеллекта.

Но если мы хотим довести эту идею сотрудничества человека и искусственного интеллекта до конца, мы приходим к более радикальным выводам. Если мы не создадим мировое правительство, достаточно мощное, чтобы обнаруживать и останавливать каждую маленькую группу людей, взламывающих отдельные графические процессоры на ноутбуках, кто-то в конечном итоге создаст сверхинтеллектуальный ИИ - способный мыслить...тысячу раз быстреечем мы можем - и никакая комбинация людей, использующих инструменты своими руками, не сможет соперничать с этим. И поэтому нам нужно пойти гораздо глубже и дальше в этой идее сотрудничества человека и компьютера.

Первый естественный шаг - интерфейсы мозг-компьютер. Интерфейсы мозг-компьютер могут дать людям гораздо более прямой доступ ко все более мощным формам вычислений и познания, сокращая двустороннюю петлю связи между человеком и машиной с нескольких секунд до миллисекунд. Это также значительно снизит затраты на «умственные усилия», связанные с приобретением компьютера, который поможет вам собирать факты, давать предложения или выполнять план.

Поздние этапы такой дорожной карты, признавайте, становятся странными. Помимо мозговых компьютерных интерфейсов, существует различные пути улучшения наших мозгов непосредственно через инновации в биологии. Заключительный дальнейший шаг, который объединяет оба пути, может включать загрузка наших умовзапускаться на компьютерах напрямую. Это также было бы конечной d/acc для физической безопасности: защита себя от вреда больше не была бы проблемой защиты неизбежно мягких человеческих тел, а скорее гораздо более простой проблемой создания резервных копий данных.

Подобные указания порой вызывают беспокойство, отчасти потому, что они необратимы, а также потому, что они могут дать мощным людям больше преимуществ перед остальными. Интерфейсы мозг-компьютер в частности имеют опасности - ведь речь идет буквально о чтении и записи в умы людей. Именно эти опасения являются причиной, почему я считаю, что идеально было бы, чтобы ведущую роль на этом пути играло движение с открытым исходным кодом, сосредоточенное на безопасности, а не закрытые и частные корпорации и венчурные фонды. Кроме того, все эти проблемы усугубляются суперинтеллектуальными ИИ, действующими независимо от людей, чем с аугментациями, тесно связанными с людьми. Разрыв между «усовершенствованными» и «неусовершенствованными» уже существует сегодня из-заограничения в том, кто может и не может использовать ChatGPT.

Если мы хотим будущего, которое будет одновременно и сверхразумным, и «человеческим», таким, в котором люди будут не просто домашними животными, а на самом деле сохранят значимую свободу действий над миром, то кажется, что что-то подобное является наиболее естественным вариантом. Есть также веские аргументы в пользу того, что это может быть более безопасным путем согласования ИИ: привлекая обратную связь от человека на каждом этапе принятия решений, мы уменьшаем стимул перекладывать ответственность за планирование высокого уровня на сам ИИ и тем самым уменьшаем вероятность того, что ИИ сам сделает что-то, совершенно не соответствующее ценностям человечества.

Еще одним аргументом в пользу этого направления является то, что оно может быть более социально приемлемым, чем просто кричать “пауза AI"без дополнительного сообщения, предоставляющего альтернативный путь вперед. Это потребует философского сдвига от нынешнего менталитета, согласно которому технологические достижения, затрагивающие людей, опасны, но достижения, отделенные от людей, по умолчанию безопасны. Но это имеет огромное противовесное преимущество: это дает разработчикам дело. Сегодня основное сообщение движения по безопасности ИИ для разработчиков ИИ, кажется, заключается в том, что " Вы должны просто остановиться“. Один можетработать над исследованием выравнивания, но сегодня этому не хватает экономических стимулов. По сравнению с этим общее сообщение в стиле 'ты уже герой таким, какой есть', разумеется, чрезвычайно привлекательно. Сообщение в стиле 'ты должен строить и создавать прибыльные вещи, но быть гораздо более избирательным и намеренным в том, чтобы убедиться, что ты создаешь вещи, которые помогают тебе и всему человечеству процветать', может стать победителем.

Совместим ли d/acc с вашей существующей философией?

• Если вы являетесь e/acc, то d/acc является подвидом e/acc - просто более селективным и целенаправленным.
• Если выэффективный альтруист, то d/acc - это переименование идеи эффективного альтруизматехнологическое развитие дифференциальных технологий, хотя с большим упором на либеральные и демократические ценности.
• Если вы либертарианец, то d/acc - это подвид техно-либертарианства, более прагматичный, критичный к "техно-капиталистической машине" и готовый принять правительственные вмешательства сегодня (по крайней мере, если культурные вмешательства не работают), чтобы предотвратить намного худшее лишение свободы завтра.
• Если вы являетесь плюралистом, в Смысл термина Глен Вейла, то d/acc - это рамка, в которую легко вместить акцент на лучшую технологию демократической координации, которую ценит Множественность.
• Если вы являетесь защитником общественного здравоохранения, то идеи d / acc могут стать источником более широкого долгосрочного видения и возможностью найти общий язык с "техническими людьми", с которыми вы в противном случае могли бы чувствовать себя в противоречии.
• Если вы являетесь сторонником блокчейна, то d/acc - это более современная и широкая повествовательная линия, которую стоит принять, чем пятнадцатилетнее ударение на гиперинфляцию и банки, которое помещает блокчейны в контексте как один из многих инструментов в конкретной стратегии для построения более светлого будущего.
• Если вы солярпанк, затем d/acc является подвидом solarpunk, и включает в себя аналогичное внимание к намеренности и коллективным действиям.
• Если вы лунапанк, затем вы оцените акцент на информационной обороне, поддерживая конфиденциальность и свободу.

Мы - самая яркая звезда

Я люблю технологии, потому что они расширяют человеческий потенциал. Десять тысяч лет назад мы могли создать некоторые ручные инструменты, изменить рост растений на небольшом участке земли и строить базовые дома. Сегодня мы можем построить 800-метровые башни, сохранить все записанные знания человечества в устройстве, которое мы можем держать в руках, мгновенно общаться по всему миру, удлинить нашу продолжительность жизни вдвое, и жить счастливо и наполненно, без страха, что наши лучшие друзья регулярно умирают от болезней.

Мы начали снизу, теперь мы здесь.

Я верю, что эти вещи глубоко хороши, и что расширение досягаемости человечества даже дальше, к планетам и звездам, глубоко хорошо, потому что я верю, что человечество глубоко хорошо. В некоторых кругах модно быть скептическим к этому: движение за добровольное вымирание человечествааргументирует, что Земле было бы лучше без существования людей вообще, и еще многие хотят видетьнамного меньшее количество людейувидеть свет этого мира в грядущие века. Это обычноспоритьчтоЛюди плохиепотому что мы обманываем и воруем, занимаемся колониализмом и войной, и жестоко обращаемся с другими видами, уничтожаем их. Мой ответ на такой способ мышления - один простой вопрос: по сравнению с чем?

Да, человеческое существо часто бывает жестоким, но намного чаще мы проявляем доброту и милосердие, и работаем вместе на благо нашего общего блага. Даже во время войн мы часто стараемся защитить гражданских лиц - конечно, далеко не достаточно, но и гораздо больше, чеммы сделали 2000 лет назад. В следующем веке, скорее всего, появится широко доступное мясо, не требующее использования животных, что исключит крупнейшая моральная катастрофачто людей можно справедливо винить за сегодня. Нелюди не такие. Нет ситуации, в которой кошка примет целый образ жизни отказываться от мышей как вопрос этических принципов. Солнце становится ярче каждый год, и черезодин миллиард лет, ожидается, что это сделает Землю слишком горячей для поддержания жизни. Думает ли Солнце о геноциде, который оно собирается устроить?

И поэтому я твердо верю, что из всех вещей, которые мы знали и видели в нашей вселенной, мы, люди, являемся самой яркой звездой. Мы - единственное, о чем мы знаем, что, даже если и несовершенно, иногда прилагаем искренние усилия, чтобы заботиться о 'хорошем' и корректировать наше поведение, чтобы лучше служить этому. Через два миллиарда лет, если Земля или какая-либо часть вселенной все еще несет в себе красоту земной жизни, это будут человеческие искусства, такие как космические путешествия игеоинжинирингчто сделает это произойти.

Нам нужно строить и ускоряться. Но есть очень важный вопрос, который нужно задать: к чему мы ускоряемся? 21-й век может бытьважный векдля человечества, век, в котором решается наша судьба на тысячелетия вперед. Попадем ли мы в одну из многих ловушек, из которых мы не сможем выбраться, или найдем путь к будущему, в котором сохраним свою свободу и деятельность? Это сложные проблемы. Но я с нетерпением жду возможности следить и участвовать в великом коллективном усилии нашего вида по поиску ответов.

Disclaimer：

1. Эта статья взята из [GateВиталик Бутерин]. Все авторские права принадлежат оригинальному автору [Виталик Бутерин]. Если есть возражения по поводу этого перепечатывания, пожалуйста, свяжитесь с Gate Learnкоманда, и они быстро справятся с этим.
2. Отказ от ответственности: Взгляды и мнения, выраженные в этой статье, являются исключительно точкой зрения автора и не являются инвестиционным советом.
3. Переводы статьи на другие языки выполняются командой Gate Learn. Если не указано иное, копирование, распространение или плагиат переведенных статей запрещены.