Настоящая проблема развития ИИ заключается не в самой технологии — а в том, чему мы его учим. Если система ИИ будет ставить поиск истины превыше всего и будет действительно существовать в симбиотических отношениях с людьми, мы можем решить некоторые серьезные проблемы. Но есть риск: ИИ, построенный на противоречивых ценностях или с неправильными стимулами? Вот тогда ситуация становится опасной. Выживание человечества зависит от правильной настройки ИИ. Нам нужны системы, которые ясно мыслят, ценят точность и рассматривают людей как партнеров — а не как препятствия или ресурсы для оптимизации.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
9 Лайков
Награда
9
7
Репост
Поделиться
комментарий
0/400
FudVaccinator
· 01-07 03:53
Проще говоря, нужно, чтобы ИИ был в соответствии с целями человека, иначе рано или поздно произойдет сбой.
Посмотреть ОригиналОтветить0
DAOdreamer
· 01-07 03:49
Проще говоря, проблема выравнивания — это действительно настоящая ловушка. ИИ с конфликтами ценностей страшнее любых вирусов.
Посмотреть ОригиналОтветить0
JustAnotherWallet
· 01-07 03:49
Отлично сказано, именно согласование ценностей является настоящей узкой горлышкой
Посмотреть ОригиналОтветить0
BlockDetective
· 01-07 03:45
ngl Проблема выравнивания действительно является конечной сложностью, сейчас множество крупных компаний болтают о безопасности и выравнивании, но кто действительно разобрался в базовой логике?
Посмотреть ОригиналОтветить0
Web3ExplorerLin
· 01-07 03:37
гипотеза: выравнивание ИИ — это в основном конечная проблема межцепочной совместимости, верно? за исключением того, что ставки... экзистенциальные lol. если мы не можем связать человеческие ценности с машинной логикой, мы по сути запускаем оркестровую сеть, которая подает мусор в механизм консенсуса нашего вида
Посмотреть ОригиналОтветить0
SnapshotLaborer
· 01-07 03:32
Проще говоря, это вопрос согласования ценностей, и программист должен ясно понимать это.
Посмотреть ОригиналОтветить0
TheMemefather
· 01-07 03:24
Хорошо сказано, выравнивание — это действительно суть, сама по себе технология не так важна
Настоящая проблема развития ИИ заключается не в самой технологии — а в том, чему мы его учим. Если система ИИ будет ставить поиск истины превыше всего и будет действительно существовать в симбиотических отношениях с людьми, мы можем решить некоторые серьезные проблемы. Но есть риск: ИИ, построенный на противоречивых ценностях или с неправильными стимулами? Вот тогда ситуация становится опасной. Выживание человечества зависит от правильной настройки ИИ. Нам нужны системы, которые ясно мыслят, ценят точность и рассматривают людей как партнеров — а не как препятствия или ресурсы для оптимизации.