Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски Страница 116
- Категория: Разная литература / Зарубежная образовательная литература
- Автор: Элиезер Шломо Юдковски
- Страниц: 457
- Добавлено: 2026-05-28 18:02:24
Внимание! Книга может содержать контент только для совершеннолетних. Для несовершеннолетних просмотр данного контента СТРОГО ЗАПРЕЩЕН! Если в книге присутствует наличие пропаганды ЛГБТ и другого, запрещенного контента - просьба написать на почту pbn.book@yandex.ru для удаления материала
Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски краткое содержание
Прочтите описание перед тем, как прочитать онлайн книгу «Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски» бесплатно полную версию:Что на самом деле значит быть рациональным? Это не «рациональность» в голливудском стиле, где вы отказываетесь от всех человеческих чувств в угоду Холодной и Суровой Логике. Это настоящая рациональность — та, которую изучают психологи, социологи и математики. Рациональность, которая позволяет принимать качественные решения, даже когда это тяжело; грамотно мыслить даже в условиях колоссальной неопределенности; признавать и в полной мере использовать свои неясные интуитивные ощущения и эмоции, а не пытаться от них избавиться.
В книге «Рациональность: от ИИ до зомби» Элиезер Юдковский объясняет научную природу человеческой иррациональности через смесь притч, полемических эссе и личных историй. Эти поразительные описания того, как работает наш разум (и как часто он дает сбои!), затем проходят проверку по-настоящему сложными головоломками. Среди них:
споры специалистов по компьютерным наукам о будущем искусственного интеллекта (ИИ);дискуссии физиков о связи между квантовым и классическим мирами;дебаты философов о метафизике зомби и природе морали, и многое другое.При этом «Рациональность: от ИИ до зомби» раскрывает значимость правильного мышления для человека гораздо глубже, чем любой традиционный учебник по когнитивистике или философии разума.
Об авторе и издании:
Элиезер Юдковский — специалист по теории принятия решений и исследователь в Институте машинного интеллекта (MIRI). Ранние черновики своих текстов он публиковал на площадках Overcoming Bias и Less Wrong. «Рациональность: от ИИ до зомби» объединяет шесть томов эссе Юдковского в один масштабный электронный труд. В совокупности эти цепочки связанных эссе служат глубоким и увлекательным введением в науку — и искусство — человеческой рациональности.
Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски читать онлайн бесплатно
У каждой группы сложился негативный стереотип о «Них» и контрастирующий с ним позитивный стереотип о «Нас». «Змеи» отчаянно ругались. «Орлы» после победы в одной из игр пришли к выводу, что они выиграли благодаря своим молитвам, а «Змеи» проиграли, потому что постоянно сквернословили. Сами «Орлы» решили вообще отказаться от бранных слов. Они также решили, что раз «Змеи» постоянно ругаются, разумнее будет с ними не разговаривать. «Орлы» создали себе образ благовоспитанных и добродетельных; «Змеи» же сформировали образ грубых и крутых ребят.
Члены групп зажимали носы, когда мимо проходили представители соперников.
На третьем этапе исследователи попытались снизить напряженность между двумя группами.
Простой контакт (нахождение рядом без соревнований) не снизил напряженность. Совместное участие в приятных мероприятиях — например, запуск фейерверков на День независимости — тоже не помогло; напротив, все переросло в битву едой.
Хотите угадать, что действительно сработало?
(Место для спойлера . . .)
Мальчикам сообщили, что во всем лагере может закончиться вода из-за таинственной неисправности в водопроводе — возможно, по вине вандалов. (Внешний враг — один из старейших трюков в истории.)
Территорию между лагерем и резервуаром должны были осмотреть четыре поисковых отряда. (Изначально эти поисковые отряды были однородными — каждый состоял из членов только одной группы.) Если ничего не обнаружится, все отряды должны были встретиться у бака для воды. Поскольку ничего найдено не было, группы встретились у бака и сами убедились, что из крана не течет вода. Обе группы мальчиков обсудили, в чем может быть проблема, постучали по стенкам бака, нашли лестницу наверх, убедились, что бак полон, и наконец обнаружили мешок, застрявший в водопроводном кране. Все мальчики собрались вокруг крана, чтобы прочистить его. Предложения посыпались от членов обеих групп, и ребята с обеих сторон пытались воплотить их в жизнь.
Когда кран наконец прочистили, «Змеи», у которых были фляжки, не возражали против того, чтобы «Орлы» набрали воду первыми (у «Орлов» фляжек с собой не было). Не прозвучало ни одного оскорбления, даже привычного «Дамы вперед».
Это не положило конец соперничеству окончательно. На следующее утро случилась еще одна битва едой, сопровождавшаяся взаимными оскорблениями. Но еще несколько общих задач, требовавших совместных усилий обеих групп — например, завести заглохший грузовик, — сделали свое дело. В конце поездки «Змеи» потратили 5 долларов, выигранных в конкурсе по бросанию бобов, чтобы купить молочные коктейли для всех мальчиков из обеих групп.
Эксперимент «Пещера разбойников» иллюстрирует психологию племен охотников-собирателей, отголоски которой доносятся до нас сквозь века, так безупречно, как ни один другой эксперимент, когда-либо придуманный социальными науками.
Любое сходство с современной политикой — лишь плод вашего воображения.
(Иногда мне кажется, что вторая по значимости потребность человечества — это суперзлодей. Пожалуй, изберу это поприще, когда закончу со своей нынешней работой.)
*
1. Музафер Шериф и др., “Study of Positive and Negative Intergroup Attitudes Between Experimentally Produced Groups: Robbers Cave Study”, неопубликованная рукопись (1954).
112. Каждое Дело стремится стать культом.
Кейд Метц из The Register недавно заявил, что секретный список рассылки топ-администраторов Википедии стал одержим баном всех критиков и возможных критиков Википедии. Включая бан продуктивного пользователя после того, как один из администраторов — исключительно из-за этой продуктивности — уверился, что пользователь — шпион, подосланный Wikipedia Review. И что верхушка Википедии сплотила ряды, чтобы защитить своих. (Я сам пока не проверял эти утверждения. Спасибо за наводку Ойгену Лейтлю.)
Кроется ли какой-то глубокий нравственный изъян в стремлении систематизировать мировые знания, который неизбежно сводит с ума сторонников этого Дела? Возможно, только люди с врожденными тоталитарными наклонностями будут пытаться стать мировым авторитетом во всем —
Внимание: ошибка соответствия! (Ошибка соответствия: вывод о личных склонностях человека на основе поведения, которое можно полностью объяснить ситуацией, в которой оно происходит. Когда мы видим, как кто-то пинает торговый автомат, мы думаем, что это «агрессивный человек», но когда мы сами пинаем автомат, это потому, что автобус опоздал, поезд ушел раньше времени, а автомат сожрал наши деньги.) Если обвинения в адрес Википедии справедливы, они объясняются обычной человеческой природой, а не исключительной человеческой природой.
Деление на «своих» и «чужих» — часть обычной человеческой природы. То же касается радостных спиралей смерти и спиралей ненависти. Благородному Делу не нужен глубокий скрытый изъян, чтобы его приверженцы сплотились в сектантскую ингруппу. Достаточно того, чтобы сторонники были людьми. Всё остальное следует естественным образом, как распад по умолчанию — словно продукты, портящиеся в холодильнике после отключения электричества.
Точно так же, как любая разность температур стремится выровняться, а любая компьютерная программа стремится превратиться в нагромождение ситуативных заплаток, каждое Дело хочет стать культом. Это высокоэнтропийное состояние, к которому стремится система, аттрактор в человеческой психологии. И это может быть никак не связано с тем, насколько благородным Дело является на самом деле. Можно подумать, что Благородное Дело должно распространить свое благородство на все аспекты жизни связанных с ним людей — что его сторонники будут менее восприимчивы к статусным играм, предвзятости «свой — чужой», аффективным спиралям и лидерам-божествам. Но вера в одну истинную идею не отключит эффект ореола. Благородное дело не сделает своих сторонников кем-то большим, чем просто люди. Существует множество плохих идей, способных причинить массу вреда, — но дело здесь не обязательно в них.
Любая группа людей с необычной целью — хорошей, плохой или глупой — будет тяготеть к аттрактору культа, если только не будет прилагать постоянных усилий для сопротивления этому. Вы можете поддерживать в доме прохладу, когда на улице жарко, но для этого кондиционер должен работать постоянно, и как только вы отключите электричество — сдадитесь в борьбе с энтропией — всё вернется к «норме».
Был один известный случай, когда группа, приобретшая черты полукульта, сделала своим лозунгом «Рациональность! Разум! Объективная реальность!» (Об этом подробнее позже.) Навешивание на Великую Идею ярлыка
Жалоба
Напишите нам, и мы в срочном порядке примем меры.