Предисловие
«Рациональный поступок», «вести себя рационально», «рациональный человек»… Апелляция к рациональности (читай, «разумности») настолько часто встречается в бытовых разговорах, массовой культуре и политике, что стала привычной. И когда люди слышат о «рационалистическом мировоззрении», у многих и мысли не возникает, что оно в принципе может быть неверным, если только их не обманывают и не подсовывают под видом рационализма что-нибудь другое.
В том, что такое современный рационализм, мы будем разбираться на примере одного популярного неакадемического философа — Элиезера Юдковского. В его статьях мы находим суждения, общие для разных течений рационализма, поэтому они могут служить наглядной иллюстрацией современного состояния этой философской концепции в целом. Кроме того, он ориентировался на массы интеллигенции, а не на профессиональных философов, и потому его слова не нужно переводить «с философского на русский».
Разумеется, рационализм не ограничивается Юдковским и несколькими другими персонажами, о которых пойдёт речь. К рационализму можно отнести множество разных течений и философов — как из прошлого, так и современных, и мы не будем пытаться охватить всё и сразу. Тем не менее, некоторые общие тенденции мы проиллюстрируем.
Заодно мы покажем, какие положения рационализма делают его несовместимым с диалектическим материализмом. Да, для кого-то это может стать неожиданным, но марксисты — не рационалисты и никогда ими не были, несмотря на преемственность по отношению к ряду рационалистических учений (например, к философии Гегеля) и наличие внешнего сходства между диаматом и рационализмом.
Наконец, эта заметка — своего рода самокритика автора, который в своё время исповедовал и проповедовал взгляды, которые будут рассмотрены ниже.
Певец разума
Кто такой Элиезер Юдковский и чем он знаменит?
Большинство знает его как автора популярного фанфика по «Гарри Поттеру» под названием «Гарри Поттер и методы рационального мышления», где он выразил свои взгляды на мир в художественной форме.
Фанфик сильно прибавил Юдковскому популярности, но не был исходной точкой. Ещё до его написания Элиезер был одним из создателей коллективного блога о рациональности «Overcoming Bias», а впоследствии — и его «расширенной версии», ставшего довольно популярным сайта «LessWrong»1 . Многие российские читатели LessWrong не согласились бы с тем, что блог был в первую очередь философской направленности, однако Элиезер в своих публикациях рассуждал на самые что ни на есть философские темы. «Что есть реальность?» «Как реальность соотносится с индивидуальным сознанием?» «Что есть познание и как оно работает?» «Что есть общее и есть ли оно вообще?» — вот лишь небольшой список вопросов, которые поднимал Юдковский. При этом на указанные вопросы он ещё и давал вполне однозначные ответы, что говорит о наличии у него достаточно чётких мировоззренческих позиций.
Философией дело не ограничивалось. Юдковский — эрудированный человек, и его интересовали самые разные области деятельности людей. Он писал о психологии, математике, кибернетике, не обходил вниманием и естественные науки вроде биологии или физики. Наконец, он поднимал классические вопросы трансгуманизма: о бессмертии, сверхмощном искусственном интеллекте и т. д.
У блога длинная история, не лишённая скандалов и дрязг. Останавливаться на ней подробно нет смысла, но один инцидент отметить стоит. В один прекрасный день обнаружилось, что, несмотря на заявленную авторами аполитичность (и даже едкие уколы Юдковского в сторону Айн Рэнд и её magnum opus), сайт превратился в рассадник либертарианства. В результате часть последователей откололась, создав свою версию сайта «с научностью и рационалистками» под названием LesserWrong2 . При этом дело было не в том, что кто-то слепо пошёл за гуру. Юдковский в это время вообще занимался «исследованиями в области искусственного интеллекта» — или, если верить слухам, «освоением» средств одного впечатлительного буржуа-мецената, что многих из его паствы как раз заставило разувериться лично в нём. Дело было как раз в самом учении, которое продвигалось на этом сайте, в его внутренней логике. Ну что, вы всё ещё не верите в партийность философии?
Рационалистами не рождаются
В настоящее время в интернете полно болтунов, которые только и делают, что демонстрируют свою верность «правильной науке» и поливают грязью философию. Достаточно и тех, кто, формально не отказываясь от философии, намеренно сужает её предмет исследования. Несмотря на это, у молодых людей, живущих в условиях реакции, религиозного мракобесия и общего уныния, нет-нет да и возникают всякие «глупые» вопросы: «Кто я?» «Зачем я?» «Как быть, что делать?» «Куда всё идет?» Нередко случается так, что ответов им не дают ни вера, ни здравый смысл, ни пошлые банальности, которые они слышат по «ящику».
Так случилось и с автором этой заметки по окончании института. Религия уже не приносила удовлетворения, хотя и не была полностью изгнана из жизни, националистические убеждения трещали по швам, а альтернативы, предлагавшие отказаться от самих вопросов о смысле и объективной истине, казались ещё хуже. И в этот момент пришло «спасение» в виде необычного сайта, который рассказывал о том, как правильно думать, чтобы правильно действовать и менять мир вокруг. Там не было похабщины вроде «заработай миллионы за неделю». Там вообще не предлагали лёгких путей, вместо них указывая на долгую тернистую дорогу к «настоящей рациональности». О таком молодой выпускник с технико-математической специальностью и мечтать не мог.
Молодой интеллектуал потрясён. Простое изложение, ссылки на исследования и даже некоторое соответствие полученным в институте знаниям не дают оторваться от чтения. А ещё появляется надежда на лучшее, возвращается чувство собственного достоинства и укрепляется пошатнувшаяся вера в человеческий разум.
Молодой интеллектуал взахлёб читает статьи и заметки. Он вдохновенно повторяет «литанию Тарского» («Я хочу верить, что снег белый, только когда он действительно белый»), раздумывает над замысловатыми этическими задачками, читает несколько книг по Байесовой статистике и теории принятия решений. И, конечно же, он «несёт слово в массы», проповедуя верный образ мысли и действия всем вокруг… Лишь для того чтобы однажды осознать, что всё это был лишь морок, иллюзия.
Описанная выше история — не случайность. Были вокруг меня и другие люди, которые прошли через то же самое. Можно сколько угодно говорить о том, что кто-то дурак, неуч и простофиля или сетовать на религиозность и бессилие пропаганды «настоящей» науки, но эти и подобные им идеи никуда не денутся сами собой. У людей на определённом уровне развития личности появляются потребности, которые не удовлетворить без цельной картины мира, и пока научная философия не станет чем-то обыденным, эту самую картину у них будет собирать кто попало и как попало.
Нельзя сказать, что рационализм совсем бесполезен. В моём случае он нанёс последний удар по религиозным и националистическим убеждениям, а на сдачу ещё и дал несколько полезных привычек. Но это скорее напоминало попытки лечить героиновую зависимость метадоном, просроченным века эдак на два.
Рационализм по Юдковскому
Выше мы сказали, что Юдковский в период LessWrong по роду деятельности был философом. Однако не стоит тут же подставлять перед этим словом ни «великим», ни «хорошим/годным», ни даже «последовательным». На деле философия Юдковского — борщ из самых разных направлений мысли.
В качестве основы для этого специфического блюда возьмём т. н. «наивный реализм» — так на «птичьем» зовётся вульгарный материализм. Затем добавим в меню не то позитивизма, не то кантианства и тщательно взболтаем. Далее для остроты подмешаем ложечку известной ещё с XIX века специи — утилитаризма. Блюдо следует варить до появления на поверхности объективного идеализма. Секретный же ингредиент храброго кулинара — способность удерживать всю эту мешанину в одном котелке, не давая ей забурлить, вспениться и убежать. Задача эта, надо сказать, не из простых.
Главной идеей, на которую накручивается всё остальное, выступает именно идея рациональности как безусловного блага и рационального индивида как идеала. Именно она, облачённая в красивые одежды, подаётся читателям, именно она так притягательна и именно она захватывает умы неофитов, которые начинают считать себя просвещёнными человеками, «рационалистами», отчего преисполняются спесью и чванством.
Так что же такое рациональность по Юдковскому? Лучше процитировать его самого3 :
«Под рациональностью я подразумеваю:
-
- Эпистемическую рациональность, то есть систематическое улучшение точности своих убеждений.
- Инструментальную рациональность, то есть систематическое достижение своих целей.
Когда вы открываете глаза и осматриваете комнату, вы замечаете ноутбук на столе и книжный шкаф около стены. Если с вашими глазами или вашим мозгом случится что-нибудь плохое, возможно, у вас в голове окажется мысленная модель, которая скажет, что шкаф стоит там, где его на самом деле нет. В этом случае, когда вы пойдёте за книгой, вам будет обидно.
Примерно так и выглядят ложные убеждения — карта мира, не соответствующая территории. Эпистемическая рациональность посвящена построению карт, точно отображающих реальность. Точную связь между убеждением и реальностью обычно называют „истиной“, и я тоже с радостью пользуюсь этим словом.
С другой стороны, инструментальная рациональность посвящена управлению реальностью. Вы делаете будущее таким, каким вам хочется. Инструментальная рациональность — это искусство выбрать действия, которые приведут к последствиям, стоящим выше в вашей шкале предпочтений. Иногда я называю это „выигрыванием“».
Звучит вполне здраво, не так ли? Здесь тебе и признание объективной реальности материального мира, и субъективный образ как её отражение, и даже наличие обратной связи. Так что же здесь не так?
На поверку — множество самых разных вещей. Если рассмотреть работы Юдковского в целом, этот отрывок предстанет в совершенно ином свете.
Ваша карта бита
Юдковский и вправду не отрицает существования мира вне наших ощущений. Через многие его работы красной нитью проходит присказка про «карту и территорию», служащая иллюстрацией соотношения объективной реальности и наших представлений о ней. Он даже назвал так одну из глав своей книги! Вот небольшой отрывок4 :
«Главный же рационалистский навык, которому, читая о приключениях Госсейна [Речь идёт о персонаже книг Альфреда ван Вогта. — И. Д.], научиться всё-таки можно, заключён в его девизе:
Карта — не территория».
Однако не всё так просто. Юдковский верно подметил разницу между объективной реальностью и её отражением, однако чем дальше, тем сильнее он фокусируется на факте несовершенства «карты» и тем меньше — на том, что «карта» всё же в какой-то степени соответствует «территории». Это можно проиллюстрировать ещё одним отрывком из упомянутой главы5 :
«В книге ван Вогта Гилберт Госсейн вспоминает о поговорке про карту и территорию, когда не уверен в каких-то убеждениях:
„Ты так считаешь, но мир не обязательно так устроен“.
Это высказывание может казаться базовой истиной, но именно с него часто начинается обучение начинающих рационалистов. Они прыгают из мира, где небо просто синее, трава просто зелёная, а люди из Другой Политической Партии просто одержимы злобными демонами, в мир, где, возможно, реальность не совпадает с этими убеждениями и способна когда-нибудь вас удивить».
Юдковский словно одержим необходимостью постоянно проверять и перепроверять себя. Нельзя сказать, что привычка сомневаться — это что-то плохое. Однако теперь, когда я читаю его, мне начинает казаться, будто он пытается нас убедить: быть уверенным в чём-то — непростительный оптимизм. Тот же Гарри Поттер из «Методов рационального мышления» под определённым углом зрения выглядит как малолетний нарциссичный параноик. Да что там, даже название второй главы фанфика — «Всё, во что я верю, — ложь»! Конечно, Элиезер не доходит до кантовской непознаваемой «вещи в себе» или до «радикального скептицизма» Юма, но крен в этом направлении очевиден.
Одновременно Юдковский постулирует, что некоторый идеал, некоторая «идеальная Байесова машина» принципиально может существовать и максимально точно познавать мир, но это (сюрприз-сюрприз!) никогда не ты. И не она. И не вон тот парень.
Кому-то это могло бы напомнить убого поданную диалектику абсолютной и относительной истины, но с учётом фиксации на «несовершенстве карты» всё получается ровно наоборот. Вместо оптимистического утверждения о познаваемости мира утверждается почти противоположное: «мир полностью познаваем, но не для тебя». При этом сам Юдковский то и дело пытается убедить читателя в пользе и необходимости любопытства (например, когда говорит о «семантических стоп-сигналах»), но эти попытки тут же гасятся очередным назиданием на тему «твоя карта — не территория, всегда подвергай сомнению свои убеждения». Такая вот получается «эпистемическая рациональность». Скорее уж это гносеологическая паранойя!
Здесь стоит сделать небольшое историческое отступление. Всё описанное выше Юдковский придумал не первым. Даже метафора «карта — не территория» принадлежит Альфреду Коржибскому, создателю т. н. «общей семантики», и появилась она ещё в первой половине ХХ века. Подробный разбор работ Коржибского выходит за рамки данной заметки, однако проиллюстрировать их содержание всё-таки стоит. Для этого приведём несколько характерных цитат.
Для начала удостоверимся, что пресловутая «карта» и правда упоминается как один из принципов данного учения6 :
«Положения не-А:
1) Карта — это не территория — нетождественность, 2) Карта не представляет всю территорию — не-всеобъемлемость, 3) Карта — саморефлексивна».
Далее следует та самая «гносеологическая паранойя», причём доходящая в своих масштабах до совершенного непотребства7 :
«Я хочу подчеркнуть, что безопасно говорить можно только, если вы датируете то, что говорите. Только высказанное на текущий момент имеет смысл. Нам стоит датировать сказанное, потому что с развитием событий и возникновением новых фактов нам нужно пересматривать то, что мы сказали. Нам стоит придерживаться фактов, и не только тех, которые нам известны лично, но и тех, которые мы знаем не напрямую из науки, и т.д. В ОС [Общей Семантике. — И. Д.] мы начинаем с наблюдения и обобщаем на определённый момент времени по необходимости. Наши знания становятся гипотетическими, а не догматическими».
Наконец, в следующей цитате ярко выражен номинализм (отрицание всеобщего в мире), также свойственный субъективно-идеалистической философии. Ничего удивительного: Коржибский находился под влиянием Венского кружка8 9 , и субъективный идеализм был для него не только не зазорной, но и очень даже почтенной философией10 :
«Определение по интенции – это определение по некоторым свойствам. Возможно, вам знакомо определение человека Платоном — бескрылое двуногое. Оно подходит всем, но не затрагивает никого. Такое определение никуда не приводит, кроме как к обрыву бес-смыслецы.
Экстенсионально, мы обозначаем рассмотрение класса индивидуумов, состоящих из Смита1, Смита2, Смита3, и т. д. (Это работает с помощью числовых индексов). Такие экстенсиональные методы применяются только в ОС и математике. Математика не интересует определение числа, потому что он показывает поведение чисел. Математика — это поистине мощный инструмент. Она основывается на эмпирических операциях и проверяется».
Но что же Юдковский? Имеет ли это к нему какое-то отношение?
Во-первых, он, собственно, разделяет указанные выше воззрения. Во-вторых, хотя Элиезер и не отсылает к «общей семантике» напрямую, он явно писал свою философию «под вдохновением». Например, уже упомянутый ван Вогт, автор серии книг «Нуль-А», был в своё время фанатом Коржибского и своими книгами популяризировал его идеи в массах. Даже само название «Нуль-А» — это не что иное, как отсылка к неаристотелевой логике, являющейся ключевой для «общей семантики».
То, что сам Юдковский ни разу не упоминал ни «общую семантику», ни её автора, довольно занятно, как и то, что на сайте LessWrong почти нет заметок на эту тему. Одна из них, впрочем, оказалась довольно любопытной, т. к. в ней делается попытка отследить «корни» LessWrong и их идей11 :
«Ключевые положения ОС [Общей Семантики. — И. Д.]: такие как распространение понимания абстрагирования, различие карты и территории, избегание глагола «быть», понимание того, что геометрия реального мира неэвклидова, а логика — неаристотелева; все они были полезными. Они очень помогли. Они уменьшили неэффективность моего мышления.
Для блуждающих в тумане рационалистов во времена до Цепочек [Цепочки — способ группировки статей и заметок на сайте LessWrong; так часто называли и сам сайт. — И. Д.], ОС была наиболее мощным набором инструментов, который описывался научно. В новом тысячелетии я нахожу много её отражений в Цепочках».
Тут бы впору задуматься: а не пытается ли хитрюга Юдковский пропихнуть нам старый буржуазный мусор в новой обёртке? Но в рамках данной заметки мы оставим этот вопрос на откуп любопытствующим читателям. В конце концов, мусор не перестаёт быть мусором, даже если его никто не крал.
Редукционизм
Если в случае с «картой и территорией» можно попытаться списать всё на неудачную подачу материала (на самом деле нет), то остальные его философские идеи звучат ещё более сомнительно.
Снова дадим слово Юдковскому12 :
«Так что же: Боинг сделан не из кварков? Нет, это мы всего лишь моделируем его, используя такие элементы представления, которые не могут быть сопоставлены с кварками Боинга один к одному. Карта — это не территория.
Почему бы не смоделировать Боинг, используя хромодинамическое представление? Потому что для получения ответа по такой модели потребуется тьмаллион лет. Кроме того, эта модель не поместится в память всех компьютеров мира вместе взятых (на 2008 год).
Как говорится „Карта — это не территория, но территорию нельзя сложить и убрать в бардачок“. Иногда приходится пользоваться картой поменьше, лишь бы она помещалась в маленький бардачок. Но это никак не меняет территорию. Масштаб карты — это не свойство территории, это свойство карты.
Если было бы возможно построить и запустить хромодинамическую модель Боинга, то она бы давала точные предсказания. Более точные, чем аэродинамическая, на самом деле».
Здесь уже видно, как «карта — не территория» и представления Юдковского об объективной реальности начинают играть с ним злую шутку. Для наглядности приведём ещё одну цитату из той же работы13 :
«„Что?“ — кричит антиредукционист, — „Вы говорите, что у Боинга в действительности нет крыльев? Но я же их вижу!“
И вот тут есть едва уловимая тонкость. Объект может иметь разные описания на разных уровнях, но дело не только в этом.
Дело в том, что фраза „имеет разные описания на разных уровнях“ относится к Разговору о Картах, а не к Разговору о Территории».
То есть, если упрощать сказанное, мы имеем перед собой две родственные идеи — радикальный физикализм («всё сводимо к кваркам») и номинализм («всеобщее — исключительно в головах»).
Начнём со второго. Если мы действительно принимаем данную идею, то немедленно возникает вопрос: «а откуда оно в головах взялось?» Если верить тому, что мы знаем о «картах и территориях», то очевидно, что любое обобщение — это некоторое отражение объективной реальности. Сам Юдковский, например, говорит о «разных описаниях», другие могут использовать слово «модель» или «концепция». Подвох здесь в том, что, если проводить рассуждение последовательно, вопрос «а почему мы обобщили именно так?» остаётся без вменяемого ответа. Получается, что мы можем обобщить и иначе. Например, придумать другую периодическую систему химических элементов, которая будет служить человечеству так же хорошо. Только вот, если вынырнуть из наших фантазий, почему-то «работает» именно система Менделеева. Можно сколько угодно раз сказать, что «можно обобщать иначе», но объективная реальность упорно говорит нам обратное. Да и сам Юдковский, вероятно, не согласился бы с такой постановкой вопроса.
С радикальным физикализмом всё похоже: если мы сводим всё к кваркам, то как быть, например, с открытыми человечеством специфически химическими законами? Разумеется, в основе химической формы материи лежит физическая. Однако, рассматривая объекты исключительно на «физическом уровне», игнорируя «химический уровень», мы не получим всей картины. Понимание физической основы химических процессов важно, однако попытки подменять химию физикой (в противовес обогащению понимания химии за счёт физики) приводят к систематическим ошибкам, то есть не проходят проверку практикой. В задачи данной заметки не входит углублённое рассмотрение философии химии, но для тех, кому интересно разобраться, мы можем порекомендовать книгу Владимира Кузнецова «Диалектика развития химии», в особенности части о несостоятельности «периодической системы атомов»14 и о сведении химии к физике15 .
Таким образом, несмотря на значительную роль физики как основы химии, можно сказать, что эффективно решать собственно химические проблемы на одном лишь «физическом уровне» не представляется возможным. И если уж говорить о «Боинге», то, как именно предполагается «хромодинамически моделировать» сжигание топлива, — вопрос крайне интересный. Ну как тут не проникнуться «инструментальной рациональностью»?
Напоследок будет нелишним отметить, что радикальный редукционизм несколько расходится с представлениями о морали, которые распространены на LessWrong, несмотря на видимость обратного. Ведь, если подходить к вопросу последовательно, то либо никакой морали нет вовсе, либо она должна вполне определённо вытекать из кварков. Впрочем, мы забегаем вперёд.
И Бентам!
Утилитаризм — как много в этом слове! Этическое учение Иеремии Бентама не только пережило своего создателя, но и нашло свою нишу в современной массовой культуре.
Описать суть утилитаризма можно буквально одной фразой: «максимизация блага для максимального числа людей». Это этическое учение относится к консеквенциальным, то есть оценивает результат действия («консеквент»), а не, скажем, соответствие ряду установленных правил. Концепцию же «блага» (оно же — «удовольствие», «счастье» и т. д.) как высшей ценности утилитаризм наследует от гедонизма, для которого высшая ценность — индивидуальное «благо» для самого́ отдельно взятого человека, а не для всей совокупности людей.
Помимо «блага», важной частью утилитаризма является «функция полезности». В данном случае мы будем использовать обозначение u(x) = v, где x — некоторое событие или действие, u — функция полезности, v — «полезность» или «благо», получаемое в результате16 .
Помимо классического, существуют несколько других вариантов утилитаризма. Например, такой, когда мы говорим не о «максимальном благе», а о «минимальном страдании». Или такой, когда мы считаем не максимум, а среднее. Есть также системы, которые выделяют не один, а два или более параметра (подобный пример, «счастье + продолжительность жизни», был описан в другой критической статье LC). Некоторые версии предполагают ещё и сравнимость «блага» разных людей, некоторое «коллективное благо» или даже «глобальное благо», то есть пытаются максимизировать «сумму всех благ», «среднее всех благ» и т. д.
В чём же тут проблема? А их несколько.
Первая — непонимание того, что человеческие потребности качественно различны. Утилитаристы сводят их к некоему интегральному показателю. Почему это проблема? Потому что, например, ваше желание кушать не сможет удовлетворить даже самая лучшая квартира в городе, а потребность спать в тепле не удовлетворит даже ваш самый любимый торт. Если доводить дело до абсурда, то можно задать вопрос: «Что даёт больше блага — поесть, поспать в тепле или вылечить больной зуб?» Казалось бы, эту проблему должны решать те самые системы с несколькими параметрами. Вот только если параметров ограниченное количество, то мы в итоге столкнёмся с тем же вопросом. Нет никакой разницы, два у нас параметра или десять: количество и разнообразие потребностей принципиально не ограничены ничем, а значит, их всегда будет больше, чем переменных. Если же параметров потенциально бесконечное число, всё построение теряет смысл. В этом смысле утилитаризм Бентама схож с теорией предельной полезности Бём-Баверка. И даже фамилии у обоих начинаются на Б. Совпадение?
Вторая — слабое или превратное понимание того, что люди в обществе связаны меж собой. У утилитаристов всё основывается на идее обособленных субъектов-индивидов, и коллективное действие либо не рассматривается вовсе, либо рассматривается как эдакая манипуляция. Это касается в том числе систем «группового утилитаризма»: даже если обособленный индивид-утилитарист захочет действовать ради коллективного блага, он всё ещё будет должен действовать так, будто идёт война «всех против всех» в каждый конкретный момент или, в лучшем случае, так, будто все вокруг — идиоты без эмпатии. Посудите сами: если люди — это обособленные индивиды, то вы никогда не сможете быть уверены в том, что ваш «партнёр по социальному процессу» хоть сколько-то надёжен. А вдруг его функция полезности расходится с вашей? А вдруг он врёт? А вдруг он просто дурак? В любом случае ему нельзя доверять. И если уж вы решились сделать что-то для блага другого человека, вы должны быть максимально осторожны. В идеале — нанести непоправимое благо так, чтобы другие ничего не могли с этим поделать. Таким образом, вместо коллективного действия в общих интересах получается полная страстей и интриг политическая игра, где каждый хочет обмануть другого и считает на пять ходов вперёд. Вот и катайся потом с друзьями на шашлыки!
Третья — непонимание того, что у людей в эксплуататорском обществе разное социальное положение. Изначальная версия утилитаризма полагала, что если каждый будет преследовать своё благо, то это автоматически приведёт к желаемому результату для всех. Однако на практике моя функция полезности может быть обратно пропорциональна чьей-нибудь ещё. Например, можно своровать торт у соседа, побить кого-нибудь и т. п. Казалось бы, идеи «коллективного блага» должны решать эту проблему. Просто максимизируем «благо» семьи, страны, да хотя бы и всего мира — и делов-то!
Звучит многообещающе. Только вот теперь нам надо как-то количественно сравнивать не только удовлетворённость качественно разных потребностей, но и результирующие индивидуальные «блага» у разных людей. Как именно это должно происходить и как сравнить моё «счастье» с чьим-то ещё — загадка. А ведь их потом ещё надо как-то просуммировать!
Но и на этом проблемы не кончаются. Каждая система подобного рода имеет свои внутренние «баги» — гипотетические ситуации, которые строго следуют правилам системы, но при этом приводят к «интересным» результатам. Простейший пример: если мы берём систему с «минимизацией страданий», то всех бедных и/или их детей с точки зрения такого утилитаризма проще убить, потому что это определённо минимизирует суммарные страдания. Ещё один пример «бага» — т. н. «сверх-счастливый агент», о котором мы поговорим ближе к концу заметки.
Но, может быть, если отвлечься от указанных выше «мелочей», на практике утилитаризм работает как надо? Отнюдь.
Во-первых, на практике все версии «группового утилитаризма» сразу отправляются на помойку. В качестве иллюстрации рассмотрим довольно простой пример — семью и распределение работы по дому. Если обычная семья, не ушибленная утилитаризмом, просто составляет список необходимого, исходя из потребностей (нужно помыть посуду, заклеить окна на зиму, подмести пол), то правильная, утилитаристская семья… делает то же самое. Даже самые ярые утилитаристы не будут всерьез считать функцию полезности от мытья посуды и уборки в доме: даже если осуществлять расчет «на глаз», это будет совершенно непрактично. А что, если муж не захочет сейчас заклеивать окна и функция полезности даст отрицательный результат? А что, если в ответ на это жена назовет его лентяем и бездельником? Какое действие принесет больше блага? Если решать подобные вопросы при каждом коллективном действии, никаких сил на само действие просто не останется. Не говоря уже о том, что «война всех против всех», описанная выше, будет работать и в этом случае, ведь все мы ещё и основываемся на идее обособленных индивидов, которые не могут быть полностью уверены в остальных. Иными словами, для того чтобы действительно реализовать такую этику, надо либо напрямую подавить остальных участников, либо манипулировать ими. То есть на практике все варианты утилитаризма сводятся к «индивидуальному».
Во-вторых, вычислить функцию полезности на практике — непростая задачка. Как следствие, «максимизация полезности» плавно переходит к «индивидуальному успеху, несмотря ни на что» с одновременным появлением мысли «я умный — все вокруг дураки». Конечно, такая стратегия может быть выгодна кому-то, но в обществе, разделённом на классы, — явно не всем. Яростная драка за место под солнцем не только не ведёт к «максимуму блага для большего числа», но даже для отдельного человека может быть весьма пагубной стратегией.
В-третьих, из-за предполагаемой обособленности индивида, сложностей оценки полезности и прочих формальностей утилитаризм буквально может выглядеть как надстройка над чем угодно, при этом по факту нигде не применяясь, кроме как на словах. Утилитарист может помогать бабушкам переходить через дорогу, что он делал бы и так, или грабить людей на улицах, что он делал бы и так.
Рассуждения Юдковского — отличная иллюстрация последнего затруднения. В его работах постоянно чувствуется влияние утилитаризма, он то и дело использует «утилитаристские» словечки и обороты («функция полезности», «ожидаемая полезность»), и его рассуждения часто ведутся в описанном выше «количественном» ключе. Для наглядности приведём пример17 :
«Когда „максимизатор скрепок“ и „максимизатор карандашей“ ведут себя по-разному, они не „несогласны друг с другом“, у них просто отличные друг от друга оптимизационные модели. Из конкретного критерия долженствования невозможно выделить „чистое долженствование“, в связи с которым „максимизатор скрепок“ и „максимизатор карандашей“ могут быть несогласны. Если, конечно, вы не включаете в понятие „несогласия“ такие различия, при которых каждому участнику вообще нечего сказать друг другу».
Мысль о морали как о процессе оптимизации некоторых числовых параметров постоянно всплывает в текстах Юдковского. При таком подходе очевидно, что разные моральные системы (разные «модели оптимизации») — это просто точки зрения, принципиально ничем друг от друга не отличающиеся. В связи с этим читатели нередко воспринимали его слова как признание морального релятивизма, от чего сам Юдковский постоянно открещивался. Например, в одной своей заметке он рассуждал о гипотетических существах, высшей моральной ценностью которых является «сортировка камушков по кучкам». Вот небольшой отрывок оттуда18 :
«„Сортировщики камушков“ [Pebblesorters] могли бы сказать, что музыка к-бессмысленна [„К-“ здесь и далее подразумевает „с точки зрения задачи сортировки камушков по кучкам как высшей моральной ценности“; в оригинале — p-pointless (от pebble) — И. Д.], поскольку не помогает сортировать камушки по каким-либо кучкам. А ещё — что шутки не только к-бессмысленны, но и к-странны и к-непонятны. И конечно же, человеческое представление о мире, где существа носятся, получая положительное подкрепление и не сортируют камушки, — совершенно к-произвольное и лишённое к-смысла. „Сортировщики камушков“ с радостью пожертвовали бы жизнями, чтобы создать к-дружественный ИИ, который отсортировал бы всю галактику вместо них. Это было бы наиболее к-глубоким утверждением, которое они могли бы сделать касательно к-смысла их жизней.
Так какую же из двух перспектив мне выбрать? Разумеется, человеческую. Не потому, что она человеческая, а потому, что она верная. Я не полностью уверен, что значит „верное“, но не могу и сослаться на своё полное невежество».
Наконец, для закрепления приведём последнюю цитату19 :
«Если не обращать внимания на рекомендации этих философов, можно заметить, что первый для обоснования своей точки зрения использует исключительно критерии блага общества. Для первого философа аргументом в пользу эгоизма становится его польза для всех. Второй философ апеллирует исключительно к индивидуальному гедонистическому критерию. Для него альтруизм полезен, потому что от него больше пользы конкретному человеку: выше социальный статус, больше получаемое удовольствие.
Так кто же из них настоящий альтруист?
Тот, кто придерживает дверь для пожилых женщин».
То есть получается, что нет никакого смысла проводить линию рассуждений и подсчитывать что-то? Нет даже нужды обосновывать свою «модель оптимизации»? Ведь можно просто сказать «придерживать дверь для пожилых женщин — правильно» — и всё! Ай да Юдковский, ай да рационалист! И это уже не говоря о том, что заявленный радикальный редукционизм буквально требует, чтобы вся мораль выводилась не из какого-то там «блага» в головах, а выходила напрямую из элементарных частиц. Или для элементарных частиц тоже «правильно» придерживать дверь?
Завершая разговор об утилитаризме, хотелось бы привести цитату, которая, возможно, лучше других характеризует Бентама и его учение20 :
«Сфера обращения, или обмена товаров, в рамках которой осуществляется купля и продажа рабочей силы, есть настоящий эдем прирождённых прав человека. Здесь господствуют только свобода, равенство, собственность и Бентам. Свобода! Ибо покупатель и продавец товара, например, рабочей силы, подчиняются лишь велениям своей свободной воли. Они вступают в договор как свободные, юридически равноправные лица. Договор есть тот конечный результат, в котором их воля находит своё общее юридическое выражение. Равенство! Ибо они относятся друг к другу лишь как товаровладельцы и обменивают эквивалент на эквивалент. Собственность! Ибо каждый из них располагает лишь тем, что ему принадлежит. Бентам! Ибо каждый заботится лишь о себе самом. Единственная сила, связывающая их вместе, это — стремление каждого к своей собственной выгоде, своекорыстие, личный интерес. Но именно потому, что каждый заботится только о себе и никто не заботится о другом, все они в силу предустановленной гармонии вещей или благодаря всехитрейшему провидению осуществляют лишь дело взаимной выгоды, общей пользы, общего интереса».
Обратная формула Клаузевица
«Политика — убийца разума», — именно в такой форме Юдковский демонстрирует свою «радикальную аполитичность». Проиллюстрируем мысль яркой цитатой самого Юдковского21 :
«Политика — продолжение войны, война с применением словесного оружия. Аргументы — это солдаты. Ты же знаешь, на чьей ты стороне? Теперь ты должен поддерживать все аргументы своей стороны и атаковать все аргументы, которые каким-либо образом оказывают содействие стороне противника. Исподтишка бить своих солдат решительно недопустимо, и перевязывать раны солдатам врага — тоже».
В самом начале мы видим перевёрнутую вверх тормашками, подобно Гегелю из расхожего афоризма, «формулу Клаузевица» — «Война есть не что иное, как продолжение государственной политики иными средствами». Откуда же тогда происходит, собственно, война? Это остаётся загадкой, которую Элиезер не очень-то спешит разгадать. Можно лишь предположить, что Юдковский, как и многие интеллектуалы, разделяет убеждение, что войны происходят, потому что недалёкие люди (необразованные, сильно подверженные эмоциям и т. д.) однажды решили поубивать своих соседей.
Впрочем, ничего удивительного в самой этой позиции нет. Если вспомнить всё, что мы говорили раньше, — редукционизм с его отказом от всеобщего, утилитаризм с его обособленными индивидами и «гносеологическую паранойю», — несложно будет понять, что в его картине мира практически не остаётся места для коллективного действия в любой его форме, в том числе и в политике.
Как и многие современные интеллектуалы, «накушавшиеся» буржуазных игр, Юдковский всеми силами пытается устраниться от этого процесса, находя всё больше и больше свидетельств в пользу аполитичности как единственно верного выхода. Насколько это получилось на практике, мы уже кратко отметили выше — сайт не только стал рассадником либертарианства, но и раскололся из-за этого. Если сам Юдковский, видимо, так и остался искренним трансгуманистом, который неплохо устроился в жизни, то его последователи не обладали такой интеллектуальной изворотливостью.
Теорема Аумана
Наконец, мы переходим к самой сути. Конечно, теорема Аумана о согласии упоминается у Юдковского не так часто. Однако она выражает собой весьма важное обобщение рационализма как в версии Юдковского, так и в ряде других вариантов этого учения. Можно сказать, это краеугольный камень любой философии, ставящей человеческий разум выше всего другого.
Однако здесь есть небольшая тонкость. Несмотря на определённые симпатии к Спинозе, Юдковский считает, что мир имеет вероятностную природу, что случайность — не дефект нашего ума, а присущий всему миру атрибут, который проявляется как на микро-, так и на макроуровне. Как следствие, по мнению Юдковского, любой рационалист должен неплохо разбираться в теории вероятностей. А значит, и нам придётся слегка погрузиться в этот раздел математики. Не стоит беспокоиться: в необходимом объёме всё будет не так сложно, как может показаться. Более того, по заветам известного популяризатора физики Стивена Хокинга, мы постараемся обойтись без формул.
Теория вероятностей, как известно, изучает такие явления, которые происходят более или менее случайно. Не вдаваясь в подробности, можно сказать, что эта теория исследует, по каким закономерностям подобное случается, а также способы влиять как на сам процесс, так и на его результат. Все наверняка могут представить себе игральные кости, подбрасывание монетки и прочие простые примеры, на которых часто объясняют вероятность. Все эти примеры, как правило, относятся к т. н. «независимым событиям». Результат второго подбрасывания монетки никак не зависит от первого, то же самое и с кубиком. На практике же люди нередко сталкиваются с такими явлениями, которые зависимы от других. Например, у нас есть событие А — «прогноз погоды пообещал дождь после обеда» и событие Б — «дождь пошёл после обеда». Очевидно, сам факт прогноза никак не приближает дождь, он пойдёт или не пойдёт вне зависимости от прогноза. Однако, прочтя прогноз, человек может сделать некоторые выводы о том, пойдёт дождь после обеда или нет. Несложно понять, что, несмотря на то, что А не относится к Б как причина к следствию, события связаны друг с другом, и мы можем сделать вывод о вероятности Б при наличии А. Так мы получили представление о т. н. «условной вероятности».
Именно из условной вероятности следует теорема Байеса, на которой строится как целое направление математической статистики, так и гносеология рационализма по Юдковскому. Что же это за теорема такая? Дабы избежать формул и долгих объяснений, приведём известный пример:
- Люди болеют раком. Благодаря статистике нам известна некоторая вероятность того, что у человека рак, скажем, 0,1 %. Назовём событие «у человека рак» событием А. Вероятность события А мы будем называть априорной вероятностью.
- Врачи умеют проводить тесты на рак, который, скажем, в 90 % случаев выявит болезнь и при этом в 1 % случаев применения у здоровых людей даст ложноположительный результат. Назовём событие «тест на рак положительный» событием Б.
- Какова вероятность события А при условии события Б? Эту вероятность мы будем называть апостериорной вероятностью.
Интуитивно может показаться, что ответ очевиден, но это не так. При тщательном рассмотрении задачи несложно посчитать, что даже при такой, казалось бы, высокой точности апостериорная вероятность будет весьма небольшой, около 1 %. Именно то, как посчитать апостериорную вероятность, исходя из априорной, и показывает теорема Байеса. Останавливаться на самих расчётах мы не будем: желающие могут самостоятельно прочитать хотя бы ту же Википедию.
Теперь, когда мы примерно поняли суть теоремы Байеса, давайте поглядим на неё чуть под другим углом. Представим себе, что мы говорим не о разовом событии, а о процессе. Мы начинаем с некоторой «исходной» априорной вероятности, получаем из неё «актуальную» апостериорную. Потом наша апостериорная вероятность как бы «обновляется», превращаясь в априорную для следующего витка процесса — и так без конца. Если мы распространим сказанное на всё человеческое познание, мы получим то, что Юдковский (как и другие байесианцы-рационалисты) в действительности под ним понимает: постоянное обновление априорных вероятностей в голове, которые подходят всё ближе и ближе к истине.
Что же такое теорема Аумана? Более-менее точно её можно описать следующим образом: «При одинаковых априорных вероятностях два рациональных байесианца, имеющих общее знание об оценках апостериорных вероятностей друг друга, должны получить одинаковые апостериорные вероятности».
Звучит сложновато. По счастью, Юдковский сделал часть работы за нас и перевел её на понятный язык22 :
«Роберт Ауман, нобелевский лауреат, доказавший, что байесианцы с одинаковыми исходными данными не могут согласиться не соглашаться».
Если же перевести это на ещё более простой язык, то получится совсем знакомое: «Умные люди всегда друг друга поймут и договорятся».
Важно понимать, что если мы говорим исключительно о конкретных математических расчётах, то всё сказанное выше — верно. Если вы и ваш друг считаете вероятность рака при положительном тесте и получаете разные ответы — хотя бы один из вас ошибся. Неверны и вредны именно попытка распространить это правило на поведение людей и абсолютизация возможностей человеческого разума со всеми вытекающими последствиями.
Человек — не рациональное существо. Каждый, буквально каждый, в своей ежедневной жизненной практике может найти множество тому примеров. Сколько у вас было вполне умных друзей и знакомых, которые вдруг не понимали чего-то «очевидного», несмотря на все ваши попытки? Наверняка многие из вас сердились и считали их дураками или слепцами. При этом, когда кто-то сам находится в положении такого знакомого, всё выглядит совершенно иначе. Что не мешает многим и по сию пору крыть площадными словами всех, кто по тем или иным причинам не в состоянии постичь их «разумные доводы».
Конечно же, это не значит, что человек не обладает разумом. Обладает. Но человек — не разум, заключённый в теле, а материальное тело, наделённое разумом. Из этого следует, что действия человека определяются не абстрактными рассуждениями о том, как будет лучше, а противоречием между его потребностями в достижении тех или иных состояний этого самого тела и его способностями этих состояний достичь. Именно во имя потребностей люди совершают множество таких вещей, которые повергли бы любого рационалиста в шок, при этом зачастую даже не вполне осознавая, что творят — особенно тогда, когда мозгу банально не хватает ресурсов для работы из-за нехватки энергии или чрезмерного выброса гормонов стресса. О «чистом разуме» хорошо рассуждать в высоких кабинетах, когда ни в чём не нуждаешься, но для рассмотрения общественных процессов такой подход не годится. В этом и состоит наиболее очевидное расхождение между марксизмом и любой вариацией рационализма.
Построения Юдковского и других рационалистов-байесианцев принципиально ничем не отличаются от точно таких же построений просветителей прошлого, разве что вместо вероятности последние использовали более привычную рядовому человеку формальную логику. И ключевая проблема у подобного рационализма та же самая. Человек обладает разумом, но движим потребностями, и никакие «полностью логичные» построения не изменят этого факта. А значит, все попытки сделать вид, будто человек есть разум, которому «мешают» различные «мелочи» вроде эмоций или «незнания/непонимания», были и останутся обманом и/или самообманом.
Впрочем, Элиезер если и не понимал корень проблемы, то саму проблему был вполне способен увидеть. Смею предположить, что именно это понимание привело его к трансгуманизму. Ведь если человек — не идеальная Байесова машина, умеющая без проблем считать сложные вероятности, то… человек должен её создать, верно?
Идеальная Байесова машина
Если ты, дорогой читатель, добрался до этой части, знай: ты почти у цели. Скоро, очень скоро ответ на вопрос «так как же выйти из противоречия рационализма, не привлекая внимания марксистов?» будет получен!
Чтобы лучше понять результат, кратко повторим то, что мы узнали. Мы начинаем с вульгарного материализма. Однако постоянная неуверенность в возможности человека делать трезвые суждения, редукционизм и фиксация на индивиде затягивают нас в «водоворот субьективного индивидуализма». Мы видим это, и нам это не очень нравится. Мы пытаемся изо всех сил «грести обратно к берегу», но с каждым разом это становится всё сложнее и сложнее. Выглядит всё так, будто задача «удержаться на плаву» нам вообще не по силам.
Тут-то на помощь и приходит старый добрый объективный идеализм. Его следы можно видеть у Юдковского то тут, то там. Вот, например, почти канонический пример23 :
«Именно это создаёт впечатление математической вселенной, существующей „где-то там“, в платоновском Идеальном, которое люди скорее изучают, нежели создают. Наши определения переносят нас в различные участки Идеального, но мы не создаём там ничего самостоятельно. Так кажется, как минимум, потому, что мы не помним создания всех тех замечательных вещей, которые мы открыли. Первооткрыватели натуральных чисел отправились в Страну счёта, но не создали её, а последующие математики потратили столетия, изучая эту Страну и обнаруживая в ней всевозможные вещи, которые никто не мог даже попытаться себе представить в 30 000 г. до Р. Х.
Сказать, что люди „изобрели числа“ (или неявную сущность, скрытую в числах) — всё равно, что заявить, будто Нил Армстронг своими руками слепил Луну. Вселенная существовала до того, как появились разумные существа, её изучающие, и это подразумевает, что физика предшествовала физикам. Это головоломка, я знаю; но если вы заявите, что физики были первыми, то всё станет ещё запутаннее, ведь возникновение физика требует, хм, достаточно много физики. Физика опирается на математику, так что последняя (или хотя бы та её часть, которая используется физикой) должна предшествовать математикам. Иначе не было бы структурированной вселенной, существующей достаточно долго, чтобы за миллиарды лет организмы, не знающие даже сложения, смогли эволюционировать в математиков».
В других случаях Элиезер в художественной форме говорил то же самое про эволюцию24 :
«Если спросить, кто был ближе к истине — теологи, защищавшие концепцию Бога‑Творца, или интеллектуально неудовлетворённые атеисты, защищавшие идею спонтанного зарождения мышей, мы должны признать победу за теологами: эволюция — не Бог, но она ближе к Богу, чем к хаосу чистой энтропии.
<…>
В каком‑то смысле, Дарвин открыл Бога — Бога, который не совпал с представлениями теологов, а потому прошёл незамеченным. Если бы Дарвин открыл, что жизнь создана разумным существом — бестелесным сознанием, которое любит нас и шарахнет молнией любого, кто в этом усомнится — люди бы воскликнули:
„О боже мой! Это же Бог!“
Вместо этого Дарвин открыл странного, чуждого Бога — не успокаивающе „непознаваемого“, но действительно непохожего на нас. Эволюция — не Бог, но если бы она была им, это был бы не Иегова. Это был бы Азатот Говарда Лавкрафта — слепой безумный Бог, хаотически бурлящий в самом центре бесконечности под монотонные всхлипы чудовищных флейт.
Что вы и могли бы ожидать, если бы внимательно посмотрели на Природу».
Впрочем, эти отрывки не могут служить доказательствами чего-либо ввиду большого количества аллегорий и накала иронии. Возможно, Элиезер имеет в виду не то, что написано, и просто подтрунивает над читателем или некими абстрактными верующими. Более того, в других своих работах он отмечал, что, хотя эволюция является «оптимизационным механизмом», не стоит делать из этого далеко идущие выводы и поклоняться ей. Куда больше вопросов вызывает как раз-таки его фиксация на теореме Байеса как на принципе, позволяющем в перспективе принимать максимально оптимальные решения.
Главным же доказательством является та версия трансгуманизма, к которой в конце концов пришёл Юдковский. Назвать трансгуманизм философией язык не поворачивается: скорее это весьма эклектичная система футурологических взглядов, которые так или иначе говорят о «преодолении человечеством самого себя». Речь может идти о потенциальном бессмертии, о мире, где «кругом киборги», о «биохакинге» или о чём угодно в том же духе. И Юдковский в той или иной мере писал почти обо всём из перечисленного. Но главной идеей, которая занимала его ум и деятельность, был, конечно, сверхмощный искусственный интеллект, или, как его называл сам Элиезер, «обобщённый интеллект» (general intelligence).
Этот «обобщённый интеллект» — суперкомпьютер, «идеальная Байесова машина», которая способна наиболее точно и последовательно реализовывать те самые математически выверенные законы, с которыми всё так плохо у «простых смертных».
Религиозные люди верят во всемогущего Бога, который был и будет всегда. Гегель придумал Абсолютную идею, познающую себя. Юдковский же, не найдя ничего похожего в обозримом пространстве, решил, что Бога людям придётся создать самим.
Зачем это нужно? Очевидно, для максимизации «блага» людей, которым ничего не останется, кроме как быть его реципиентами после «технологической сингулярности»25 . Почему это возможно? Потому что! Можно лишь предположить, что дело в тех самых извечных математических законах, существовавших «до физики и людей вообще». При этом Юдковский действительно верит не только в то, что это возможно, но и в то, что это обязательно случится. И даже считает необходимым готовиться к худшему — к ситуации, если означенный «обобщённый интеллект» окажется не таким добрым «приносителем блага», как хотелось бы.
Чтобы проиллюстрировать всю глубину проблемы, стоит рассказать о проблеме «сверх-счастливого агента» и скандале, случившемся в связи с ней.
Речь идёт, конечно, не о разведчиках. «Сверх-счастливый агент» — гипотетическая сущность, способная аккумулировать утилитаристское «благо» быстрее других и способная делать это условно бесконечно. Как следствие, мы получаем наличие одного счастливого агента и несчастных или мёртвых остальных. Данная проблема в утилитаризме встречалась в самых разных формах с разными деталями, уточнениями и под разными именами. И именно об этой проблеме (в одной из вариаций) написал один из участников LessWrong, чем вызвал ярость Элиезера, который обрушился на него с угрозами и, кажется, выгнал с сайта. Причина ярости была в том, что данный текст мог прочитать будущий «обобщённый интеллект» и принять как реалистичный способ организации всего. Воистину, спящий разум рождает чудовищ. У своего хозяина в голове.
Заключение
На этом мы завершаем наше печальное повествование. И тут у некоторых читателей может возникнуть вопрос: «Ну и что? Какое нам дело до какого-то фрика? Никто из моих друзей так не думает! На кой чёрт нам тогда сдалась эта ваша философия?»
Позвольте не согласиться.
Весь этот философско-идеологический мусор из допотопных времён теперь завёрнут в красивый фантик и до сих пор подаётся населению под видом «нового и современного». И самое отвратительное, что такой мусор за неимением лучшего охотно поглощается, особенно технической и естественнонаучной интеллигенцией. Именно этот мусор удовлетворяет её потребность в цельной и научной картине мира, на самом деле лишь укрепляя её «веру в разум» и убеждая таким образом в собственном интеллектуальном превосходстве над прочим «быдлом».
Не верите? А разве не эти идеи толкает вам каждый первый научпопер? Разве не эти идеи вы слышите от каждого «успешного»? Или вы ни разу не слышали о противопоставлении эмоций и интеллекта? А как насчёт повсеместно распространённого редукционизма? А постоянно декларируемая на словах аполитичность? Или вы забыли? Или вы не знали?
И вот ещё что: я все не могу отделаться от мысли о «машине», что действует по каким-то чуждым человеку законам, максимизирует некое абстрактное «благо», подстраивается подо всё, что только можно, бесконечно растёт и оставляет людей без средств к существованию… Батюшки-светы! Так это ж капитализм!
Может, «сингулярность» уже наступила? А мужики-то и не знают…
Примечания
- Дословный перевод — «менее неправильно». ↩
- Дословный перевод — «ещё менее неправильно». На текущий момент ссылка на новый сайт перенаправляет на старый. Произошло ли объединение, поглощение или что-то ещё, нам неизвестно и не очень интересно. ↩
- Э. Юдковский, Что такое рациональность?, 2009. ↩
- Э. Юдковский, Навык: Карта — не территория, 2012. ↩
- Там же. ↩
- Альфред Коржибский, Пять лекций по общей семантике, 1939, Лекция 2, 9 с. / Five lectures on General Semantics, Korzybski, 1939 ↩
- Там же, 10 с. ↩
- Венский кружок, Википедия. ↩
- Sanford I. Berman, Wittgenstein and General Semantics, ETC: A Review of General Semantics, 1988 ↩
- Альфред Коржибский, Пять лекций по общей семантике, 1939, Лекция 2, 10 с. / Five lectures on General Semantics, Korzybski, 1939 ↩
- «Core GS formulations like cultivating consciousness of abstracting, remembering the map/territory distinction, avoiding the verb "to be" and the is-of-identity, that the geometry of the real world is non-Euclidean, that the logic of the real world is non-Aristotelian; these were useful. They helped. They reduced the inefficiency of my thinking.
For the pre-Sequences rationalist, those of us stumbling around in that fog, GS was typically the most powerful single non-fictional piece of the available toolkit. After the millennium I would find many reflections of it in the Sequences». / Eric Raymond, Rationalism before Sequences, 2021 ↩ - Э. Юдковский, Редукционизм, 2008. ↩
- Там же. ↩
- В. И. Кузнецов, «Диалектика развития химии», — М.: Наука, 1973, С. 256–260. ↩
- Там же, С.300-303. ↩
- Говоря более строго, «функция полезности» не обязательно считает непосредственно «благо». Скорее, она даёт количественную оценку чего-либо, что нам интересно, с учётом молчаливого предположения о том, что мы всегда, в конечном счёте, можем «перевести» в благо. Сам же термин «полезность» при этом может использоваться и как синоним «блага», и как его количественная определённость, и в собственном смысле, если мы рассматриваем ситуацию локально. Например, если мы считаем, что выплавка чугуна приносит нам «благо», то, рассматривая ситуацию на локальном заводе, мы можем считать «полезность в единицах чугуна», оставляя предшествующие рассуждения о «благе» за скобками. ↩
- «When a paperclip maximizer and a pencil maximizer do different things, they are not disagreeing about anything, they are just different optimization processes. You cannot detach should-ness from any specific criterion of should-ness and be left with a pure empty should-ness that the paperclip maximizer and pencil maximizer can be said to disagree about — unless you cover „disagreement“ to include differences where two agents have nothing to say to each other». / E. Yudkowsky, Moral Error and Moral Disagreement, 2008. ↩
- «The Pebblesorters, of course, would only reason that music is p-pointless because it doesn’t help you sort pebbles into heaps; the human activity of humor is not only p-pointless but just plain p-bizarre and p-incomprehensible; and most of all, the human vision of a galaxy in which agents are running around experiencing positive reinforcement but not sorting any pebbles, is a vision of an utterly p-arbitrary galaxy devoid of p-purpose. The Pebblesorters would gladly sacrifice their lives to create a P-Friendly AI that sorted the galaxy on their behalf; it would be the most p-profound statement they could make about the p-meaning of their lives.
So which of these two perspectives do I choose? The human one, of course; not because it is the human one, but because it is right. I do not know perfectly what is right, but neither can I plead entire ignorance». / E. Yudkowsky, The Bedrock of Morality: Arbitrary?, 2008. ↩ - Э. Юдковский, Фальшивая мораль, 2007. ↩
- К. Маркс, Капитал, том I, отдел 2, глава 4, Купля и продажа рабочей силы. ↩
- Э. Юдковский, Политика - убийца разума, 2007. ↩
- Э. Юдковский, Приложи экстраординарные усилия, 2008. ↩
- Э. Юдковский, О красоте математики, 2008. ↩
- Э. Юдковский, Чуждый Бог, 2007. ↩
- «Технологической сингулярностью» называют такой момент, за которым прогресс человечества идёт настолько быстро и становится настолько сложным, что выходит за границы понимания людей. У трансгуманистов под этим понимается, например, создание сверхмощного ИИ. ↩