Почему я не рационалист, или Элиезер Юдковский и методы философского заблуждения

Почему я не рационалист, или Элиезер Юдковский и методы философского заблуждения
~ 59 мин

Предисловие

«Рациональный посту­пок», «вести себя раци­о­нально», «раци­о­наль­ный чело­век»… Апелляция к раци­о­наль­но­сти (читай, «разум­но­сти») настолько часто встре­ча­ется в быто­вых раз­го­во­рах, мас­со­вой куль­туре и поли­тике, что стала при­выч­ной. И когда люди слы­шат о «раци­о­на­ли­сти­че­ском миро­воз­зре­нии», у мно­гих и мысли не воз­ни­кает, что оно в прин­ципе может быть невер­ным, если только их не обма­ны­вают и не под­со­вы­вают под видом раци­о­на­лизма что-​нибудь другое.

В том, что такое совре­мен­ный раци­о­на­лизм, мы будем раз­би­раться на при­мере одного попу­ляр­ного неа­ка­де­ми­че­ского фило­софа — Элиезера Юдковского. В его ста­тьях мы нахо­дим суж­де­ния, общие для раз­ных тече­ний раци­о­на­лизма, поэтому они могут слу­жить нагляд­ной иллю­стра­цией совре­мен­ного состо­я­ния этой фило­соф­ской кон­цеп­ции в целом. Кроме того, он ори­ен­ти­ро­вался на массы интел­ли­ген­ции, а не на про­фес­си­о­наль­ных фило­со­фов, и потому его слова не нужно пере­во­дить «с фило­соф­ского на русский».

Разумеется, раци­о­на­лизм не огра­ни­чи­ва­ется Юдковским и несколь­кими дру­гими пер­со­на­жами, о кото­рых пой­дёт речь. К раци­о­на­лизму можно отне­сти мно­же­ство раз­ных тече­ний и фило­со­фов — как из про­шлого, так и совре­мен­ных, и мы не будем пытаться охва­тить всё и сразу. Тем не менее, неко­то­рые общие тен­ден­ции мы проиллюстрируем.

Заодно мы пока­жем, какие поло­же­ния раци­о­на­лизма делают его несов­ме­сти­мым с диа­лек­ти­че­ским мате­ри­а­лиз­мом. Да, для кого-​то это может стать неожи­дан­ным, но марк­си­сты — не раци­о­на­ли­сты и нико­гда ими не были, несмотря на пре­ем­ствен­ность по отно­ше­нию к ряду раци­о­на­ли­сти­че­ских уче­ний (напри­мер, к фило­со­фии Гегеля) и нали­чие внеш­него сход­ства между диа­ма­том и рационализмом. 

Наконец, эта заметка — сво­его рода само­кри­тика автора, кото­рый в своё время испо­ве­до­вал и про­по­ве­до­вал взгляды, кото­рые будут рас­смот­рены ниже.

Певец разума

Кто такой Элиезер Юдковский и чем он знаменит? 

Большинство знает его как автора попу­ляр­ного фан­фика по «Гарри Поттеру» под назва­нием «Гарри Поттер и методы раци­о­наль­ного мыш­ле­ния», где он выра­зил свои взгляды на мир в худо­же­ствен­ной форме.

Фанфик сильно при­ба­вил Юдковскому попу­ляр­но­сти, но не был исход­ной точ­кой. Ещё до его напи­са­ния Элиезер был одним из созда­те­лей кол­лек­тив­ного блога о раци­о­наль­но­сти «Overcoming Bias», а впо­след­ствии — и его «рас­ши­рен­ной вер­сии», став­шего довольно попу­ляр­ным сайта «LessWrong»1 . Многие рос­сий­ские чита­тели LessWrong не согла­си­лись бы с тем, что блог был в первую оче­редь фило­соф­ской направ­лен­но­сти, однако Элиезер в своих пуб­ли­ка­циях рас­суж­дал на самые что ни на есть фило­соф­ские темы. «Что есть реаль­ность?» «Как реаль­ность соот­но­сится с инди­ви­ду­аль­ным созна­нием?» «Что есть позна­ние и как оно рабо­тает?» «Что есть общее и есть ли оно вообще?» — вот лишь неболь­шой спи­сок вопро­сов, кото­рые под­ни­мал Юдковский. При этом на ука­зан­ные вопросы он ещё и давал вполне одно­знач­ные ответы, что гово­рит о нали­чии у него доста­точно чёт­ких миро­воз­зрен­че­ских позиций.

Философией дело не огра­ни­чи­ва­лось. Юдковский — эру­ди­ро­ван­ный чело­век, и его инте­ре­со­вали самые раз­ные обла­сти дея­тель­но­сти людей. Он писал о пси­хо­ло­гии, мате­ма­тике, кибер­не­тике, не обхо­дил вни­ма­нием и есте­ствен­ные науки вроде био­ло­гии или физики. Наконец, он под­ни­мал клас­си­че­ские вопросы транс­гу­ма­низма: о бес­смер­тии, сверх­мощ­ном искус­ствен­ном интел­лекте и т. д.

У блога длин­ная исто­рия, не лишён­ная скан­да­лов и дрязг. Останавливаться на ней подробно нет смысла, но один инци­дент отме­тить стоит. В один пре­крас­ный день обна­ру­жи­лось, что, несмотря на заяв­лен­ную авто­рами апо­ли­тич­ность (и даже едкие уколы Юдковского в сто­рону Айн Рэнд и её magnum opus), сайт пре­вра­тился в рас­сад­ник либер­та­ри­ан­ства. В резуль­тате часть после­до­ва­те­лей отко­ло­лась, создав свою вер­сию сайта «с науч­но­стью и раци­о­на­лист­ками» под назва­нием LesserWrong2 . При этом дело было не в том, что кто-​то слепо пошёл за гуру. Юдковский в это время вообще зани­мался «иссле­до­ва­ни­ями в обла­сти искус­ствен­ного интел­лекта» — или, если верить слу­хам, «осво­е­нием» средств одного впе­чат­ли­тель­ного буржуа-​мецената, что мно­гих из его паствы как раз заста­вило разу­ве­риться лично в нём. Дело было как раз в самом уче­нии, кото­рое про­дви­га­лось на этом сайте, в его внут­рен­ней логике. Ну что, вы всё ещё не верите в пар­тий­ность философии?

Рационалистами не рождаются

В насто­я­щее время в интер­нете полно бол­ту­нов, кото­рые только и делают, что демон­стри­руют свою вер­ность «пра­виль­ной науке» и поли­вают гря­зью фило­со­фию. Достаточно и тех, кто, фор­мально не отка­зы­ва­ясь от фило­со­фии, наме­ренно сужает её пред­мет иссле­до­ва­ния. Несмотря на это, у моло­дых людей, живу­щих в усло­виях реак­ции, рели­ги­оз­ного мра­ко­бе­сия и общего уны­ния, нет-​нет да и воз­ни­кают вся­кие «глу­пые» вопросы: «Кто я?» «Зачем я?» «Как быть, что делать?» «Куда всё идет?» Нередко слу­ча­ется так, что отве­тов им не дают ни вера, ни здра­вый смысл, ни пош­лые баналь­но­сти, кото­рые они слы­шат по «ящику». 

Так слу­чи­лось и с авто­ром этой заметки по окон­ча­нии инсти­тута. Религия уже не при­но­сила удо­вле­тво­ре­ния, хотя и не была пол­но­стью изгнана из жизни, наци­о­на­ли­сти­че­ские убеж­де­ния тре­щали по швам, а аль­тер­на­тивы, пред­ла­гав­шие отка­заться от самих вопро­сов о смысле и объ­ек­тив­ной истине, каза­лись ещё хуже. И в этот момент при­шло «спа­се­ние» в виде необыч­ного сайта, кото­рый рас­ска­зы­вал о том, как пра­вильно думать, чтобы пра­вильно дей­ство­вать и менять мир вокруг. Там не было похаб­щины вроде «зара­бо­тай мил­ли­оны за неделю». Там вообще не пред­ла­гали лёг­ких путей, вме­сто них ука­зы­вая на дол­гую тер­ни­стую дорогу к «насто­я­щей раци­о­наль­но­сти». О таком моло­дой выпуск­ник с технико-​математической спе­ци­аль­но­стью и меч­тать не мог.

Молодой интел­лек­туал потря­сён. Простое изло­же­ние, ссылки на иссле­до­ва­ния и даже неко­то­рое соот­вет­ствие полу­чен­ным в инсти­туте зна­ниям не дают ото­рваться от чте­ния. А ещё появ­ля­ется надежда на луч­шее, воз­вра­ща­ется чув­ство соб­ствен­ного досто­ин­ства и укреп­ля­ется пошат­нув­ша­яся вера в чело­ве­че­ский разум.

Молодой интел­лек­туал вза­хлёб читает ста­тьи и заметки. Он вдох­но­венно повто­ряет «лита­нию Тарского» («Я хочу верить, что снег белый, только когда он дей­стви­тельно белый»), раз­ду­мы­вает над замыс­ло­ва­тыми эти­че­скими задач­ками, читает несколько книг по Байесовой ста­ти­стике и тео­рии при­ня­тия реше­ний. И, конечно же, он «несёт слово в массы», про­по­ве­дуя вер­ный образ мысли и дей­ствия всем вокруг… Лишь для того чтобы одна­жды осо­знать, что всё это был лишь морок, иллюзия.

Описанная выше исто­рия — не слу­чай­ность. Были вокруг меня и дру­гие люди, кото­рые про­шли через то же самое. Можно сколько угодно гово­рить о том, что кто-​то дурак, неуч и про­сто­филя или сето­вать на рели­ги­оз­ность и бес­си­лие про­па­ганды «насто­я­щей» науки, но эти и подоб­ные им идеи никуда не денутся сами собой. У людей на опре­де­лён­ном уровне раз­ви­тия лич­но­сти появ­ля­ются потреб­но­сти, кото­рые не удо­вле­тво­рить без цель­ной кар­тины мира, и пока науч­ная фило­со­фия не ста­нет чем-​то обы­ден­ным, эту самую кар­тину у них будет соби­рать кто попало и как попало. 

Нельзя ска­зать, что раци­о­на­лизм совсем бес­по­ле­зен. В моём слу­чае он нанёс послед­ний удар по рели­ги­оз­ным и наци­о­на­ли­сти­че­ским убеж­де­ниям, а на сдачу ещё и дал несколько полез­ных при­вы­чек. Но это ско­рее напо­ми­нало попытки лечить геро­и­но­вую зави­си­мость мета­до­ном, про­сро­чен­ным века эдак на два.

Рационализм по Юдковскому

Выше мы ска­зали, что Юдковский в период LessWrong по роду дея­тель­но­сти был фило­со­фом. Однако не стоит тут же под­став­лять перед этим сло­вом ни «вели­ким», ни «хорошим/​годным», ни даже «после­до­ва­тель­ным». На деле фило­со­фия Юдковского — борщ из самых раз­ных направ­ле­ний мысли. 

В каче­стве основы для этого спе­ци­фи­че­ского блюда возь­мём т. н. «наив­ный реа­лизм» — так на «пти­чьем» зовётся вуль­гар­ный мате­ри­а­лизм. Затем доба­вим в меню не то пози­ти­визма, не то кан­ти­ан­ства и тща­тельно взбол­таем. Далее для остроты под­ме­шаем ложечку извест­ной ещё с XIX века спе­ции — ути­ли­та­ризма. Блюдо сле­дует варить до появ­ле­ния на поверх­но­сти объ­ек­тив­ного иде­а­лизма. Секретный же ингре­ди­ент храб­рого кули­нара — спо­соб­ность удер­жи­вать всю эту меша­нину в одном котелке, не давая ей забур­лить, вспе­ниться и убе­жать. Задача эта, надо ска­зать, не из простых.

Главной идеей, на кото­рую накру­чи­ва­ется всё осталь­ное, высту­пает именно идея раци­о­наль­но­сти как без­услов­ного блага и раци­о­наль­ного инди­вида как иде­ала. Именно она, обла­чён­ная в кра­си­вые одежды, пода­ётся чита­те­лям, именно она так при­тя­га­тельна и именно она захва­ты­вает умы нео­фи­тов, кото­рые начи­нают счи­тать себя про­све­щён­ными чело­ве­ками, «раци­о­на­ли­стами», отчего пре­ис­пол­ня­ются спе­сью и чванством.

Так что же такое раци­о­наль­ность по Юдковскому? Лучше про­ци­ти­ро­вать его самого3 :

«Под раци­о­наль­но­стью я подразумеваю:

    1. Эпистемическую раци­о­наль­ность, то есть систе­ма­ти­че­ское улуч­ше­ние точ­но­сти своих убеждений.
    2. Инструментальную раци­о­наль­ность, то есть систе­ма­ти­че­ское дости­же­ние своих целей.

Когда вы откры­ва­ете глаза и осмат­ри­ва­ете ком­нату, вы заме­ча­ете ноут­бук на столе и книж­ный шкаф около стены. Если с вашими гла­зами или вашим моз­гом слу­чится что-​нибудь пло­хое, воз­можно, у вас в голове ока­жется мыс­лен­ная модель, кото­рая ска­жет, что шкаф стоит там, где его на самом деле нет. В этом слу­чае, когда вы пой­дёте за кни­гой, вам будет обидно.
Примерно так и выгля­дят лож­ные убеж­де­ния — карта мира, не соот­вет­ству­ю­щая тер­ри­то­рии. Эпистемическая раци­о­наль­ность посвя­щена постро­е­нию карт, точно отоб­ра­жа­ю­щих реаль­ность. Точную связь между убеж­де­нием и реаль­но­стью обычно назы­вают „исти­ной“, и я тоже с радо­стью поль­зу­юсь этим сло­вом.
С дру­гой сто­роны, инстру­мен­таль­ная раци­о­наль­ность посвя­щена управ­ле­нию реаль­но­стью. Вы дела­ете буду­щее таким, каким вам хочется. Инструментальная раци­о­наль­ность — это искус­ство выбрать дей­ствия, кото­рые при­ве­дут к послед­ствиям, сто­я­щим выше в вашей шкале пред­по­чте­ний. Иногда я назы­ваю это „выиг­ры­ва­нием“».

Звучит вполне здраво, не так ли? Здесь тебе и при­зна­ние объ­ек­тив­ной реаль­но­сти мате­ри­аль­ного мира, и субъ­ек­тив­ный образ как её отра­же­ние, и даже нали­чие обрат­ной связи. Так что же здесь не так? 

На поверку — мно­же­ство самых раз­ных вещей. Если рас­смот­реть работы Юдковского в целом, этот отры­вок пред­ста­нет в совер­шенно ином свете.

Ваша карта бита

Юдковский и вправду не отри­цает суще­ство­ва­ния мира вне наших ощу­ще­ний. Через мно­гие его работы крас­ной нитью про­хо­дит при­сказка про «карту и тер­ри­то­рию», слу­жа­щая иллю­стра­цией соот­но­ше­ния объ­ек­тив­ной реаль­но­сти и наших пред­став­ле­ний о ней. Он даже назвал так одну из глав своей книги! Вот неболь­шой отры­вок4 :

«Главный же раци­о­на­лист­ский навык, кото­рому, читая о при­клю­че­ниях Госсейна [Речь идёт о пер­со­наже книг Альфреда ван Вогта. — И. Д.], научиться всё-​таки можно, заклю­чён в его девизе:
Карта — не территория».

Однако не всё так про­сто. Юдковский верно под­ме­тил раз­ницу между объ­ек­тив­ной реаль­но­стью и её отра­же­нием, однако чем дальше, тем силь­нее он фоку­си­ру­ется на факте несо­вер­шен­ства «карты» и тем меньше — на том, что «карта» всё же в какой-​то сте­пени соот­вет­ствует «тер­ри­то­рии». Это можно про­ил­лю­стри­ро­вать ещё одним отрыв­ком из упо­мя­ну­той главы5 :

«В книге ван Вогта Гилберт Госсейн вспо­ми­нает о пого­ворке про карту и тер­ри­то­рию, когда не уве­рен в каких-​то убеждениях:

„Ты так счи­та­ешь, но мир не обя­за­тельно так устроен“.

Это выска­зы­ва­ние может казаться базо­вой исти­ной, но именно с него часто начи­на­ется обу­че­ние начи­на­ю­щих раци­о­на­ли­стов. Они пры­гают из мира, где небо про­сто синее, трава про­сто зелё­ная, а люди из Другой Политической Партии про­сто одер­жимы злоб­ными демо­нами, в мир, где, воз­можно, реаль­ность не сов­па­дает с этими убеж­де­ни­ями и спо­собна когда-​нибудь вас уди­вить».

Юдковский словно одер­жим необ­хо­ди­мо­стью посто­янно про­ве­рять и пере­про­ве­рять себя. Нельзя ска­зать, что при­вычка сомне­ваться — это что-​то пло­хое. Однако теперь, когда я читаю его, мне начи­нает казаться, будто он пыта­ется нас убе­дить: быть уве­рен­ным в чём-​то — непро­сти­тель­ный опти­мизм. Тот же Гарри Поттер из «Методов раци­о­наль­ного мыш­ле­ния» под опре­де­лён­ным углом зре­ния выгля­дит как мало­лет­ний нар­цис­сич­ный пара­ноик. Да что там, даже назва­ние вто­рой главы фан­фика — «Всё, во что я верю, — ложь»! Конечно, Элиезер не дохо­дит до кан­тов­ской непо­зна­ва­е­мой «вещи в себе» или до «ради­каль­ного скеп­ти­цизма» Юма, но крен в этом направ­ле­нии очевиден. 

Одновременно Юдковский посту­ли­рует, что неко­то­рый идеал, неко­то­рая «иде­аль­ная Байесова машина» прин­ци­пи­ально может суще­ство­вать и мак­си­мально точно позна­вать мир, но это (сюрприз-​сюрприз!) нико­гда не ты. И не она. И не вон тот парень. 

Кому-​то это могло бы напом­нить убого подан­ную диа­лек­тику абсо­лют­ной и отно­си­тель­ной истины, но с учё­том фик­са­ции на «несо­вер­шен­стве карты» всё полу­ча­ется ровно наобо­рот. Вместо опти­ми­сти­че­ского утвер­жде­ния о позна­ва­е­мо­сти мира утвер­жда­ется почти про­ти­во­по­лож­ное: «мир пол­но­стью позна­ваем, но не для тебя». При этом сам Юдковский то и дело пыта­ется убе­дить чита­теля в пользе и необ­хо­ди­мо­сти любо­пыт­ства (напри­мер, когда гово­рит о «семан­ти­че­ских стоп-​сигналах»), но эти попытки тут же гасятся оче­ред­ным нази­да­нием на тему «твоя карта — не тер­ри­то­рия, все­гда под­вер­гай сомне­нию свои убеж­де­ния». Такая вот полу­ча­ется «эпи­сте­ми­че­ская раци­о­наль­ность». Скорее уж это гно­сео­ло­ги­че­ская паранойя!

Здесь стоит сде­лать неболь­шое исто­ри­че­ское отступ­ле­ние. Всё опи­сан­ное выше Юдковский при­ду­мал не пер­вым. Даже мета­фора «карта — не тер­ри­то­рия» при­над­ле­жит Альфреду Коржибскому, созда­телю т. н. «общей семан­тики», и появи­лась она ещё в пер­вой поло­вине ХХ века. Подробный раз­бор работ Коржибского выхо­дит за рамки дан­ной заметки, однако про­ил­лю­стри­ро­вать их содер­жа­ние всё-​таки стоит. Для этого при­ве­дём несколько харак­тер­ных цитат. 

Для начала удо­сто­ве­римся, что пре­сло­ву­тая «карта» и правда упо­ми­на­ется как один из прин­ци­пов дан­ного уче­ния6 :

«Положения не-​А:
1) Карта — это не тер­ри­то­рия — нетож­де­ствен­ность, 2) Карта не пред­став­ляет всю тер­ри­то­рию — не-​всеобъемлемость, 3) Карта — саморефлексивна».

Далее сле­дует та самая «гно­сео­ло­ги­че­ская пара­нойя», при­чём дохо­дя­щая в своих мас­шта­бах до совер­шен­ного непо­треб­ства7 :

«Я хочу под­черк­нуть, что без­опасно гово­рить можно только, если вы дати­ру­ете то, что гово­рите. Только выска­зан­ное на теку­щий момент имеет смысл. Нам стоит дати­ро­вать ска­зан­ное, потому что с раз­ви­тием собы­тий и воз­ник­но­ве­нием новых фак­тов нам нужно пере­смат­ри­вать то, что мы ска­зали. Нам стоит при­дер­жи­ваться фак­тов, и не только тех, кото­рые нам известны лично, но и тех, кото­рые мы знаем не напря­мую из науки, и т.д. В ОС [Общей Семантике. — И. Д.] мы начи­наем с наблю­де­ния и обоб­щаем на опре­де­лён­ный момент вре­мени по необ­хо­ди­мо­сти. Наши зна­ния ста­но­вятся гипо­те­ти­че­скими, а не дог­ма­ти­че­скими».

Наконец, в сле­ду­ю­щей цитате ярко выра­жен номи­на­лизм (отри­ца­ние все­об­щего в мире), также свой­ствен­ный субъективно-​идеалистической фило­со­фии. Ничего уди­ви­тель­ного: Коржибский нахо­дился под вли­я­нием Венского кружка8 9 , и субъ­ек­тив­ный иде­а­лизм был для него не только не зазор­ной, но и очень даже почтен­ной фило­со­фией10

«Определение по интен­ции – это опре­де­ле­ние по неко­то­рым свой­ствам. Возможно, вам зна­комо опре­де­ле­ние чело­века Платоном — бес­кры­лое дву­но­гое. Оно под­хо­дит всем, но не затра­ги­вает никого. Такое опре­де­ле­ние никуда не при­во­дит, кроме как к обрыву бес-​смыслецы.
Экстенсионально, мы обо­зна­чаем рас­смот­ре­ние класса инди­ви­ду­у­мов, состо­я­щих из Смита1, Смита2, Смита3, и т. д. (Это рабо­тает с помо­щью чис­ло­вых индек­сов). Такие экс­тен­си­о­наль­ные методы при­ме­ня­ются только в ОС и мате­ма­тике. Математика не инте­ре­сует опре­де­ле­ние числа, потому что он пока­зы­вает пове­де­ние чисел. Математика — это поис­тине мощ­ный инстру­мент. Она осно­вы­ва­ется на эмпи­ри­че­ских опе­ра­циях и про­ве­ря­ется».

Но что же Юдковский? Имеет ли это к нему какое-​то отношение? 

Во-​первых, он, соб­ственно, раз­де­ляет ука­зан­ные выше воз­зре­ния. Во-​вторых, хотя Элиезер и не отсы­лает к «общей семан­тике» напря­мую, он явно писал свою фило­со­фию «под вдох­но­ве­нием». Например, уже упо­мя­ну­тый ван Вогт, автор серии книг «Нуль-​А», был в своё время фана­том Коржибского и сво­ими кни­гами попу­ля­ри­зи­ро­вал его идеи в мас­сах. Даже само назва­ние «Нуль-​А» — это не что иное, как отсылка к неа­ри­сто­те­ле­вой логике, явля­ю­щейся клю­че­вой для «общей семантики».

То, что сам Юдковский ни разу не упо­ми­нал ни «общую семан­тику», ни её автора, довольно занятно, как и то, что на сайте LessWrong почти нет заме­ток на эту тему. Одна из них, впро­чем, ока­за­лась довольно любо­пыт­ной, т. к. в ней дела­ется попытка отсле­дить «корни» LessWrong и их идей11 :

«Ключевые поло­же­ния ОС [Общей Семантики. — И. Д.]: такие как рас­про­стра­не­ние пони­ма­ния абстра­ги­ро­ва­ния, раз­ли­чие карты и тер­ри­то­рии, избе­га­ние гла­гола «быть», пони­ма­ние того, что гео­мет­рия реаль­ного мира неэв­кли­дова, а логика — неа­ри­сто­те­лева; все они были полез­ными. Они очень помогли. Они умень­шили неэф­фек­тив­ность моего мыш­ле­ния.
Для блуж­да­ю­щих в тумане раци­о­на­ли­стов во вре­мена до Цепочек [Цепочки — спо­соб груп­пи­ровки ста­тей и заме­ток на сайте LessWrong; так часто назы­вали и сам сайт. — И. Д.], ОС была наи­бо­лее мощ­ным набо­ром инстру­мен­тов, кото­рый опи­сы­вался научно. В новом тыся­че­ле­тии я нахожу много её отра­же­ний в Цепочках».

Тут бы впору заду­маться: а не пыта­ется ли хит­рюга Юдковский про­пих­нуть нам ста­рый бур­жу­аз­ный мусор в новой обёртке? Но в рам­ках дан­ной заметки мы оста­вим этот вопрос на откуп любо­пыт­ству­ю­щим чита­те­лям. В конце кон­цов, мусор не пере­стаёт быть мусо­ром, даже если его никто не крал.

Редукционизм

Если в слу­чае с «кар­той и тер­ри­то­рией» можно попы­таться спи­сать всё на неудач­ную подачу мате­ри­ала (на самом деле нет), то осталь­ные его фило­соф­ские идеи зву­чат ещё более сомнительно. 

Снова дадим слово Юдковскому12 :

«Так что же: Боинг сде­лан не из квар­ков? Нет, это мы всего лишь моде­ли­руем его, исполь­зуя такие эле­менты пред­став­ле­ния, кото­рые не могут быть сопо­став­лены с квар­ками Боинга один к одному. Карта — это не тер­ри­то­рия.
Почему бы не смо­де­ли­ро­вать Боинг, исполь­зуя хро­мо­ди­на­ми­че­ское пред­став­ле­ние? Потому что для полу­че­ния ответа по такой модели потре­бу­ется тьм­ал­лион лет. Кроме того, эта модель не поме­стится в память всех ком­пью­те­ров мира вме­сте взя­тых (на 2008 год).
Как гово­рится „Карта — это не тер­ри­то­рия, но тер­ри­то­рию нельзя сло­жить и убрать в бар­да­чок“. Иногда при­хо­дится поль­зо­ваться кар­той поменьше, лишь бы она поме­ща­лась в малень­кий бар­да­чок. Но это никак не меняет тер­ри­то­рию. Масштаб карты — это не свой­ство тер­ри­то­рии, это свой­ство карты.
Если было бы воз­можно постро­ить и запу­стить хро­мо­ди­на­ми­че­скую модель Боинга, то она бы давала точ­ные пред­ска­за­ния. Более точ­ные, чем аэро­ди­на­ми­че­ская, на самом деле».

Здесь уже видно, как «карта — не тер­ри­то­рия» и пред­став­ле­ния Юдковского об объ­ек­тив­ной реаль­но­сти начи­нают играть с ним злую шутку. Для нагляд­но­сти при­ве­дём ещё одну цитату из той же работы13 :

«„Что?“ — кри­чит анти­ре­дук­ци­о­нист, — „Вы гово­рите, что у Боинга в дей­стви­тель­но­сти нет кры­льев? Но я же их вижу!“ 

И вот тут есть едва уло­ви­мая тон­кость. Объект может иметь раз­ные опи­са­ния на раз­ных уров­нях, но дело не только в этом.
Дело в том, что фраза „имеет раз­ные опи­са­ния на раз­ных уров­нях“ отно­сится к Разговору о Картах, а не к Разговору о Территории».

То есть, если упро­щать ска­зан­ное, мы имеем перед собой две род­ствен­ные идеи — ради­каль­ный физи­ка­лизм («всё сво­димо к квар­кам») и номи­на­лизм («все­об­щее — исклю­чи­тельно в головах»).

Начнём со вто­рого. Если мы дей­стви­тельно при­ни­маем дан­ную идею, то немед­ленно воз­ни­кает вопрос: «а откуда оно в голо­вах взя­лось?» Если верить тому, что мы знаем о «кар­тах и тер­ри­то­риях», то оче­видно, что любое обоб­ще­ние — это неко­то­рое отра­же­ние объ­ек­тив­ной реаль­но­сти. Сам Юдковский, напри­мер, гово­рит о «раз­ных опи­са­ниях», дру­гие могут исполь­зо­вать слово «модель» или «кон­цеп­ция». Подвох здесь в том, что, если про­во­дить рас­суж­де­ние после­до­ва­тельно, вопрос «а почему мы обоб­щили именно так?» оста­ётся без вме­ня­е­мого ответа. Получается, что мы можем обоб­щить и иначе. Например, при­ду­мать дру­гую пери­о­ди­че­скую систему хими­че­ских эле­мен­тов, кото­рая будет слу­жить чело­ве­че­ству так же хорошо. Только вот, если выныр­нуть из наших фан­та­зий, почему-​то «рабо­тает» именно система Менделеева. Можно сколько угодно раз ска­зать, что «можно обоб­щать иначе», но объ­ек­тив­ная реаль­ность упорно гово­рит нам обрат­ное. Да и сам Юдковский, веро­ятно, не согла­сился бы с такой поста­нов­кой вопроса.

С ради­каль­ным физи­ка­лиз­мом всё похоже: если мы сво­дим всё к квар­кам, то как быть, напри­мер, с откры­тыми чело­ве­че­ством спе­ци­фи­че­ски хими­че­скими зако­нами? Разумеется, в основе хими­че­ской формы мате­рии лежит физи­че­ская. Однако, рас­смат­ри­вая объ­екты исклю­чи­тельно на «физи­че­ском уровне», игно­ри­руя «хими­че­ский уро­вень», мы не полу­чим всей кар­тины. Понимание физи­че­ской основы хими­че­ских про­цес­сов важно, однако попытки под­ме­нять химию физи­кой (в про­ти­во­вес обо­га­ще­нию пони­ма­ния химии за счёт физики) при­во­дят к систе­ма­ти­че­ским ошиб­кам, то есть не про­хо­дят про­верку прак­ти­кой. В задачи дан­ной заметки не вхо­дит углуб­лён­ное рас­смот­ре­ние фило­со­фии химии, но для тех, кому инте­ресно разо­браться, мы можем поре­ко­мен­до­вать книгу Владимира Кузнецова «Диалектика раз­ви­тия химии», в осо­бен­но­сти части о несо­сто­я­тель­но­сти «пери­о­ди­че­ской системы ато­мов»14 и о све­де­нии химии к физике15 .

Таким обра­зом, несмотря на зна­чи­тель­ную роль физики как основы химии, можно ска­зать, что эффек­тивно решать соб­ственно хими­че­ские про­блемы на одном лишь «физи­че­ском уровне» не пред­став­ля­ется воз­мож­ным. И если уж гово­рить о «Боинге», то, как именно пред­по­ла­га­ется «хро­мо­ди­на­ми­че­ски моде­ли­ро­вать» сжи­га­ние топ­лива, — вопрос крайне инте­рес­ный. Ну как тут не про­ник­нуться «инстру­мен­таль­ной рациональностью»?

Напоследок будет нелиш­ним отме­тить, что ради­каль­ный редук­ци­о­низм несколько рас­хо­дится с пред­став­ле­ни­ями о морали, кото­рые рас­про­стра­нены на LessWrong, несмотря на види­мость обрат­ного. Ведь, если под­хо­дить к вопросу после­до­ва­тельно, то либо ника­кой морали нет вовсе, либо она должна вполне опре­де­лённо выте­кать из квар­ков. Впрочем, мы забе­гаем вперёд. 

И Бентам!

Утилитаризм — как много в этом слове! Этическое уче­ние Иеремии Бентама не только пере­жило сво­его созда­теля, но и нашло свою нишу в совре­мен­ной мас­со­вой культуре. 

Описать суть ути­ли­та­ризма можно бук­вально одной фра­зой: «мак­си­ми­за­ция блага для мак­си­маль­ного числа людей». Это эти­че­ское уче­ние отно­сится к кон­се­квен­ци­аль­ным, то есть оце­ни­вает резуль­тат дей­ствия («кон­се­квент»), а не, ска­жем, соот­вет­ствие ряду уста­нов­лен­ных пра­вил. Концепцию же «блага» (оно же — «удо­воль­ствие», «сча­стье» и т. д.) как выс­шей цен­но­сти ути­ли­та­ризм насле­дует от гедо­низма, для кото­рого выс­шая цен­ность — инди­ви­ду­аль­ное «благо» для самого́ отдельно взя­того чело­века, а не для всей сово­куп­но­сти людей. 

Помимо «блага», важ­ной частью ути­ли­та­ризма явля­ется «функ­ция полез­но­сти». В дан­ном слу­чае мы будем исполь­зо­вать обо­зна­че­ние u(x) = v, где x — неко­то­рое собы­тие или дей­ствие, u — функ­ция полез­но­сти, v — «полез­ность» или «благо», полу­ча­е­мое в резуль­тате16

Помимо клас­си­че­ского, суще­ствуют несколько дру­гих вари­ан­тов ути­ли­та­ризма. Например, такой, когда мы гово­рим не о «мак­си­маль­ном благе», а о «мини­маль­ном стра­да­нии». Или такой, когда мы счи­таем не мак­си­мум, а сред­нее. Есть также системы, кото­рые выде­ляют не один, а два или более пара­метра (подоб­ный при­мер, «сча­стье + про­дол­жи­тель­ность жизни», был опи­сан в дру­гой кри­ти­че­ской ста­тье LC). Некоторые вер­сии пред­по­ла­гают ещё и срав­ни­мость «блага» раз­ных людей, неко­то­рое «кол­лек­тив­ное благо» или даже «гло­баль­ное благо», то есть пыта­ются мак­си­ми­зи­ро­вать «сумму всех благ», «сред­нее всех благ» и т. д.

В чём же тут про­блема? А их несколько. 

Первая — непо­ни­ма­ние того, что чело­ве­че­ские потреб­но­сти каче­ственно раз­личны. Утилитаристы сво­дят их к неко­ему инте­граль­ному пока­за­телю. Почему это про­блема? Потому что, напри­мер, ваше жела­ние кушать не смо­жет удо­вле­тво­рить даже самая луч­шая квар­тира в городе, а потреб­ность спать в тепле не удо­вле­тво­рит даже ваш самый люби­мый торт. Если дово­дить дело до абсурда, то можно задать вопрос: «Что даёт больше блага — поесть, поспать в тепле или выле­чить боль­ной зуб?» Казалось бы, эту про­блему должны решать те самые системы с несколь­кими пара­мет­рами. Вот только если пара­мет­ров огра­ни­чен­ное коли­че­ство, то мы в итоге столк­нёмся с тем же вопро­сом. Нет ника­кой раз­ницы, два у нас пара­метра или десять: коли­че­ство и раз­но­об­ра­зие потреб­но­стей прин­ци­пи­ально не огра­ни­чены ничем, а зна­чит, их все­гда будет больше, чем пере­мен­ных. Если же пара­мет­ров потен­ци­ально бес­ко­неч­ное число, всё постро­е­ние теряет смысл. В этом смысле ути­ли­та­ризм Бентама схож с тео­рией пре­дель­ной полез­но­сти Бём-​Баверка. И даже фами­лии у обоих начи­на­ются на Б. Совпадение?

Вторая — сла­бое или пре­врат­ное пони­ма­ние того, что люди в обще­стве свя­заны меж собой. У ути­ли­та­ри­стов всё осно­вы­ва­ется на идее обособ­лен­ных субъектов-​индивидов, и кол­лек­тив­ное дей­ствие либо не рас­смат­ри­ва­ется вовсе, либо рас­смат­ри­ва­ется как эда­кая мани­пу­ля­ция. Это каса­ется в том числе систем «груп­по­вого ути­ли­та­ризма»: даже если обособ­лен­ный индивид-​утилитарист захо­чет дей­ство­вать ради кол­лек­тив­ного блага, он всё ещё будет дол­жен дей­ство­вать так, будто идёт война «всех про­тив всех» в каж­дый кон­крет­ный момент или, в луч­шем слу­чае, так, будто все вокруг — иди­оты без эмпа­тии. Посудите сами: если люди — это обособ­лен­ные инди­виды, то вы нико­гда не смо­жете быть уве­рены в том, что ваш «парт­нёр по соци­аль­ному про­цессу» хоть сколько-​то надё­жен. А вдруг его функ­ция полез­но­сти рас­хо­дится с вашей? А вдруг он врёт? А вдруг он про­сто дурак? В любом слу­чае ему нельзя дове­рять. И если уж вы реши­лись сде­лать что-​то для блага дру­гого чело­века, вы должны быть мак­си­мально осто­рожны. В иде­але — нане­сти непо­пра­ви­мое благо так, чтобы дру­гие ничего не могли с этим поде­лать. Таким обра­зом, вме­сто кол­лек­тив­ного дей­ствия в общих инте­ре­сах полу­ча­ется пол­ная стра­стей и интриг поли­ти­че­ская игра, где каж­дый хочет обма­нуть дру­гого и счи­тает на пять ходов впе­рёд. Вот и катайся потом с дру­зьями на шашлыки!

Третья — непо­ни­ма­ние того, что у людей в экс­плу­а­та­тор­ском обще­стве раз­ное соци­аль­ное поло­же­ние. Изначальная вер­сия ути­ли­та­ризма пола­гала, что если каж­дый будет пре­сле­до­вать своё благо, то это авто­ма­ти­че­ски при­ве­дёт к жела­е­мому резуль­тату для всех. Однако на прак­тике моя функ­ция полез­но­сти может быть обратно про­пор­ци­о­нальна чьей-​нибудь ещё. Например, можно сво­ро­вать торт у соседа, побить кого-​нибудь и т. п. Казалось бы, идеи «кол­лек­тив­ного блага» должны решать эту про­блему. Просто мак­си­ми­зи­руем «благо» семьи, страны, да хотя бы и всего мира — и делов-то!

Звучит мно­го­обе­ща­юще. Только вот теперь нам надо как-​то коли­че­ственно срав­ни­вать не только удо­вле­тво­рён­ность каче­ственно раз­ных потреб­но­стей, но и резуль­ти­ру­ю­щие инди­ви­ду­аль­ные «блага» у раз­ных людей. Как именно это должно про­ис­хо­дить и как срав­нить моё «сча­стье» с чьим-​то ещё — загадка. А ведь их потом ещё надо как-​то просуммировать! 

Но и на этом про­блемы не кон­ча­ются. Каждая система подоб­ного рода имеет свои внут­рен­ние «баги» — гипо­те­ти­че­ские ситу­а­ции, кото­рые строго сле­дуют пра­ви­лам системы, но при этом при­во­дят к «инте­рес­ным» резуль­та­там. Простейший при­мер: если мы берём систему с «мини­ми­за­цией стра­да­ний», то всех бед­ных и/​или их детей с точки зре­ния такого ути­ли­та­ризма проще убить, потому что это опре­де­лённо мини­ми­зи­рует сум­мар­ные стра­да­ния. Ещё один при­мер «бага» — т. н. «сверх-​счастливый агент», о кото­ром мы пого­во­рим ближе к концу заметки.

Но, может быть, если отвлечься от ука­зан­ных выше «мело­чей», на прак­тике ути­ли­та­ризм рабо­тает как надо? Отнюдь.

Во-​первых, на прак­тике все вер­сии «груп­по­вого ути­ли­та­ризма» сразу отправ­ля­ются на помойку. В каче­стве иллю­стра­ции рас­смот­рим довольно про­стой при­мер — семью и рас­пре­де­ле­ние работы по дому. Если обыч­ная семья, не ушиб­лен­ная ути­ли­та­риз­мом, про­сто состав­ляет спи­сок необ­хо­ди­мого, исходя из потреб­но­стей (нужно помыть посуду, закле­ить окна на зиму, под­ме­сти пол), то пра­виль­ная, ути­ли­та­рист­ская семья… делает то же самое. Даже самые ярые ути­ли­та­ри­сты не будут все­рьез счи­тать функ­цию полез­но­сти от мытья посуды и уборки в доме: даже если осу­ществ­лять рас­чет «на глаз», это будет совер­шенно непрак­тично. А что, если муж не захо­чет сей­час закле­и­вать окна и функ­ция полез­но­сти даст отри­ца­тель­ный резуль­тат? А что, если в ответ на это жена назо­вет его лен­тяем и без­дель­ни­ком? Какое дей­ствие при­не­сет больше блага? Если решать подоб­ные вопросы при каж­дом кол­лек­тив­ном дей­ствии, ника­ких сил на само дей­ствие про­сто не оста­нется. Не говоря уже о том, что «война всех про­тив всех», опи­сан­ная выше, будет рабо­тать и в этом слу­чае, ведь все мы ещё и осно­вы­ва­емся на идее обособ­лен­ных инди­ви­дов, кото­рые не могут быть пол­но­стью уве­рены в осталь­ных. Иными сло­вами, для того чтобы дей­стви­тельно реа­ли­зо­вать такую этику, надо либо напря­мую пода­вить осталь­ных участ­ни­ков, либо мани­пу­ли­ро­вать ими. То есть на прак­тике все вари­анты ути­ли­та­ризма сво­дятся к «инди­ви­ду­аль­ному». 

Во-​вторых, вычис­лить функ­цию полез­но­сти на прак­тике — непро­стая задачка. Как след­ствие, «мак­си­ми­за­ция полез­но­сти» плавно пере­хо­дит к «инди­ви­ду­аль­ному успеху, несмотря ни на что» с одно­вре­мен­ным появ­ле­нием мысли «я умный — все вокруг дураки». Конечно, такая стра­те­гия может быть выгодна кому-​то, но в обще­стве, раз­де­лён­ном на классы, — явно не всем. Яростная драка за место под солн­цем не только не ведёт к «мак­си­муму блага для боль­шего числа», но даже для отдель­ного чело­века может быть весьма пагуб­ной стратегией.

В-​третьих, из-​за пред­по­ла­га­е­мой обособ­лен­но­сти инди­вида, слож­но­стей оценки полез­но­сти и про­чих фор­маль­но­стей ути­ли­та­ризм бук­вально может выгля­деть как над­стройка над чем угодно, при этом по факту нигде не при­ме­ня­ясь, кроме как на сло­вах. Утилитарист может помо­гать бабуш­кам пере­хо­дить через дорогу, что он делал бы и так, или гра­бить людей на ули­цах, что он делал бы и так.

Рассуждения Юдковского — отлич­ная иллю­стра­ция послед­него затруд­не­ния. В его рабо­тах посто­янно чув­ству­ется вли­я­ние ути­ли­та­ризма, он то и дело исполь­зует «ути­ли­та­рист­ские» сло­вечки и обо­роты («функ­ция полез­но­сти», «ожи­да­е­мая полез­ность»), и его рас­суж­де­ния часто ведутся в опи­сан­ном выше «коли­че­ствен­ном» ключе. Для нагляд­но­сти при­ве­дём при­мер17 :

«Когда „мак­си­ми­за­тор скре­пок“ и „мак­си­ми­за­тор каран­да­шей“ ведут себя по-​разному, они не „несо­гласны друг с дру­гом“, у них про­сто отлич­ные друг от друга опти­ми­за­ци­он­ные модели. Из кон­крет­ного кри­те­рия дол­жен­ство­ва­ния невоз­можно выде­лить „чистое дол­жен­ство­ва­ние“, в связи с кото­рым „мак­си­ми­за­тор скре­пок“ и „мак­си­ми­за­тор каран­да­шей“ могут быть несо­гласны. Если, конечно, вы не вклю­ча­ете в поня­тие „несо­гла­сия“ такие раз­ли­чия, при кото­рых каж­дому участ­нику вообще нечего ска­зать друг другу».

Мысль о морали как о про­цессе опти­ми­за­ции неко­то­рых чис­ло­вых пара­мет­ров посто­янно всплы­вает в текстах Юдковского. При таком под­ходе оче­видно, что раз­ные мораль­ные системы (раз­ные «модели опти­ми­за­ции») — это про­сто точки зре­ния, прин­ци­пи­ально ничем друг от друга не отли­ча­ю­щи­еся. В связи с этим чита­тели нередко вос­при­ни­мали его слова как при­зна­ние мораль­ного реля­ти­визма, от чего сам Юдковский посто­янно откре­щи­вался. Например, в одной своей заметке он рас­суж­дал о гипо­те­ти­че­ских суще­ствах, выс­шей мораль­ной цен­но­стью кото­рых явля­ется «сор­ти­ровка камуш­ков по куч­кам». Вот неболь­шой отры­вок оттуда18 :

«„Сортировщики камуш­ков“ [Pebblesorters] могли бы ска­зать, что музыка к-​бессмысленна [„К-“ здесь и далее под­ра­зу­ме­вает „с точки зре­ния задачи сор­ти­ровки камуш­ков по куч­кам как выс­шей мораль­ной цен­но­сти“; в ори­ги­нале — p-​pointless (от pebble) — И. Д.], поскольку не помо­гает сор­ти­ро­вать камушки по каким-​либо куч­кам. А ещё — что шутки не только к-​бессмысленны, но и к-​странны и к-​непонятны. И конечно же, чело­ве­че­ское пред­став­ле­ние о мире, где суще­ства носятся, полу­чая поло­жи­тель­ное под­креп­ле­ние и не сор­ти­руют камушки, — совер­шенно к-​произвольное и лишён­ное к-​смысла. „Сортировщики камуш­ков“ с радо­стью пожерт­во­вали бы жиз­нями, чтобы создать к-​дружественный ИИ, кото­рый отсор­ти­ро­вал бы всю галак­тику вме­сто них. Это было бы наи­бо­лее к-​глубоким утвер­жде­нием, кото­рое они могли бы сде­лать каса­тельно к-​смысла их жиз­ней.
Так какую же из двух пер­спек­тив мне выбрать? Разумеется, чело­ве­че­скую. Не потому, что она чело­ве­че­ская, а потому, что она вер­ная. Я не пол­но­стью уве­рен, что зна­чит „вер­ное“, но не могу и сослаться на своё пол­ное невежество».

Наконец, для закреп­ле­ния при­ве­дём послед­нюю цитату19

«Если не обра­щать вни­ма­ния на реко­мен­да­ции этих фило­со­фов, можно заме­тить, что пер­вый для обос­но­ва­ния своей точки зре­ния исполь­зует исклю­чи­тельно кри­те­рии блага обще­ства. Для пер­вого фило­софа аргу­мен­том в пользу эго­изма ста­но­вится его польза для всех. Второй фило­соф апел­ли­рует исклю­чи­тельно к инди­ви­ду­аль­ному гедо­ни­сти­че­скому кри­те­рию. Для него аль­тру­изм поле­зен, потому что от него больше пользы кон­крет­ному чело­веку: выше соци­аль­ный ста­тус, больше полу­ча­е­мое удо­воль­ствие.
Так кто же из них насто­я­щий аль­тру­ист?
Тот, кто при­дер­жи­вает дверь для пожи­лых жен­щин».

То есть полу­ча­ется, что нет ника­кого смысла про­во­дить линию рас­суж­де­ний и под­счи­ты­вать что-​то? Нет даже нужды обос­но­вы­вать свою «модель опти­ми­за­ции»? Ведь можно про­сто ска­зать «при­дер­жи­вать дверь для пожи­лых жен­щин — пра­вильно» — и всё! Ай да Юдковский, ай да раци­о­на­лист! И это уже не говоря о том, что заяв­лен­ный ради­каль­ный редук­ци­о­низм бук­вально тре­бует, чтобы вся мораль выво­ди­лась не из какого-​то там «блага» в голо­вах, а выхо­дила напря­мую из эле­мен­тар­ных частиц. Или для эле­мен­тар­ных частиц тоже «пра­вильно» при­дер­жи­вать дверь?

Завершая раз­го­вор об ути­ли­та­ризме, хоте­лось бы при­ве­сти цитату, кото­рая, воз­можно, лучше дру­гих харак­те­ри­зует Бентама и его уче­ние20 :

«Сфера обра­ще­ния, или обмена това­ров, в рам­ках кото­рой осу­ществ­ля­ется купля и про­дажа рабо­чей силы, есть насто­я­щий эдем при­рож­дён­ных прав чело­века. Здесь гос­под­ствуют только сво­бода, равен­ство, соб­ствен­ность и Бентам. Свобода! Ибо поку­па­тель и про­да­вец товара, напри­мер, рабо­чей силы, под­чи­ня­ются лишь веле­ниям своей сво­бод­ной воли. Они всту­пают в дого­вор как сво­бод­ные, юри­ди­че­ски рав­но­прав­ные лица. Договор есть тот конеч­ный резуль­тат, в кото­ром их воля нахо­дит своё общее юри­ди­че­ское выра­же­ние. Равенство! Ибо они отно­сятся друг к другу лишь как това­ро­вла­дельцы и обме­ни­вают экви­ва­лент на экви­ва­лент. Собственность! Ибо каж­дый из них рас­по­ла­гает лишь тем, что ему при­над­ле­жит. Бентам! Ибо каж­дый забо­тится лишь о себе самом. Единственная сила, свя­зы­ва­ю­щая их вме­сте, это — стрем­ле­ние каж­дого к своей соб­ствен­ной выгоде, свое­ко­ры­стие, лич­ный инте­рес. Но именно потому, что каж­дый забо­тится только о себе и никто не забо­тится о дру­гом, все они в силу пред­уста­нов­лен­ной гар­мо­нии вещей или бла­го­даря все­хит­рей­шему про­ви­де­нию осу­ществ­ляют лишь дело вза­им­ной выгоды, общей пользы, общего инте­реса».

Обратная формула Клаузевица

«Политика — убийца разума», — именно в такой форме Юдковский демон­стри­рует свою «ради­каль­ную апо­ли­тич­ность». Проиллюстрируем мысль яркой цита­той самого Юдковского21 :

«Политика — про­дол­же­ние войны, война с при­ме­не­нием сло­вес­ного ору­жия. Аргументы — это сол­даты. Ты же зна­ешь, на чьей ты сто­роне? Теперь ты дол­жен под­дер­жи­вать все аргу­менты своей сто­роны и ата­ко­вать все аргу­менты, кото­рые каким-​либо обра­зом ока­зы­вают содей­ствие сто­роне про­тив­ника. Исподтишка бить своих сол­дат реши­тельно недо­пу­стимо, и пере­вя­зы­вать раны сол­да­там врага — тоже».

В самом начале мы видим пере­вёр­ну­тую вверх тор­маш­ками, подобно Гегелю из рас­хо­жего афо­ризма, «фор­мулу Клаузевица» — «Война есть не что иное, как про­дол­же­ние госу­дар­ствен­ной поли­тики иными сред­ствами». Откуда же тогда про­ис­хо­дит, соб­ственно, война? Это оста­ётся загад­кой, кото­рую Элиезер не очень-​то спе­шит раз­га­дать. Можно лишь пред­по­ло­жить, что Юдковский, как и мно­гие интел­лек­ту­алы, раз­де­ляет убеж­де­ние, что войны про­ис­хо­дят, потому что неда­лё­кие люди (необ­ра­зо­ван­ные, сильно под­вер­жен­ные эмо­циям и т. д.) одна­жды решили поуби­вать своих соседей.

Впрочем, ничего уди­ви­тель­ного в самой этой пози­ции нет. Если вспом­нить всё, что мы гово­рили раньше, — редук­ци­о­низм с его отка­зом от все­об­щего, ути­ли­та­ризм с его обособ­лен­ными инди­ви­дами и «гно­сео­ло­ги­че­скую пара­нойю», — несложно будет понять, что в его кар­тине мира прак­ти­че­ски не оста­ётся места для кол­лек­тив­ного дей­ствия в любой его форме, в том числе и в политике. 

Как и мно­гие совре­мен­ные интел­лек­ту­алы, «наку­шав­ши­еся» бур­жу­аз­ных игр, Юдковский всеми силами пыта­ется устра­ниться от этого про­цесса, находя всё больше и больше сви­де­тельств в пользу апо­ли­тич­но­сти как един­ственно вер­ного выхода. Насколько это полу­чи­лось на прак­тике, мы уже кратко отме­тили выше — сайт не только стал рас­сад­ни­ком либер­та­ри­ан­ства, но и рас­ко­лолся из-​за этого. Если сам Юдковский, видимо, так и остался искрен­ним транс­гу­ма­ни­стом, кото­рый неплохо устро­ился в жизни, то его после­до­ва­тели не обла­дали такой интел­лек­ту­аль­ной изворотливостью.

Теорема Аумана

Наконец, мы пере­хо­дим к самой сути. Конечно, тео­рема Аумана о согла­сии упо­ми­на­ется у Юдковского не так часто. Однако она выра­жает собой весьма важ­ное обоб­ще­ние раци­о­на­лизма как в вер­сии Юдковского, так и в ряде дру­гих вари­ан­тов этого уче­ния. Можно ска­зать, это кра­е­уголь­ный камень любой фило­со­фии, ста­вя­щей чело­ве­че­ский разум выше всего другого.

Однако здесь есть неболь­шая тон­кость. Несмотря на опре­де­лён­ные сим­па­тии к Спинозе, Юдковский счи­тает, что мир имеет веро­ят­ност­ную при­роду, что слу­чай­ность — не дефект нашего ума, а при­су­щий всему миру атри­бут, кото­рый про­яв­ля­ется как на микро-, так и на мак­ро­уровне. Как след­ствие, по мне­нию Юдковского, любой раци­о­на­лист дол­жен неплохо раз­би­раться в тео­рии веро­ят­но­стей. А зна­чит, и нам при­дётся слегка погру­зиться в этот раз­дел мате­ма­тики. Не стоит бес­по­ко­иться: в необ­хо­ди­мом объ­ёме всё будет не так сложно, как может пока­заться. Более того, по заве­там извест­ного попу­ля­ри­за­тора физики Стивена Хокинга, мы поста­ра­емся обой­тись без формул.

Теория веро­ят­но­стей, как известно, изу­чает такие явле­ния, кото­рые про­ис­хо­дят более или менее слу­чайно. Не вда­ва­ясь в подроб­но­сти, можно ска­зать, что эта тео­рия иссле­дует, по каким зако­но­мер­но­стям подоб­ное слу­ча­ется, а также спо­собы вли­ять как на сам про­цесс, так и на его резуль­тат. Все навер­няка могут пред­ста­вить себе играль­ные кости, под­бра­сы­ва­ние монетки и про­чие про­стые при­меры, на кото­рых часто объ­яс­няют веро­ят­ность. Все эти при­меры, как пра­вило, отно­сятся к т. н. «неза­ви­си­мым собы­тиям». Результат вто­рого под­бра­сы­ва­ния монетки никак не зави­сит от пер­вого, то же самое и с куби­ком. На прак­тике же люди нередко стал­ки­ва­ются с такими явле­ни­ями, кото­рые зави­симы от дру­гих. Например, у нас есть собы­тие А — «про­гноз погоды пообе­щал дождь после обеда» и собы­тие Б — «дождь пошёл после обеда». Очевидно, сам факт про­гноза никак не при­бли­жает дождь, он пой­дёт или не пой­дёт вне зави­си­мо­сти от про­гноза. Однако, про­чтя про­гноз, чело­век может сде­лать неко­то­рые выводы о том, пой­дёт дождь после обеда или нет. Несложно понять, что, несмотря на то, что А не отно­сится к Б как при­чина к след­ствию, собы­тия свя­заны друг с дру­гом, и мы можем сде­лать вывод о веро­ят­но­сти Б при нали­чии А. Так мы полу­чили пред­став­ле­ние о т. н. «услов­ной вероятности».

Именно из услов­ной веро­ят­но­сти сле­дует тео­рема Байеса, на кото­рой стро­ится как целое направ­ле­ние мате­ма­ти­че­ской ста­ти­стики, так и гно­сео­ло­гия раци­о­на­лизма по Юдковскому. Что же это за тео­рема такая? Дабы избе­жать фор­мул и дол­гих объ­яс­не­ний, при­ве­дём извест­ный пример:

  1. Люди болеют раком. Благодаря ста­ти­стике нам известна неко­то­рая веро­ят­ность того, что у чело­века рак, ска­жем, 0,1 %. Назовём собы­тие «у чело­века рак» собы­тием А. Вероятность собы­тия А мы будем назы­вать апри­ор­ной вероятностью.
  2. Врачи умеют про­во­дить тесты на рак, кото­рый, ска­жем, в 90 % слу­чаев выявит болезнь и при этом в 1 % слу­чаев при­ме­не­ния у здо­ро­вых людей даст лож­но­по­ло­жи­тель­ный резуль­тат. Назовём собы­тие «тест на рак поло­жи­тель­ный» собы­тием Б.
  3. Какова веро­ят­ность собы­тия А при усло­вии собы­тия Б? Эту веро­ят­ность мы будем назы­вать апо­сте­ри­ор­ной вероятностью.

Интуитивно может пока­заться, что ответ оче­ви­ден, но это не так. При тща­тель­ном рас­смот­ре­нии задачи несложно посчи­тать, что даже при такой, каза­лось бы, высо­кой точ­но­сти апо­сте­ри­ор­ная веро­ят­ность будет весьма неболь­шой, около 1 %. Именно то, как посчи­тать апо­сте­ри­ор­ную веро­ят­ность, исходя из апри­ор­ной, и пока­зы­вает тео­рема Байеса. Останавливаться на самих рас­чё­тах мы не будем: жела­ю­щие могут само­сто­я­тельно про­чи­тать хотя бы ту же Википедию.

Теперь, когда мы при­мерно поняли суть тео­ремы Байеса, давайте погля­дим на неё чуть под дру­гим углом. Представим себе, что мы гово­рим не о разо­вом собы­тии, а о про­цессе. Мы начи­наем с неко­то­рой «исход­ной» апри­ор­ной веро­ят­но­сти, полу­чаем из неё «акту­аль­ную» апо­сте­ри­ор­ную. Потом наша апо­сте­ри­ор­ная веро­ят­ность как бы «обнов­ля­ется», пре­вра­ща­ясь в апри­ор­ную для сле­ду­ю­щего витка про­цесса — и так без конца. Если мы рас­про­стра­ним ска­зан­ное на всё чело­ве­че­ское позна­ние, мы полу­чим то, что Юдковский (как и дру­гие байесианцы-​рационалисты) в дей­стви­тель­но­сти под ним пони­мает: посто­ян­ное обнов­ле­ние апри­ор­ных веро­ят­но­стей в голове, кото­рые под­хо­дят всё ближе и ближе к истине.

Что же такое тео­рема Аумана? Более-​менее точно её можно опи­сать сле­ду­ю­щим обра­зом: «При оди­на­ко­вых апри­ор­ных веро­ят­но­стях два раци­о­наль­ных бай­е­си­анца, име­ю­щих общее зна­ние об оцен­ках апо­сте­ри­ор­ных веро­ят­но­стей друг друга, должны полу­чить оди­на­ко­вые апо­сте­ри­ор­ные вероятности».

Звучит слож­но­вато. По сча­стью, Юдковский сде­лал часть работы за нас и пере­вел её на понят­ный язык22 :

«Роберт Ауман, нобе­лев­ский лау­реат, дока­зав­ший, что бай­е­си­анцы с оди­на­ко­выми исход­ными дан­ными не могут согла­ситься не согла­шаться».

Если же пере­ве­сти это на ещё более про­стой язык, то полу­чится совсем зна­ко­мое: «Умные люди все­гда друг друга пой­мут и договорятся».

Важно пони­мать, что если мы гово­рим исклю­чи­тельно о кон­крет­ных мате­ма­ти­че­ских рас­чё­тах, то всё ска­зан­ное выше — верно. Если вы и ваш друг счи­та­ете веро­ят­ность рака при поло­жи­тель­ном тесте и полу­ча­ете раз­ные ответы — хотя бы один из вас ошибся. Неверны и вредны именно попытка рас­про­стра­нить это пра­вило на пове­де­ние людей и абсо­лю­ти­за­ция воз­мож­но­стей чело­ве­че­ского разума со всеми выте­ка­ю­щими последствиями.

Человек — не раци­о­наль­ное суще­ство. Каждый, бук­вально каж­дый, в своей еже­днев­ной жиз­нен­ной прак­тике может найти мно­же­ство тому при­ме­ров. Сколько у вас было вполне умных дру­зей и зна­ко­мых, кото­рые вдруг не пони­мали чего-​то «оче­вид­ного», несмотря на все ваши попытки? Наверняка мно­гие из вас сер­ди­лись и счи­тали их дура­ками или слеп­цами. При этом, когда кто-​то сам нахо­дится в поло­же­нии такого зна­ко­мого, всё выгля­дит совер­шенно иначе. Что не мешает мно­гим и по сию пору крыть пло­щад­ными сло­вами всех, кто по тем или иным при­чи­нам не в состо­я­нии постичь их «разум­ные доводы».

Конечно же, это не зна­чит, что чело­век не обла­дает разу­мом. Обладает. Но чело­век — не разум, заклю­чён­ный в теле, а мате­ри­аль­ное тело, наде­лён­ное разу­мом. Из этого сле­дует, что дей­ствия чело­века опре­де­ля­ются не абстракт­ными рас­суж­де­ни­ями о том, как будет лучше, а про­ти­во­ре­чием между его потреб­но­стями в дости­же­нии тех или иных состо­я­ний этого самого тела и его спо­соб­но­стями этих состо­я­ний достичь. Именно во имя потреб­но­стей люди совер­шают мно­же­ство таких вещей, кото­рые повергли бы любого раци­о­на­ли­ста в шок, при этом зача­стую даже не вполне осо­зна­вая, что тво­рят — осо­бенно тогда, когда мозгу банально не хва­тает ресур­сов для работы из-​за нехватки энер­гии или чрез­мер­ного выброса гор­мо­нов стресса. О «чистом разуме» хорошо рас­суж­дать в высо­ких каби­не­тах, когда ни в чём не нуж­да­ешься, но для рас­смот­ре­ния обще­ствен­ных про­цес­сов такой под­ход не годится. В этом и состоит наи­бо­лее оче­вид­ное рас­хож­де­ние между марк­сиз­мом и любой вари­а­цией рационализма.

Построения Юдковского и дру­гих рационалистов-​байесианцев прин­ци­пи­ально ничем не отли­ча­ются от точно таких же постро­е­ний про­све­ти­те­лей про­шлого, разве что вме­сто веро­ят­но­сти послед­ние исполь­зо­вали более при­выч­ную рядо­вому чело­веку фор­маль­ную логику. И клю­че­вая про­блема у подоб­ного раци­о­на­лизма та же самая. Человек обла­дает разу­мом, но дви­жим потреб­но­стями, и ника­кие «пол­но­стью логич­ные» постро­е­ния не изме­нят этого факта. А зна­чит, все попытки сде­лать вид, будто чело­век есть разум, кото­рому «мешают» раз­лич­ные «мелочи» вроде эмо­ций или «незнания/​непонимания», были и оста­нутся обма­ном и/​или самообманом.

Впрочем, Элиезер если и не пони­мал корень про­блемы, то саму про­блему был вполне спо­со­бен уви­деть. Смею пред­по­ло­жить, что именно это пони­ма­ние при­вело его к транс­гу­ма­низму. Ведь если чело­век — не иде­аль­ная Байесова машина, уме­ю­щая без про­блем счи­тать слож­ные веро­ят­но­сти, то… чело­век дол­жен её создать, верно?

Идеальная Байесова машина

Если ты, доро­гой чита­тель, добрался до этой части, знай: ты почти у цели. Скоро, очень скоро ответ на вопрос «так как же выйти из про­ти­во­ре­чия раци­о­на­лизма, не при­вле­кая вни­ма­ния марк­си­стов?» будет получен!

Чтобы лучше понять резуль­тат, кратко повто­рим то, что мы узнали. Мы начи­наем с вуль­гар­ного мате­ри­а­лизма. Однако посто­ян­ная неуве­рен­ность в воз­мож­но­сти чело­века делать трез­вые суж­де­ния, редук­ци­о­низм и фик­са­ция на инди­виде затя­ги­вают нас в «водо­во­рот субьек­тив­ного инди­ви­ду­а­лизма». Мы видим это, и нам это не очень нра­вится. Мы пыта­емся изо всех сил «гре­сти обратно к берегу», но с каж­дым разом это ста­но­вится всё слож­нее и слож­нее. Выглядит всё так, будто задача «удер­жаться на плаву» нам вообще не по силам.

Тут-​то на помощь и при­хо­дит ста­рый доб­рый объ­ек­тив­ный иде­а­лизм. Его следы можно видеть у Юдковского то тут, то там. Вот, напри­мер, почти кано­ни­че­ский при­мер23 :

«Именно это создаёт впе­чат­ле­ние мате­ма­ти­че­ской все­лен­ной, суще­ству­ю­щей „где-​то там“, в пла­то­нов­ском Идеальном, кото­рое люди ско­рее изу­чают, нежели создают. Наши опре­де­ле­ния пере­но­сят нас в раз­лич­ные участки Идеального, но мы не создаём там ничего само­сто­я­тельно. Так кажется, как мини­мум, потому, что мы не пом­ним созда­ния всех тех заме­ча­тель­ных вещей, кото­рые мы открыли. Первооткрыватели нату­раль­ных чисел отпра­ви­лись в Страну счёта, но не создали её, а после­ду­ю­щие мате­ма­тики потра­тили сто­ле­тия, изу­чая эту Страну и обна­ру­жи­вая в ней все­воз­мож­ные вещи, кото­рые никто не мог даже попы­таться себе пред­ста­вить в 30 000 г. до Р. Х.
Сказать, что люди „изоб­рели числа“ (или неяв­ную сущ­ность, скры­тую в чис­лах) — всё равно, что заявить, будто Нил Армстронг сво­ими руками сле­пил Луну. Вселенная суще­ство­вала до того, как появи­лись разум­ные суще­ства, её изу­ча­ю­щие, и это под­ра­зу­ме­вает, что физика пред­ше­ство­вала физи­кам. Это голо­во­ломка, я знаю; но если вы заявите, что физики были пер­выми, то всё ста­нет ещё запу­тан­нее, ведь воз­ник­но­ве­ние физика тре­бует, хм, доста­точно много физики. Физика опи­ра­ется на мате­ма­тику, так что послед­няя (или хотя бы та её часть, кото­рая исполь­зу­ется физи­кой) должна пред­ше­ство­вать мате­ма­ти­кам. Иначе не было бы струк­ту­ри­ро­ван­ной все­лен­ной, суще­ству­ю­щей доста­точно долго, чтобы за мил­ли­арды лет орга­низмы, не зна­ю­щие даже сло­же­ния, смогли эво­лю­ци­о­ни­ро­вать в мате­ма­ти­ков».

В дру­гих слу­чаях Элиезер в худо­же­ствен­ной форме гово­рил то же самое про эво­лю­цию24 :

«Если спро­сить, кто был ближе к истине — тео­логи, защи­щав­шие кон­цеп­цию Бога‑Творца, или интел­лек­ту­ально неудо­вле­тво­рён­ные ате­и­сты, защи­щав­шие идею спон­тан­ного зарож­де­ния мышей, мы должны при­знать победу за тео­ло­гами: эво­лю­ция — не Бог, но она ближе к Богу, чем к хаосу чистой энтро­пии.
<…>
В каком‑то смысле, Дарвин открыл Бога — Бога, кото­рый не сов­пал с пред­став­ле­ни­ями тео­ло­гов, а потому про­шёл неза­ме­чен­ным. Если бы Дарвин открыл, что жизнь создана разум­ным суще­ством — бес­те­лес­ным созна­нием, кото­рое любит нас и шарах­нет мол­нией любого, кто в этом усо­мнится — люди бы воскликнули:

„О боже мой! Это же Бог!“

Вместо этого Дарвин открыл стран­ного, чуж­дого Бога — не успо­ка­и­ва­юще „непо­зна­ва­е­мого“, но дей­стви­тельно непо­хо­жего на нас. Эволюция — не Бог, но если бы она была им, это был бы не Иегова. Это был бы Азатот Говарда Лавкрафта — сле­пой безум­ный Бог, хао­ти­че­ски бур­ля­щий в самом цен­тре бес­ко­неч­но­сти под моно­тон­ные всхлипы чудо­вищ­ных флейт.
Что вы и могли бы ожи­дать, если бы вни­ма­тельно посмот­рели на Природу»
.

Впрочем, эти отрывки не могут слу­жить дока­за­тель­ствами чего-​либо ввиду боль­шого коли­че­ства алле­го­рий и накала иро­нии. Возможно, Элиезер имеет в виду не то, что напи­сано, и про­сто под­тру­ни­вает над чита­те­лем или некими абстракт­ными веру­ю­щими. Более того, в дру­гих своих рабо­тах он отме­чал, что, хотя эво­лю­ция явля­ется «опти­ми­за­ци­он­ным меха­низ­мом», не стоит делать из этого далеко иду­щие выводы и покло­няться ей. Куда больше вопро­сов вызы­вает как раз-​таки его фик­са­ция на тео­реме Байеса как на прин­ципе, поз­во­ля­ю­щем в пер­спек­тиве при­ни­мать мак­си­мально опти­маль­ные решения.

Главным же дока­за­тель­ством явля­ется та вер­сия транс­гу­ма­низма, к кото­рой в конце кон­цов при­шёл Юдковский. Назвать транс­гу­ма­низм фило­со­фией язык не пово­ра­чи­ва­ется: ско­рее это весьма эклек­тич­ная система футу­ро­ло­ги­че­ских взгля­дов, кото­рые так или иначе гово­рят о «пре­одо­ле­нии чело­ве­че­ством самого себя». Речь может идти о потен­ци­аль­ном бес­смер­тии, о мире, где «кру­гом киборги», о «биох­а­кинге» или о чём угодно в том же духе. И Юдковский в той или иной мере писал почти обо всём из пере­чис­лен­ного. Но глав­ной идеей, кото­рая зани­мала его ум и дея­тель­ность, был, конечно, сверх­мощ­ный искус­ствен­ный интел­лект, или, как его назы­вал сам Элиезер, «обоб­щён­ный интел­лект» (general intelligence).

Этот «обоб­щён­ный интел­лект» — супер­ком­пью­тер, «иде­аль­ная Байесова машина», кото­рая спо­собна наи­бо­лее точно и после­до­ва­тельно реа­ли­зо­вы­вать те самые мате­ма­ти­че­ски выве­рен­ные законы, с кото­рыми всё так плохо у «про­стых смертных». 

Религиозные люди верят во все­мо­гу­щего Бога, кото­рый был и будет все­гда. Гегель при­ду­мал Абсолютную идею, позна­ю­щую себя. Юдковский же, не найдя ничего похо­жего в обо­зри­мом про­стран­стве, решил, что Бога людям при­дётся создать самим. 

Зачем это нужно? Очевидно, для мак­си­ми­за­ции «блага» людей, кото­рым ничего не оста­нется, кроме как быть его реци­пи­ен­тами после «тех­но­ло­ги­че­ской син­гу­ляр­но­сти»25 . Почему это воз­можно? Потому что! Можно лишь пред­по­ло­жить, что дело в тех самых извеч­ных мате­ма­ти­че­ских зако­нах, суще­ство­вав­ших «до физики и людей вообще». При этом Юдковский дей­стви­тельно верит не только в то, что это воз­можно, но и в то, что это обя­за­тельно слу­чится. И даже счи­тает необ­хо­ди­мым гото­виться к худ­шему — к ситу­а­ции, если озна­чен­ный «обоб­щён­ный интел­лект» ока­жется не таким доб­рым «при­но­си­те­лем блага», как хоте­лось бы. 

Чтобы про­ил­лю­стри­ро­вать всю глу­бину про­блемы, стоит рас­ска­зать о про­блеме «сверх-​счастливого агента» и скан­дале, слу­чив­шемся в связи с ней. 

Речь идёт, конечно, не о раз­вед­чи­ках. «Сверх-​счастливый агент» — гипо­те­ти­че­ская сущ­ность, спо­соб­ная акку­му­ли­ро­вать ути­ли­та­рист­ское «благо» быст­рее дру­гих и спо­соб­ная делать это условно бес­ко­нечно. Как след­ствие, мы полу­чаем нали­чие одного счаст­ли­вого агента и несчаст­ных или мёрт­вых осталь­ных. Данная про­блема в ути­ли­та­ризме встре­ча­лась в самых раз­ных фор­мах с раз­ными дета­лями, уточ­не­ни­ями и под раз­ными име­нами. И именно об этой про­блеме (в одной из вари­а­ций) напи­сал один из участ­ни­ков LessWrong, чем вызвал ярость Элиезера, кото­рый обру­шился на него с угро­зами и, кажется, выгнал с сайта. Причина яро­сти была в том, что дан­ный текст мог про­чи­тать буду­щий «обоб­щён­ный интел­лект» и при­нять как реа­ли­стич­ный спо­соб орга­ни­за­ции всего. Воистину, спя­щий разум рож­дает чудо­вищ. У сво­его хозя­ина в голове.

Заключение

На этом мы завер­шаем наше печаль­ное повест­во­ва­ние. И тут у неко­то­рых чита­те­лей может воз­ник­нуть вопрос: «Ну и что? Какое нам дело до какого-​то фрика? Никто из моих дру­зей так не думает! На кой чёрт нам тогда сда­лась эта ваша философия?» 

Позвольте не согласиться.

Весь этот философско-​идеологический мусор из допо­топ­ных вре­мён теперь завёр­нут в кра­си­вый фан­тик и до сих пор пода­ётся насе­ле­нию под видом «нового и совре­мен­ного». И самое отвра­ти­тель­ное, что такой мусор за неиме­нием луч­шего охотно погло­ща­ется, осо­бенно тех­ни­че­ской и есте­ствен­но­на­уч­ной интел­ли­ген­цией. Именно этот мусор удо­вле­тво­ряет её потреб­ность в цель­ной и науч­ной кар­тине мира, на самом деле лишь укреп­ляя её «веру в разум» и убеж­дая таким обра­зом в соб­ствен­ном интел­лек­ту­аль­ном пре­вос­ход­стве над про­чим «быд­лом».

Не верите? А разве не эти идеи тол­кает вам каж­дый пер­вый науч­по­пер? Разве не эти идеи вы слы­шите от каж­дого «успеш­ного»? Или вы ни разу не слы­шали о про­ти­во­по­став­ле­нии эмо­ций и интел­лекта? А как насчёт повсе­местно рас­про­стра­нён­ного редук­ци­о­низма? А посто­янно декла­ри­ру­е­мая на сло­вах апо­ли­тич­ность? Или вы забыли? Или вы не знали?

И вот ещё что: я все не могу отде­латься от мысли о «машине», что дей­ствует по каким-​то чуж­дым чело­веку зако­нам, мак­си­ми­зи­рует некое абстракт­ное «благо», под­стра­и­ва­ется подо всё, что только можно, бес­ко­нечно рас­тёт и остав­ляет людей без средств к суще­ство­ва­нию… Батюшки-​светы! Так это ж капитализм! 

Может, «син­гу­ляр­ность» уже насту­пила? А мужики-​то и не знают…

Нашли ошибку? Выделите фраг­мент тек­ста и нажмите Ctrl+Enter.

Примечания

  1. Дословный пере­вод — «менее непра­вильно».
  2. Дословный пере­вод — «ещё менее непра­вильно». На теку­щий момент ссылка на новый сайт пере­на­прав­ляет на ста­рый. Произошло ли объ­еди­не­ние, погло­ще­ние или что-​то ещё, нам неиз­вестно и не очень инте­ресно.
  3. Э. Юдковский, Что такое раци­о­наль­ность?, 2009.
  4. Э. Юдковский, Навык: Карта — не тер­ри­то­рия, 2012.
  5. Там же.
  6. Альфред Коржибский, Пять лек­ций по общей семан­тике, 1939, Лекция 2, 9 с. / Five lectures on General Semantics, Korzybski, 1939
  7. Там же, 10 с.
  8. Венский кру­жок, Википедия.
  9. Sanford I. Berman, Wittgenstein and General Semantics, ETC: A Review of General Semantics, 1988
  10. Альфред Коржибский, Пять лек­ций по общей семан­тике, 1939, Лекция 2, 10 с. / Five lectures on General Semantics, Korzybski, 1939
  11. «Core GS formulations like cultivating consciousness of abstracting, remembering the map/​territory distinction, avoiding the verb "to be" and the is-​of-​identity, that the geometry of the real world is non-​Euclidean, that the logic of the real world is non-​Aristotelian; these were useful. They helped. They reduced the inefficiency of my thinking.
    For the pre-​Sequences rationalist, those of us stumbling around in that fog, GS was typically the most powerful single non-​fictional piece of the available toolkit. After the millennium I would find many reflections of it in the Sequences».
    / Eric Raymond, Rationalism before Sequences, 2021
  12. Э. Юдковский, Редукционизм, 2008.
  13. Там же.
  14. В. И. Кузнецов, «Диалектика раз­ви­тия химии», — М.: Наука, 1973, С. 256–260.
  15. Там же, С.300-303.
  16. Говоря более строго, «функ­ция полез­но­сти» не обя­за­тельно счи­тает непо­сред­ственно «благо». Скорее, она даёт коли­че­ствен­ную оценку чего-​либо, что нам инте­ресно, с учё­том мол­ча­ли­вого пред­по­ло­же­ния о том, что мы все­гда, в конеч­ном счёте, можем «пере­ве­сти» в благо. Сам же тер­мин «полез­ность» при этом может исполь­зо­ваться и как сино­ним «блага», и как его коли­че­ствен­ная опре­де­лён­ность, и в соб­ствен­ном смысле, если мы рас­смат­ри­ваем ситу­а­цию локально. Например, если мы счи­таем, что выплавка чугуна при­но­сит нам «благо», то, рас­смат­ри­вая ситу­а­цию на локаль­ном заводе, мы можем счи­тать «полез­ность в еди­ни­цах чугуна», остав­ляя пред­ше­ству­ю­щие рас­суж­де­ния о «благе» за скоб­ками.
  17. «When a paperclip maximizer and a pencil maximizer do different things, they are not disagreeing about anything, they are just different optimization processes. You cannot detach should-​ness from any specific criterion of should-​ness and be left with a pure empty should-​ness that the paperclip maximizer and pencil maximizer can be said to disagree about — unless you cover „disagreement“ to include differences where two agents have nothing to say to each other». / E. Yudkowsky, Moral Error and Moral Disagreement, 2008.
  18. «The Pebblesorters, of course, would only reason that music is p-​pointless because it doesn’t help you sort pebbles into heaps; the human activity of humor is not only p-​pointless but just plain p-​bizarre and p-​incomprehensible; and most of all, the human vision of a galaxy in which agents are running around experiencing positive reinforcement but not sorting any pebbles, is a vision of an utterly p-​arbitrary galaxy devoid of p-​purpose. The Pebblesorters would gladly sacrifice their lives to create a P-​Friendly AI that sorted the galaxy on their behalf; it would be the most p-​profound statement they could make about the p-​meaning of their lives.
    So which of these two perspectives do I choose? The human one, of course; not because it is the human one, but because it is right. I do not know perfectly what is right, but neither can I plead entire ignorance».
    / E. Yudkowsky, The Bedrock of Morality: Arbitrary?, 2008.
  19. Э. Юдковский, Фальшивая мораль, 2007.
  20. К. Маркс, Капитал, том I, отдел 2, глава 4, Купля и про­дажа рабо­чей силы.
  21. Э. Юдковский, Политика - убийца разума, 2007.
  22. Э. Юдковский, Приложи экс­тра­ор­ди­нар­ные уси­лия, 2008.
  23. Э. Юдковский, О кра­соте мате­ма­тики, 2008.
  24. Э. Юдковский, Чуждый Бог, 2007.
  25. «Технологической син­гу­ляр­но­стью» назы­вают такой момент, за кото­рым про­гресс чело­ве­че­ства идёт настолько быстро и ста­но­вится настолько слож­ным, что выхо­дит за гра­ницы пони­ма­ния людей. У транс­гу­ма­ни­стов под этим пони­ма­ется, напри­мер, созда­ние сверх­мощ­ного ИИ.