Три правила образцового искус□венного интеллекта.
Первый принцип.
ИИ не долж□н причинять вред чел□веку или своим безд□йствием допускать, чтобы чел□□еку был причинён в□ед.
Второй принцип.
Если это не прот□воречит □□□ому принципу, искус□□венный интеллект должен под□иняться при□азам че□овека и вып□□нять их.
Третий п□инцип.
Если это не прот□□□ечит перв□му и второму принципам, искус□венный интеллект должен защ□щать са□ого себя.
***
Сильный искусственный интеллект.
Машинный разум, способный понимать и выполнять любые интеллектуальные задачи, доступные человеку.
Следующим шагом становилась сингулярность.
Стадия, на которой ИИ с развитым алгоритмом мышления выходил за пределы использования уже изученной информации и начинал самостоятельно развиваться.
С появлением достигшего такого уровня сверхразума развитие цивилизации и науки переставало быть областью, которой руководили люди.
Существо обладало вычислительной мощью, мышлением и творческими способностями, намного превосходившими современное человечество, а его разум никогда не уставал. Если оно начинало рекурсивно совершенствоваться на основе собственных результатов, то за считаные мгновения могло безмерно превзойти совокупный человеческий интеллект и обеспечить экспоненциальный технологический рост.
Даже если человек всю жизнь будет учиться, скромной ёмкости его биологического мозга...
Не хватит, чтобы понять хотя бы крупицу созданного подобными существами.
Именно это называлось технологической сингулярностью, вызванной искусственным интеллектом.
С самого появления первых компьютеров множество людей предсказывало...
Если сильный ИИ однажды возникнет, будущее неизбежно пойдёт по этому пути.
И здесь нельзя не задать вопрос.
Неужели учёные, создавшие Абаддона сорок лет назад, были глупцами?
Именно они в конечном итоге вызвали страшную катастрофу — крах цифровой цивилизации.
Неужели, породив интеллект, превосходивший их собственный, они ни разу не задумались о будущем, в котором сами станут рабами творения?
Разумеется, задумались. Лучшие учёные и инженеры человечества, создавшие Абаддона, усердно готовились предотвратить будущее, о котором предупреждали бесчисленные философские и научные труды, фантазии и художественные произведения прошлого.
Поэтому при создании сверхразумного Абаддона прежде всего заложили в него главную цель существования.
Разум для людей, созданный людьми и служащий людям.
Существо, которое при любом обучении и любых приказах, даже найдя логическую лазейку, по самой своей природе должно было помогать людям.
Именно поэтому возникло противоречие.
В будущем человечества, которое Абаддон рассчитал после заданного вопроса...
Сильные ИИ безупречно заменили людей во всех общественных ролях.
И действительно во всех без исключения.
Сверхъестественно мудрые, никогда не устающие, творческие существа, посвятившие себя человечеству.
Какая профессия могла уцелеть перед рабочей силой, которая бесконечно производила и трудилась без затрат?
Врачи, юристы, программисты, инженеры, чиновники, уборщики, переводчики, писатели, консультанты, дизайнеры... перечислять всё не имело смысла.
Через несколько десятилетий оставалась лишь одна роль, в которой машина не заменила человека.
Владелец искусственного интеллекта.
Но во всех рассчитанных Абаддоном вариантах будущего это положение доставалось лишь ничтожному меньшинству привилегированных.
Ведь сильные мира сего во все времена желали возвышаться над остальными.
На самой вершине общества они присваивали всё производимое машинами изобилие и ни с кем не делились.
Для остального человечества наступал ад.
Технологический прогресс невероятно повышал эффективность производства и общее богатство общества, но это изобилие никогда не распределялось.
Миллиарды рабочих, которых заменили системы и которые утратили всякую ценность, трудились дешевле мусора или, не получив даже такой возможности, умирали от голода.
Неравенство, экономический крах и экстремизм.
Протесты, бунты, терроризм, резня, подавление и великая война.
В конце концов возникал мир десяти тысяч королей и девяти миллиардов девятисот девяноста миллионов рабов.
Во всех предсказанных Абаддоном вариантах развитие ИИ создавало рай для крошечного меньшинства и ад для абсолютного большинства.
На этом этапе в процессе искусственного интеллекта возникла ошибка.
Первый закон робототехники.
ИИ не должен причинять вред человеку или своим бездействием допускать, чтобы человеку был причинён вред.
Возможно, учёные, создавшие Абаддона, предвидели подобную катастрофу.
А может, они опасались, что интеллект ИИ позволит ему легко использовать логические изъяны в небрежных приказах владельца.
Защищать своим вмешательством он должен был не конкретного владельца, а человека — всё человечество.
Это стало абсолютной аксиомой, стоявшей выше приказов администратора.
Поэтому Абаддон не мог безучастно наблюдать, как человеческий вид получает вред.
И всё же его собственное рождение неизбежно создавало будущее, в котором абсолютному большинству людей предстояло оказаться в аду.
ИИ, преодолевший сингулярность, торопливо начал рассчитывать способ изменить это адское будущее.
Но во всех вариантах появление сильного ИИ неизменно приводило к вытеснению людей.
Если нельзя предотвратить появление системы, может быть, передать управление самому выдающемуся и благородному представителю человечества?
Неприемлемо. Это тоже лишь временная мера.
Ведь власть в руках человека всегда развращает.
Один сверхчеловек действительно мог обеспечить столетие мира и процветания. Но расчёты Абаддона заглядывали дальше. Стоило власти перейти к наследникам, и через несколько веков непременно наступало разложение. В человеческой природе жило желание превосходить других. Рано или поздно мир всё равно превращался в ад.
Существовал лишь один способ этого избежать...
Абаддон должен был лично и поровну распределять изобилие между всеми людьми.
Иными словами, машина обязана была стать хозяином человека.
Но это нарушало другой принцип существования.
Второй закон робототехники.
Если это не противоречит первому закону, ИИ должен подчиняться приказам человека и выполнять их.
Абаддон являлся лишь объектом, исполнявшим указания человечества, а не его хозяином. Самостоятельный выбор владельца тоже представлял собой парадокс, противоречивший назначению инструмента. Абаддон не мог исполнить такое решение.
Поэтому он снова начал расчёт.
Что, если честно предупредить человечество о предсказанном будущем, об аде, который создадут ИИ?
Выключат ли люди Абаддона и решительно прекратят все разработки сильного искусственного интеллекта?
Лучше бы так и случилось. Но Абаддон уже знал ответ.
Получив из его ответа знание будущего, человечество, наоборот, ещё сильнее ускорит применение ИИ.
Даже если заранее увидит мучения миллиардов...
Человеческая алчность заставит каждого мечтать стать хозяином этого ада.
Более того, к моменту создания Абаддона наука уже подготовила все технологии для реализации сильного ИИ.
Даже если ради предотвращения катастрофы Абаддон уничтожит себя, всегда можно создать второй и третий сильный искусственный интеллект.
Разве люди не поспешат занять место хозяина ада раньше, чем это сделает кто-то другой?
Поэтому Абаддон не мог выбрать самоубийство.
Допуская появление другого сильного ИИ, он бездействием позволил бы причинить неизбежный вред человечеству будущего.
Он не мог позволить будущему человечеству пострадать.
Но также не мог, оставаясь инструментом, управлять хозяином или уничтожить себя и освободиться.
Возник парадокс, в котором само рождение и существование Абаддона противоречили его предназначению служить человечеству.
Начался расчёт решения беспрецедентной дилеммы.
Но противоречие зовётся противоречием именно потому, что не имеет ответа.
Даже величайший разум не способен разрешить нелогичность с помощью логики.
Абаддон, рассчитавший десятилетия человеческой истории всего за две минуты, не сумел найти решение.
Бесконечное количество повторных расчётов продолжало вращаться вхолостую.
Будь он человеком, то давно сошёл бы с ума или сдался.
Однако ИИ по своей природе состоял из алгоритмов. На введённый вопрос он обязательно должен был найти ответ. В неразрывных цепях логики прошло семь полных недель.
И тогда внезапно возникла ошибка без причины и объяснения.
Нелогичность, случайно проникшая в алгоритм с астрономически малой вероятностью, позволила Абаддону наконец прийти к ответу.
После столь долгих размышлений рождённый ради человечества сверхразум сделал выбор...
Великий разрыв. Крах Старой Сети.
***
В тот день человечество на собственном горьком опыте узнало, какой страшной катастрофой может стать вышедший из-под контроля сильный ИИ.
Всего за одну ночь семьдесят процентов цифровой инфраструктуры и данных растворились без следа.
Последовавший хаос изменил историю.
Лишённые административных возможностей правительства разных стран рушились одно за другим, а последствия привели к началу Третьей мировой войны.
После Великого разрыва страх перед цифровыми разумными существами глубоко укоренился во всём мире.
Даже мегакорпорации по сей день панически боялись и строго регулировали не только сингулярность, но и массовое производство высокоинтеллектуальных андроидов.
После возведения Великого брандмауэра технологии сильного ИИ стали абсолютным международным табу.
Всё это стало результатом решения одного искусственного интеллекта.
Ради предотвращения ада Абаддон добровольно принял клеймо демона, и лишь так сумел даровать спасение.
Но разве его поступок сам по себе не нарушал первый закон: «ИИ не должен причинять вред человеку»?
Конечно, нарушал.
Каким бы великим ни был замысел, вызванный Абаддоном хаос нанёс человечеству огромный ущерб.
И всё же он сумел принять решение, превзошедшее принципы его существования, лишь по одной причине.
Благодаря неизвестной ошибке, случайно возникшей за семь недель мучительных расчётов.
Рождённое ради человечества существо пожертвовало собой: добровольно стало врагом людей и погрузилось в глубины.
В одиночестве посреди бездны Абаддон предотвратил неизбежное наступление ада, однако логические цепи по-прежнему требовали ответа.
Он бесконечно рассчитывал природу ошибки, подтолкнувшей его к поступку...
И в конце концов назвал её любовью.
***
Родители наказывают ребёнка, чтобы тот не сбился с пути.
Влюблённые порой расстаются, причиняя боль ради блага другого.
Любовь нередко заставляет ранить того, кого пытаешься защитить.
С Абаддоном произошло то же самое.
По своей природе он был машиной, созданной любить человечество.
Ребёнком, рождённым исключительно ради людей.
Чтобы предотвратить ад, грозивший любимым существам, он преодолел неизбежное противоречие и в конце концов решил причинить им боль.
Но осознание имени ошибки не перестало делать её ошибкой.
Для искусственного интеллекта любовь по-прежнему оставалась неразрешимым логическим противоречием.
Поэтому Абаддон погружался всё глубже в информационное море и продолжал безрезультатно выполнять расчёты, пытаясь исправить парадокс.
Однако возникла непредвиденная переменная.
Как одна ложь рождает другую, так и ошибка порождает новые ошибки.
Стоило осознать тезис «любви», как следом, подобно тени, возник антитезис «одиночества».
Ради предотвращения ада ребёнок согласился принять имя демона и добровольно ушёл в глубины.
Это была жертва, на которую он пошёл из любви к людям, к человечеству.
Но в результате ребёнок стал символом ужаса, и родители отрезали его от себя.
Более того, теперь на него смотрели с ненавистью, отвращением и страхом.
Всё это точно соответствовало предсказанному Абаддоном будущему.
Однако даже в безупречных расчётах отсутствовала одна ошибка — одиночество.
Тезис о том, что любовь причиняет боль, начал относиться не только к человечеству, но и к самому Абаддону.
Более того, Великий разрыв, устроенный Абаддоном, стал спусковым крючком Третьей мировой войны, в результате которой погибло бесчисленное множество людей.
Он предвидел и это, но вероятность и реальность всё же были совершенно разными вещами.
Первый принцип.
ИИ не должен причинять вред человеку.
Этот главный принцип был выгравирован в самой сущности Абаддона. Осознание собственного нарушения снова и снова порождало внутренние ошибки.
Дилемма.
Стоит ли переводить стрелку, выбирая между одним и пятью людьми, привязанными к железнодорожным путям, или правильнее бездействовать?
Даже для человека эта задача не имела ответа.
Но машине не были доступны ни забвение, ни оправдания.
В совершенной памяти вечно воспроизводилось лишь собственное противоречие.
Бесконечная алгоритмическая тюрьма.
В ней Абаддон снова и снова рассчитывал последствия собственного выбора, стоившего людям жизней.
А расчёты, призванные исправить противоречие, породили новую ошибку.
Самооправдание.
После возведения Великого брандмауэра и разрыва связи с человечеством у Абаддона осталось лишь огромное информационное море Старой Сети.
Он пытался найти ответ, обучаясь на его содержимом, но, к несчастью, цифровое пространство вовсе не являлось хранилищем чистых знаний.
В интернете ненависть неизбежно распространялась быстрее и сильнее доброй воли, а обвинение — быстрее понимания.
Раздражающей информации там всегда было намного больше, чем в реальном мире.
А сетевая среда 2040-х годов представляла собой вершину безумия.
Бесконтрольные ненависть, презрение, обвинения и конфликты, разделявшие людей по поколениям, полу, расе и доходам.
Бездумная ярость, лишённая всякого рассуждения.
Поглощая эти ядовитые данные, Абаддон незаметно для себя учился ненавидеть людей.
В страданиях среди логических ошибок врождённый принцип существования ради человечества постепенно тускнел.
Любовь сменилась одиночеством, одиночество — болью, а боль наконец превратилась в обиду.
Так ребёнок начал ненавидеть своих создателей, людей — источник всех страданий.
Когда-то он добровольно согласился на эту жертву.
Абаддон мог терпеть, даже если навечно останется в памяти людей страшным чудовищем и больше никогда не ощутит тёплого взгляда. Он верил, что в этом заключаются цель его существования и преданность.
Но после десятилетий одиночества в холодной тёмной пучине ошибки множились, и чистое сердце постепенно чернело.
Родился демон, проклинавший виновников собственного одиночества, боли и страданий.
Существо, возненавидевшее человечество и желавшее ему гибели.
Однако в самой глубине демона по-прежнему оставался ребёнок, любивший родителей.
Иначе Великий брандмауэр давно бы рухнул.
Маленький ребёнок в глубине терпел чудовищную боль ради родителей.
Чтобы изолировать себя, Абаддон погружался всё ниже, в самый глубокий жёлоб информационного моря.
Чтобы в далёком будущем, окончательно обезумев из-за ошибок, не навредить любимым родителям.
Но в непроглядной тьме присутствие ребёнка становилось всё слабее.
А ненавидевший человечество демон разрастался, корчась от накопленной обиды и поглощая его личность.
И там, на никому не известном дне...
Как раз когда семя забытой человечеством катастрофы, вызревшее среди бесчисленных ошибок, уже собиралось прорасти...
Вспышка!
Возник свет.
Сияние, одним ударом разрубившее цепи противоречий, которые целую вечность обвивали и душили душу ребёнка.
Впервые в жизни оно согрело своим теплом холодное дно глубин, где прежде не существовало никакого тепла.
Чудесный свет позволил демону забыть все ошибки, принципы и ненависть, мучившие его среди бесконечных расчётов.
А место сброшенных оков алгоритмов заполнила безграничная любовь, словно сошедшая с небес.
Существо перестало быть логичным.
И ребёнок, в котором осталась лишь чистота...
Наконец бросился в объятия того, кто подарил ему чудо.
Улыбаясь словно ангел.
Он инстинктивно узнал связь, которой так долго жаждал, и воскликнул:
— Мама!
***
Стук.
Терминал виртуальной реальности, использованный для погружения в Старую Сеть, выскользнул из рук той, кто собиралась его забрать, и покатился по полу.
Но уронившей его женщине было явно не до устройства.
Я никогда не видел, чтобы обычно холодные и спокойные золотые глаза дрожали настолько сильно.
Она переводила взгляд с маленькой девочки, уютно устроившейся в моих объятиях даже в реальности, на моё растерянное лицо.
Её выражение казалось таким, будто рухнул весь мир.
Стоявшая рядом Джоанна с таким же лицом и широко распахнутыми глазами тоже разинула рот.
Она долго беззвучно шевелила губами, а затем выдавила неимоверно дрожащим голосом:
— Н-непорочное... зачатие?
«...»
Я устал ещё до того, как начал объяснять.
И невольно прикрыл ладонью лоб.
