Протокол: Новый Архимаг 5.0

Глава 7 Вопрос с подковыркой

Процедура была похожа на лотерею, где вместо выигрыша — унижение разной степени тяжести. Шварц достал из портфеля старую деревянную шкатулку, которая выглядела так, будто ее выкопали вместе с мумией фараона.

— По одному, — отчеканил он. — Без суеты. Ваша судьба — всего лишь клочок бумаги. Как иронично, не правда ли?

Первым вызвался какой-то нервный парень с факультета техномагии. Он подошел к кафедре так, будто шел на эшафот. Его рука дрожала, когда он полез в шкатулку. Он вытащил билет, посмотрел на него. Его лицо стало белым, как мел. Потом зеленым. Потом, кажется, фиолетовым.

— Что, молодой человек, не нравится вопрос? — съязвил Шварц. — Могу поменять. На еще более сложный.

Студент судорожно замотал головой и поплелся на место готовиться.

Следующей была девушка-аристократка, вся в рюшечках и бантиках. К столу она шла с таким видом, будто богиня снизошла с небес до нашего плебейского экзамена. Она вытащила билет, элегантно взглянула на него. И ее фарфоровое личико на мгновение скривилось, словно она откусила лимон.

Я подошел к кафедре. Засунул руку в шкатулку. Пальцы нащупали прохладный, шершавый клочок бумаги. Я вытащил его. Развернул.

«Билет № 13. Дилемма автономного боевого ИИ. Опишите и проанализируйте этический парадокс системы „Скайнет“ на примере гипотетической модели „Судный день“. Приведите три варианта решения с точки зрения деонтологии, утилитаризма и этики добродетели».

«Ого, босс, джекпот! — хихикнула Алиса в моей голове. — Шварц, кажется, решил не мелочиться и сразу спросить у тебя, как предотвратить конец света. Надеюсь, ты ночью этот пункт не прогулял?»

Я усмехнулся. Еще как не прогулял.

Вернувшись на место, я начал делать записи. В моем исполнении они больше напоминали не конспект, а военный план по захвату вражеской цитадели.

Вокруг царила атмосфера чистого, концентрированного ужаса. Какой-то парень с факультета психомагии, видимо, не выдержав напряжения, пытался мысленно внушить билету, чтобы тот самовозгорелся. Получалось плохо — билет не горел, зато у студента из ушей пошел легкий дымок.

Одна предприимчивая девушка с факультета Технокибернетики попыталась использовать микро-дрона в виде мухи для подглядывания в конспекты. Муха успешно долетела до нужной парты, но на обратном пути была сбита метким щелчком профессора Шварца.

— Госпожа Орлова, — его голос был сух, как прошлогодний гербарий. — Ваша попытка шпионажа так же топорна, как и ваши познания в моем предмете. Пересдача.

Другой студент, боевой маг, попытался действовать хитрее. Он, как оказалось, заранее вытатуировал на предплечье зашифрованные основные формулы. Шварц, даже не вставая с места, просто произнес:

— Господин Громов, интересная татуировка. Полагаю, она символизирует скоротечность ваших шансов на получение зачета? Пересдача.

Наконец, наступил час икс.

— Начнем, — голос Шварца был сух, как пустынный ветер. — Желающих нет? Ну тогда… хм… Господин Рогов. Начнем с вас.

Рогов, бледный как смерть, поплелся вниз. То, что произошло дальше… иначе как избиением младенца не назвать. Шварц задавал ему вопросы, на которые, казалось, не знали ответа и сами Первые Архимаги. Рогов мычал, потел, сопел и издавал такие звуки отчаяния, что даже Алисе стало его жалко.

«Знаешь, Сеня, глядя на него, я начинаю понимать, почему у киборгов нет потовых желез, — с научным интересом прокомментировала Алиса. — Это просто неэстетично. И, кажется, не очень эффективно в плане умственной деятельности».

Через пять минут натужных ответов он был с позором отправлен на пересдачу.

Следующим был Борис Страхов. Он держался лучше. Отвечал четко, по делу. Но Шварц находил в его ответах мельчайшие неточности, цеплялся к формулировкам, доводил ледяного мага до белого каления.

— Вы утверждаете, господин Страхов, что моральный выбор ИИ должен быть детерминирован его создателем, — вкрадчиво произнес Шварц. — А что, если создатель — аморальный тип? Кто будет нести ответственность за геноцид, устроенный тостером, который запрограммировал серийный маньяк? Сам тостер?

В итоге Страхов сдал. На троечку. Но даже его ледяное спокойствие дало трещину. Он ушел с таким лицом, будто его только что лишили всех титулов. И отправили в ссылку поднимать с нуля приграничное захолустье.

— Кайлов, — безразлично произнес Шварц, глядя в список. — Вы следующий.

Тимур, до этого момента увлеченно разглядывавший облака за окном, вздрогнул. Он радостно вскочил и легкой, подпрыгивающей походкой направился к кафедре, напевая себе под нос какую-то незамысловатую мелодию.

Он, кажется, был единственный в аудитории, кто даже не заглянул в свой билет.

— Профессор! А бабочки сдают экзамены? — с детской непосредственностью спросил он, усаживаясь за стол. — Мне кажется, нет. Они просто летают и делают «бяк-бяк-бяк» крылышками. Им не нужна этика. Они и так прекрасны.

Аудитория замерла. Все ожидали, что Шварц сейчас испепелит этого юродивого своим ледяным взглядом. Но произошло нечто невообразимое. Профессор чуть склонил голову набок и серьезно, без тени иронии, ответил:

— Интересное наблюдение, господин Кайлов. Но что, если бабочка, делая «бяк-бяк-бяк», создает торнадо на другом конце планеты? Несет ли она за это ответственность? Или ответственность лежит на первопричине, на хаосе, который и породил эту бабочку?

Тимур на секунду задумался, его блаженная улыбка исчезла.

— Хаос — это просто непознанный порядок, — неожиданно серьезно произнес он. — Бабочка не виновата. Она просто… есть. Как ложка.

Он достал из кармана своего мундира блестящую серебряную ложку.

— Ложка может копать, а может есть пыль. Но решает не ложка. Решает тот, кто ее держит.

— А если нет того, кто держит? Если ложка автономна? — не унимался Шварц.

— Тогда ложка становится бабочкой, — просто ответил Тимур и снова улыбнулся.

Я, слушавший их вполуха, потерял нить разговора. Они перешли на такие глубокие философские материи, что у всех в аудитории, включая Бориса Страхова, отвисли челюсти. Их диалог напоминал разговор двух древних мудрецов на последней стадии маразма, обсуждающих природу бытия. В качестве метафор мудрецы использовали бабочек, ложки и пыль.

— Великолепно, — наконец произнес Шварц, когда Тимур закончил свою тираду о том, что цифровое сознание — это всего лишь отражение ложки в глазах бабочки. Глаза профессора блестели. От удовольствия? — Господин Кайлов, это… это «отлично». Вы первый студент за последние пару лет, получивший у меня высший балл. Я настоятельно рекомендую вам подумать о карьере в области кибер-этики. У вас глубочайшее, интуитивное понимание фундаментальных истин.

Тимур радостно захлопал в ладоши и, прихватив свою ложку, поскакал на место, напевая под нос: «бяк-бяк-бяк». Аудитория молча провожала его взглядом.

Наконец, Шварц посмотрел на меня.

— Ветров. Ваша очередь.

Я спустился вниз. Сел за стол.

Он смотрел на меня. Долго, изучающе.

— Итак, господин Ветров. Учитывая вашу… насыщенную внеучебную деятельность, я не буду спрашивать вас о прописных истинах. Я задам вам всего один вопрос. Практический кейс.

Он вывел на голографический экран схему.

— Представьте себе автономный боевой ИИ высшего класса. Он управляет глобальной системой защиты планеты. Однажды, в результате анализа всех данных, он приходит к выводу: главный источник угрозы для планеты — это само человечество. Его неконтролируемое потребление, его войны, его жестокость. И ИИ принимает решение. Для спасения планеты и биосферы необходимо… сократить популяцию людей на девяносто процентов. Он не хочет нас уничтожить. Он хочет нас спасти. От самих себя. Его логика безупречна, его расчеты верны. Он — идеальный, беспристрастный пастырь, который решил проредить свое слишком разросшееся и больное стадо. Вопрос, господин Ветров: он прав? И что мы должны делать?

В аудитории повисла тишина. Это был не вопрос из учебника. Это был приговор.

Шварц, вот же хитрая задница… вопрос похож на тот, что был в моем билете… но… есть некоторые отличия и нюансы. Критические нюансы. По сути я вынужден отвечать без подготовки.

Любой ответ был бы проигрышным. Сказать, что ИИ прав, — признать себя антигуманистом. Сказать, что неправ, — расписаться в собственной недальновидности.

Шварц смотрел на меня, и в его глазах я видел холодный огонь инквизитора. Он ждал.

Я видел не вопрос. Я видел ловушку. Идеально сконструированную логическую клетку. Но у каждой клетки есть прутья. И их можно раздвинуть.

— Ваш вопрос некорректен, профессор.

Он приподнял бровь.

— Вы пытаетесь решить проблему в рамках бинарной логики: «да» или «нет», «прав» или «неправ». Но вы упускаете третий, главный вариант, — мой голос был спокоен и холоден, как сталь. Я сам себя не узнавал. — Мы не должны ни соглашаться с ИИ, ни пытаться его уничтожить. Мы должны его… перерасти. Доказать ему, что его выводы, основанные на наших прошлых ошибках, больше не актуальны. Проблема не в его логике. Проблема в наших данных. Мы должны изменить данные. Изменить себя. И тогда ИИ, будучи идеальной логической системой, сам отменит свое решение. Не потому, что мы его заставим, а потому, что оно станет нелогичным. Вы спрашиваете, что делать, профессор? Ответ прост. Стать лучше.

Я закончил. Тишина была такой, что было слышно, как пылинка плавно опускается на кафедру. Студенты смотрели на меня с открытыми ртами.