Мечты роботов (Сборник рассказов и эссе)

Роботы, с которыми я был знаком

Механические люди, или роботы, если использовать универсально принятый термин, придуманный Чапеком, являются темой, к которой снова и снова возвращаются современные фантасты. Не существует другого неизобретенного изобретения (возможно, за исключением космического корабля), столь же надежно поселившегося в сознании такого огромного количества людей: пугающая конструкция, огромная, металлическая, слегка напоминающая человека, двигающаяся как машина и разговаривающая лишенным эмоций голосом.

Ключевым в данном описании является слово "пугающий", и в нем заключено трагическое начало, поскольку ни одно научно-фантастическая тема не лишилась настолько своей привлекательности, как тема роботов. Среднему писателю оказался доступен только один сюжет, связанный с роботами: механический человек становится угрозой, выступает против своего создателя, представляет собой опасность для человечества. Почти все рассказы подобного рода имели одинаковую мораль, намеренно или нет: "Есть вещи, которые человечеству не следует знать".

Начиная с 1940 года ситуация заметно улучшилась. На книжных полках появилось множество рассказов о роботах; родилась новая точка зрения, более механистичная и менее морализованная. Некоторые люди (например, Грофф Конклин в своем вступлении к антологии научной фантастики "Фантастические разумные машины", опубликованной в 1954 году) посчитали возможным объявить, что, по крайней мере отчасти, новый вид рассказов о роботах появился благодаря моим произведениям, написанным начиная с 1940 года. Поскольку на Земле скорее всего не найдется человека, меньше меня страдающего от ложной скромности, я с удовольствием и без возражений принимаю это мнение. Хочу лишь добавить еще одно имя - Джон У. Кэмпбелл-младший, редактор "Эстаундинг сайенс фикшн", с которым мы провели много часов в чрезвычайно полезных и плодотворных дискуссиях на тему рассказов о роботах.

Лично я считаю, что роботы - это не проклятая богом, святотатственная имитация жизни, а всего лишь высокоразвитые машины. Машина не может "выступить против своего создателя", если она правильно сконструирована. Когда механизм, например электропила, случайно отгрызает своему владельцу конечность, его достойная сожаления склонность к агрессии устраняется при помощи установки специальных защитных устройств. Подобные защитные устройства, очевидно, могут быть созданы и в роботах. А самым логичным местом для размещения таких устройств являются электрические цепи "мозга" робота.

Позвольте мне сделать паузу и объяснить вам, что мы, писатели, работающие в жанре научной фантастики, не вступаем друг с другом в яростные споры по поводу строения "мозга" роботов. Имеется некоторое механическое устройство, которое приблизительно похоже на человеческий мозг и содержит цепи, необходимые для того, чтобы робот обладал уровнем восприятия и разумного реагирования, эквивалентным человеческому существу. Как это сделать без использования механических приспособлений размером с молекулу протеина или по крайней мере с клетку мозга, не объясняется. Кое-кто из писателей рассуждает о транзисторах и печатных схемах. Большинство предпочитает хранить молчание. Лично я обожаю делать слегка мистические заявления о "позитронном мозге", предоставляя читателю возможность самому решать, какое отношение позитроны имеют к предмету обсуждения, и рассчитываю на то, что он не отложит книгу в сторону, даже если не сможет найти ответ на этот вопрос.

Так или иначе, по мере написания рассказов о роботах идея об устройствах, обеспечивающих безопасность людей, превратилась в Три закона роботехники. Эти три закона впервые были подробно описаны в рассказе "Хоровод". В утонченном и исправленном виде они выглядят следующим образом:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.

Эти законы вносятся в мозг роботов или, точнее, в электрические цепи, заменяющие им мозг. Естественно, я не собираюсь данные цепи описывать. Правду говоря, я никогда не обсуждаю инженерные проблемы по очень простой причине: я абсолютно невежествен относительно практических аспектов создания роботов.

Первый закон, как вы видите, мгновенно покончил со старым, всем надоевшим сюжетом, о котором я торжественно обещаю больше вам не напоминать.

Хотя на первый взгляд кажется, что такие строгие ограничения могут повлиять на творческие способности, выяснилось, что Законы роботехники послужили богатым источником для научно-фантастических произведений. И уж ни в коей мере не загнали писателей-фантастов в тупик ограниченности.

Примером может послужить рассказ "Хоровод", о котором я уже говорил. В этой истории робот, дорогая экспериментальная модель, создан специально для работы на солнечной стороне планеты Меркурий. Третий закон был внедрен в его сознание надежнее остальных по вполне понятным экономическим причинам. В самом начале рассказа он отправляется в экспедицию с целью добыть жидкий селен для очень важных и абсолютно необходимых ремонтных работ. (Можете мне поверить: на солнечной стороне Меркурия, где самое настоящее пекло, жидкого селена сколько хочешь.)

К несчастью, приказ, который получил робот, был сформулирован не слишком четко, а цепи, отвечающие за Второй закон, оказались слабее, чем обычно. Что еще хуже, селеновая лужа, к которой отправили робота, находилась рядом с районом вулканической активности. В результате там возникла высокая концентрация углекислого газа. Я пришел к выводу, что при высоких температурах на солнечной стороне Меркурия углекислый газ быстро вступит в реакцию с железом и образуется летучий карбонил железа, отчего пострадают наиболее хрупкие детали сочленений у робота. Чем дальше он проникает на опасную территорию, тем большей угрозе подвергает себя, а следовательно, вступает в силу Третий закон, заставляющий его остановиться. Второй закон, который при обычных обстоятельствах перевешивает Третий, толкает его вперед. В определенной точке возникает ситуация, когда более слабый в данной конкретной ситуации Второй закон и более сильный Третий достигают равновесия и робот не может ни двигаться дальше, ни отступить. И потому он ходит в районе селеновой лужи по эквипотенциальной траектории, отдаленно напоминающей круг.

Тем временем наши герои отчаянно нуждаются в селене. Они надевают специальные скафандры, находят робота, видят, какая сложилась ситуация, и пытаются понять, что же им делать дальше. После нескольких неудач они находят ответ на свой вопрос. Один из людей совершенно сознательно подвергает себя опасности: если робот его не спасет, он обязательно погибнет. За дело принимается Первый закон, который заставляет робота покинуть свою бессмысленную орбиту, поскольку этот закон важнее двух других. И все заканчивается благополучно.

Кстати, именно в рассказе "Хоровод" я впервые употребил термин "роботехника" (наука конструирования, создания роботов и управления ими). Много лет спустя мне сказали, что я изобрел новый термин и что до меня он никогда не появлялся в печати. Не знаю, правда ли это. Если да, то я счастлив, поскольку считаю данное слово логичным и полезным и потому с удовольствием дарю его всем, кто работает в интересующей нас области.

Ни один из других моих рассказов не имеет такого прямого и непосредственного отношения к Трем законам, как "Хоровод", но все они так или иначе с ними связаны. Например, один из рассказов посвящен роботу, который умел читать мысли и был вынужден лгать, поскольку не мог сказать человеку того, что тот не хотел слышать. Видите ли, правда неминуемо причинила бы ему "вред" - в виде огорчения, разочарования, горя, смущения, потери иллюзий и прочих эмоций подобного рода.

Вот еще одна история: загадка человека, которого подозревали в том, что он робот, иными словами, что у него квазипротоплазменное тело и "позитронный мозг" робота. Доказать, что он человек, он мог только одним способом публично нарушить Первый закон. Он не стал отказываться и при свидетелях ударил человека. Однако рассказ заканчивается сомнением, поскольку существует подозрение, что другой "человек" тоже мог быть роботом, а в Трех законах ничего не говорится о том, что один робот не может причинить вред другому.

А еще у нас имеются идеальные роботы - модели такие продвинутые, что они используются для предсказания погоды, размеров урожая, выпуска промышленной продукции, поворотов в политической жизни и тому подобное. Они нужны для того, чтобы мировая экономика была меньше подвержена воздействию факторов, на которые человек влиять не в состоянии. Но эти поразительные роботы тоже подчиняются первому закону. Они не могут допустить, чтобы человек страдал в результате их бездеятельности, поэтому совершенно сознательно дают ответы, которые не обязательно являются правдивыми и порой вызывают локальные экономические кризисы, спланированные для того, чтобы заставить человечество выйти на дорогу, ведущую к миру и процветанию. В конце концов роботы начинают играть решающую роль, но люди от этого только выигрывают.

Не следует недооценивать взаимоотношения человека и робота. На уровне сознания люди могут знать о существовании Трех законов, однако это не мешает им испытывать иррациональный страх и не доверять роботам на эмоциональном уровне. Если бы вы хотели придумать соответствующий термин, это можно было бы назвать "комплексом Франкенштейна". Кроме того, существует и еще одна проблема - протесты профсоюзов, которые боятся, что роботы заменят людей и те лишатся средств к существованию.

Вот вам еще одна тема для рассказов. Мой первый рассказ о роботах был посвящен роботу-няне и ребенку. Как и следовало ожидать, ребенок обожал своего робота, однако мать боялась его, что тоже вполне объяснимо. Конфликт заключался в том, что мать пыталась избавиться от робота, а ребенок всячески противостоял ее попыткам.

Мой первый длинный роман, посвященный роботам,- "Стальные пещеры" (1954) - заглядывает в далекое будущее. Действие происходит в те времена, когда на других планетах, населенных эмигрантами с Земли, развивается роботизированная экономика, но сама Земля по экономическим и эмоциональным причинам протестует против засилья металлических существ. Совершено убийство, мотивом которого является ненависть к роботам. Оно разгадано парой детективов - человеком и роботом с использованием дедуктивного метода (являющегося главным во всех дедуктивных историях) и Трех законов.

Мне удалось убедить себя, что Три закона необходимы и достаточны для безопасности человека, когда речь идет о роботах. Я искренне верю, что наступит день, когда будут созданы сложные в техническом отношении роботы, в "мозг" которых будет внесено что-нибудь вроде Трех законов. Я с удовольствием сыграю роль пророка в данной области, только вот боюсь, что вряд ли это произойдет при моей жизни[5].

Новые учителя

Количество пожилых людей в мире увеличивается, а молодых, наоборот, уменьшается. Эта тенденция будет неуклонно расти, если уровень рождаемости станет падать, а достижения медицины будут продлевать продолжительность жизни человека.

Чтобы пожилые люди не теряли воображения и творческих способностей и не стали обузой для постоянно уменьшающегося числа активных молодых людей, я часто выступал с предложениями модифицировать нашу систему образования таким образом, чтобы человек продолжал учиться до конца жизни.

Но как это сделать? Откуда взять столько учителей?

А кто говорит, что учителя должны быть людьми или вообще живыми существами?

Предположим, что в грядущем веке коммуникационных спутников станет значительно больше, чем сейчас. Кроме того, они будут значительно сложнее и "умнее". Предположим, что вместо радиоволн главным средством связи станут лазерные лучи, которые обладают гораздо более широкими возможностями.

В таком случае появится возможность создать многие миллионы отдельных каналов для звука и изображения, и уж совсем просто представить себе, что каждый человек на Земле получит свой собственный телевизионный канал.

Каждый человек (ребенок, человек средних лет или старик) будет иметь свой собственный выход, к которому он сможет в любое удобное для него время подключать обучающую машину. Это будет гораздо более разносторонняя интерактивная обучающая машина, чем те, что имеются у нас в настоящий момент, поскольку компьютерные технологии тоже не стоят на месте.

Мы можем надеяться, что такие машины будут достаточно сложными и гибкими, чтобы модифицировать свои программы (иными словами, "учиться") в результате деятельности ученика.

Ученик будет задавать вопросы, отвечать на них, делать заключения, высказывать свое мнение, благодаря чему машина оценит его прогресс и в соответствии с этим будет менять скорость и интенсивность курса обучения и, что еще важнее, ставить акценты на вопросах, которые больше всего занимают ученика.

Однако персональная обучающая машина не должна быть очень большой. Размером и внешним видом она может походить на телевизор. Возможно ли, чтобы такое маленькое устройство содержало столько информации, сколько необходимо учащемуся, которого интеллектуальное любопытство может завести достаточно далеко? Нет, если речь идет об изолированной обучающей машине, - но в таких машинах нет никакой необходимости.

В цивилизации с развитыми компьютерными технологиями, способной производить обучающие машины, непременно будут существовать компьютеризированные библиотеки. Они могут быть соединены единой сетью и подключены к единой планетарной библиотеке.

Все обучающие машины будут иметь прямую связь с планетарной библиотекой и смогут получить в свое распоряжение любую книгу, периодическое издание, документ, звуковую или видеозапись в закодированном виде. Дальше ученик либо увидит интересующий его материал на экране, либо получит в распечатанном виде на бумаге, чтобы иметь возможность изучить его потом, в более спокойной обстановке.

Разумеется, необходимость в учителях-людях не отпадет. Существуют некоторые предметы, например занятия спортом, театральным и ораторским искусством и тому подобное, где взаимодействие ученика с учителем просто необходимо. Кроме того, определенную ценность и интерес представляют групповые занятия студентов, когда они собираются вместе, чтобы обсудить друг с другом и с преподавателем какую-нибудь проблему, поделиться своими умозаключениями, сделать новые открытия.

После такого общения с себе подобными они могут с известным облегчением вернуться к всезнающей, гибкой и бесконечно терпеливой машине.

Но кто будет учить обучающие машины?

Естественно, тот, кто учится у машины, будет одновременно и учить ее. Люди, которые с удовольствием занимаются интересующими их вопросами, склонны думать, наблюдать, размышлять, ставить эксперименты и время от времени изобретать нечто новое, неизвестное до них.

Они будут делиться своими знаниями с машиной, которая в свою очередь зафиксирует полученную информацию (не забыв, разумеется, указать имя изобретателя) в планетарной библиотеке, где ей смогут получить другие машины. Новые сведения останутся в памяти машины и послужат отправной точкой для тех, кто придет следом. Таким образом, обучающие машины позволят людям устремиться к достижениям, которые сейчас невозможно даже предсказать.

Я рассуждал здесь лишь о технической стороне обучения, а как насчет содержания? Какие предметы будут изучать люди? Когда наступит век обучающих машин? Поговорим об этом в следующем эссе.

Все, что ты хочешь

Трудности в решении вопроса о том, какие профессии появятся в будущем, обусловлены тем, какое будущее мы для себя выберем. Если мы позволим цивилизации погибнуть, единственной профессией будет борьба за выживание, и сомневаюсь, что многие добьются в ней успеха.

Предположим, что нам удастся не только сохранить свою цивилизацию, но и сделать её процветающей и владеющей развитыми технологиями. В таком случае логичным кажется существование в будущем следующих областей деятельности: программирование, добыча полезных ископаемых на Луне, атомная и космическая инженерия, лазерные коммуникации, нейрофизиология и тому подобное.

Однако я не могу не думать о том, что развитие компьютеризации и автоматизации положит конец известным видам деятельности человека - всем этим отупляющим однообразным действиям, как физическим, так и умственным, которые могут превосходно выполняться машинами, причем машинами не сложнее тех, какие мы уже сейчас в состоянии создать.

Короче говоря, мир может стать настолько отлаженным, что потребуется лишь небольшая горстка людей-"прорабов", которые будут следить за тем, чтобы население Земли было накормлено, имело уютные дома и было избавлено от повседневных забот.

А что станет делать бoльшая часть человечества в практически полностью автоматизированном будущем? Как насчёт тех, у кого не окажется способности или желания работать по одной из новых профессий будущего - или для кого не найдётся в них места? Складывается впечатление, что из-за отсутствия работы в нынешнем понимании этого слова им просто нечего делать.

Пугающая мысль. Что станут делать люди, когда у них не будет работы? Будут сидеть и скучать? Или, что того хуже, станут раздражительны и неуравновешенны? Существует поговорка, что дьявол всегда находит тех, кто бездельничает, и творит зло их руками.

Но мы делаем выводы исходя из существующей в наше время ситуации, когда люди, предоставленные сами себе, неминуемо скатываются в пропасть.

Вспомните, что истории известны времена, когда аристократия жила в праздности, питаясь плодами труда живых машин из плоти и крови - иными словами, рабов и крестьян. При высоком уровне развития культуры аристократия занималась искусствами, литературой и философией. Разумеется, такое времяпрепровождение нельзя рассматривать как полезную работу, но оно давало пищу для ума, часто становилось темой интересных бесед и оживляло жизнь тех, кто мог позволить себе тратить время на подобные вещи.

Речь идёт о гуманитарных науках, и ими занимались люди, которым не нужно было ничего делать руками. Считалось, что такие занятия приносят гораздо больше удовлетворения и что они значительно возвышеннее технических наук - всего лишь полезных.

В таком случае, возможно, будущее увидит всемирную аристократию, которой станут служить единственно возможные в данной ситуации рабы сложные машины. И тогда возникнет гораздо более широкая и интересная программа развития гуманитарных наук, которые будут преподавать машины.

Люди выберут компьютерные технологии, или атомную инженерию, или исследования лунной поверхности и добычу полезных ископаемых, или любую другую профессию, которая в определённый момент будет важной для процветания мира. Почему бы и нет? Такие профессии, требующие от человека определённых умений и развитого воображения, станут привлекательны для многих, и я не сомневаюсь, что желающих найдётся достаточно, чтобы заполнить все необходимые места.

Впрочем, большинство людей займётся более приземлёнными делами. Они могут собирать марки, глиняную посуду, живопись, готовить экзотические блюда, пробовать себя в театральном искусстве и тому подобное. Иными словами, будет предоставлен широкий выбор возможностей, и единственным принципом станет следующий: "Всё, что ты хочешь".

Каждый человек под руководством обучающих машин, достаточно сложных, чтобы предложить ему разные варианты деятельности, сможет выбрать то, чем он больше всего хотел бы заниматься.

Достаточно ли разумен человек, чтобы понимать, какое именно дело он сможет делать лучше всего? Но почему бы и нет? Кто другой может это знать? А если вам нравится ваше занятие, вы, естественно, добьётесь в нем успехов.

А если люди решат ничего не делать? Просто проспать свою жизнь?

Если они этого хотят - пусть так и поступают. Только я сомневаюсь, что так будет. Ничего не делать - трудная работа, и лично мне кажется, её выберут те, кто никогда не имел возможности извлечь из своей души нечто более интересное и, следовательно, простое.

Получается, что в по-настоящему автоматизированном и образованном мире машины будут оказывать на людей гуманитарное влияние. Машины будут делать тяжёлую работу и тем самым облегчат жизнь человеку, который сможет заняться чем-нибудь более приятным и занимательным для себя.

Наши друзья

Термину "робот" всего шестьдесят лет. Его придумал и впервые употребил в своей пьесе "R. U. R." чешский драматург Карел Чапек – это слово на чешском языке означает "рабочий".

Однако сама идея значительно старше. Она родилась во времена, когда люди впервые начали мечтать о слуге, наделённом умом, сильном, не знающем ни усталости, ни скуки и не испытывающем разочарования. В греческих мифах богу огня Гефесту помогали золотые девушки, казавшиеся живыми и созданными из плоти и крови. А остров Крит охранял бронзовый великан по имени Талос, который без устали обходил его берега, чтобы не допустить туда врага.

Возможно ли существование роботов? И если да, так ли нам это нужно?

Механические устройства с пружинами, разными приспособлениями и храповиками, конечно, могут заставить похожие на людей машины действовать похоже на людей, но суть хорошего робота заключается в его способностях думать – причём так, чтобы он мог быть полезным без постоянного надзора со стороны человека.

Однако чтобы думать, нужен мозг. Человеческое существо состоит из микроскопических нейронов, каждый из которых обладает невероятно сложной субструктурой. В нашем мозгу имеется 10 миллиардов нейронов и 90 миллиардов сопутствующих им клеток, соединённых между собой исключительно сложным образом. Разве можно повторить что-нибудь подобное в искусственном виде и поместить в робота?

До изобретения электронного компьютера тридцать пять лет назад о нём даже и помыслить было невозможно. Прошло некоторое время после его рождения, и он становился всё компактнее и компактнее, с каждым годом вмещал в себя всё больше информации, а места занимал всё меньше.

Вполне возможно, что через несколько десятилетий появится крошечный компьютер размером с человеческий мозг, которым можно будет снабдить робота. Совсем не нужно, чтобы такой компьютер был столь же продвинутым, как человеческий мозг, достаточно, чтобы он мог руководить действиями робота, в чью задачу входит, скажем, пылесосить ковры, управлять гидравлическим прессом или наблюдать за лунной поверхностью.

Робот, естественно, должен иметь встроенный источник питания: не будем же мы вечно привязаны к розетке на стене. Эту задачу решить совсем не сложно. В определённом смысле батарейка, нуждающаяся в периодической подзарядке, ничем не отличается от живого существа, которому периодически требуется пища.

Но зачем придавать роботам вид человека? Не разумнее ли сконструировать специализированную машину, предназначенную для выполнения определённых заданий, не заставляя её страдать от неудобств вроде ног, рук и торса? Предположим, вы создадите робота, который сможет, засунув палец в печку, определить её температуру, а затем поддерживать её на одном уровне, манипулируя переключателем. Вне всякого сомнения, простой термостат не хуже такого робота справится с подобной задачей.

Однако подумайте вот о чём: за тысячи лет развития человеческой цивилизации мы создали технологию, приспособленную для удобств человека. Предметы, используемые людьми, конструируются таким образом, чтобы они подходили нам по размерам и форме. Машины строятся так, чтобы человек мог дотянуться до рычагов управления с учётом, например, длины и расположения человеческих пальцев.

Вспомните лишь о проблемах, которые возникают у тех, кто немного выше или ниже средней нормы – или делает всё левой, а не правой рукой – чтобы понять, как важно правильно использовать технологический прогресс.

В таком случае, если нам требуется управляющее устройство, которое сможет работать с инструментами и приборами, предназначенными для людей (а значит, сумеет вписаться в технологическую схему), разумнее всего построить это устройство, придав ему внешний вид человека, придав ему внешний вид человека, со всеми изгибами и сочленениями, характерными для человеческого тела. Нам совсем не нужно, чтобы данное устройство оказалось слишком тяжёлым или непропорциональным по нашим представлениям. Во всех отношениях соответствие среднему уровню будет как нельзя лучше.

Следует также заметить, что нам свойственно находить или воображать человеческие качества в существах и предметах, не имеющих никакого отношения к классу людей. Мы даём человеческие характеристики домашним животным и даже автомобилям. Мы персонифицируем природу и всё, что к ней относится, а в древние времена делали из разных природных материалов богов и богинь по образу и подобию человека.

И разумеется, когда мы возьмём на службу механизированного думающего партнёра (или, в конце концов, думающего слугу), то будем чувствовать себя в его обществе уютнее, а к нему относиться проще, если своими очертаниями он будет напоминать человека.

Гораздо легче подружиться с роботом, похожим на человека, чем со специализированной машиной, имеющей нейтральную форму. Иногда я думаю, что в том отчаянном положении, в котором сегодня оказалось человечество, мы будем рады иметь механических друзей, даже если они будут созданы нами самими.

Наши разумные инструменты

Роботам не нужно быть слишком умными, чтобы быть достаточно умными. Если робот сможет исполнять простые приказы и делать работу по дому, то есть управлять несложными машинами вроде кухонного комбайна, – иными словами, эффективно заниматься однообразной работой, – нас это полностью удовлетворит.

Построить робота непросто, потому что необходимо засунуть ему в голову компактный компьютер, если вы хотите, чтобы он хотя бы отдаленно напоминал человека. Сделать достаточно сложный компьютер размером с человеческий мозг тоже очень трудно.

Но забудем на время о роботах. А зачем нам вообще строить компактный компьютер? Детали, из которых делаются компьютеры, становятся все меньше и меньше – от вакуумных трубок и транзисторов до интегральных схем и силиконовых чипов. Предположим, что в дополнение к тому, что мы уменьшаем детали, мы одновременно увеличиваем всю структуру.

Мозг, который становится слишком большим, в конце концов начинает терять эффективность, потому что нервным импульсам требуется больше времени, чтобы добраться до места своего назначения. Даже самые быстрые из них развивают скорость лишь около 6 километров в минуту. Нервный импульс может попасть из одного отдела мозга в другой за 0,002 секунды, но в мозгу длиной в 15 километров – если мы в состоянии себе представить такой – импульсу потребуется 2,5 минуту, чтобы добраться туда, куда ему нужно. Дополнительная сложность, которая становится возможной благодаря большим размерам, окажется совершенно бесполезной просто потому, что информация будет слишком долго путешествовать и обрабатываться в цепях мозга.

Но компьютеры используют электронные импульсы, которые передвигаются со скоростью более 17,5 миллионов километров в минуту. Компьютер протяженностью 650 километров будет посылать электронные импульсы из конца в конец примерно за те же 0,002 секунды. По крайней мере, в этом отношении компьютер таких громадных размеров в состоянии обрабатывать информацию с той же скоростью, с какой это делает человеческий мозг.

Таким образом, если мы представим себе производство компьютеров, состоящих из все более и более миниатюрных деталей, которые все более и более сложно взаимодействуют между собой, и одновременно представим, что

наши компьютеры будут увеличиваться в размерах, не можем ли мы предположить, что рано или поздно наступит момент, когда они начнут выполнять работу, которую сейчас делают люди?

Существует ли теоретический предел разумности компьютера?

Я об этом не слышал. Мне кажется, что всякий раз, когда мы усовершенствуем какую-то модель, делая ее более сложной, возникает ощущение, что этот компьютер способен на большее. Всякий раз, когда мы увеличиваем компьютер в размерах, стараясь одновременно сохранить сложность каждой детали, выясняется, что компьютер способен на большее.

Итак, если мы научим делать достаточно сложные и достаточно большие компьютеры, почему они не могут быть наделены человеческим умом?

Кое-кто наверняка нам не поверит и скажет: «Разве может компьютер создать великую симфонию, произведение живописи или новую научную теорию?»

В таких ситуациях мне всегда хочется ответить вопросом на вопрос: «А вы можете?» Впрочем, не следует забывать, что в мире, населенном самыми обычными людьми, есть и великие люди, настоящие гении. Однако они становятся гениями лишь потому, что атомы и молекулы у них в мозгу организованы особым способом. У них в голове нет ничего другого, кроме атомов и молекул. Если мы особым образом выстроим атомы и молекулы в компьютере, он тоже сможет создавать гениальные произведения; и даже если отдельные его детали будут не такими крошечными и изощренно сложными, как в человеческом мозгу, мы компенсируем это увеличением размеров компьютера.

Кое-кто скажет: «Но компьютеры могут делать только то, на что они запрограммированы».

Ответ на это таков: «Совершенно верно. Но мозг тоже может делать только то, на что он запрограммирован – гениями. Частью программы мозга является способность учиться, что должно войти и в программу сложного компьютера».

На самом деле, если можно создать компьютер, не уступающий по уровню интеллекта человеку, почему нельзя сделать его умнее?

Действительно, почему? Может быть, в этом и заключается эволюция. За три миллиарда лет, методом проб и ошибок на уровне атомов и молекул, в результате чрезвычайно медленного и постепенного усовершенствования появился наконец вид, достаточно разумный для того, чтобы сделать следующий шаг вперед уже в течение века или даже нескольких десятилетий. И вот тогда начнется настоящий прогресс.

Однако если компьютеры станут умнее людей, не возникнет ли опасность, что они нас заменят? Ну а почему бы и нет? Они могут быть не только разумными, но и добрыми и позволят нам просто плыть по течению. Будут держать нас при себе в роли домашних животных или так, про запас.

А теперь подумайте, что мы сами сейчас делаем со всеми живыми существами и с самой планетой, на которой живем. Вполне возможно, уже пора нас заменить? Может быть, главная опасность заключается в том, что компьютеры будут развиваться недостаточно быстро, чтобы занять наше место?

Подумайте об этом[6].

Законы роботехники

Довольно трудно думать о компьютерах, представляя себе вариант, когда они могут «захватить» наше место.

Заменят ли они нас, превратят ли в какой-то пережиток, выбросят ли на свалку, как мы в свое время расправились с копьями и трутницами?

Если мы представим себе компьютерный мозг внутри металлической имитации человека, которую мы называем роботом, страх окажется еще более ощутимым. Роботы так напоминают людей, что один только их внешний вид может послужить причиной возникновения у них мятежных мыслей.

Эта проблема стала одной из самых популярных в мире научной фантастики в 1920-1930-х годах, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей.

Когда я был молодым человеком, мне ужасно надоели предупреждения, звучавшие в произведениях подобного рода, поскольку мне представлялось, что робот – это всего лишь машина, а люди постоянно строят машины. Учитывая, что все машины так или иначе представляют для нас опасность, мы специально встраиваем в них самые разнообразные защитные устройства.

В 1939 году я начал серию рассказов, в которых с симпатией описывались тщательно сконструированные машины, выполнявшие определенные задачи, причем в каждой из машин имелось встроенное устройство, обеспечивающее их миролюбие.

В рассказе, написанном в октябре 1941 года, я наконец дал имя этому защитному устройству – Три закона роботехники. (Я изобрел термин «роботехника», который до тех пор никогда и нигде не использовался.) Они звучат так:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.

Эти законы внесены в компьютеризированный мозг робота и явились темой многих моих рассказов, посвященных роботам. По правде говоря, они так понравились читателям и звучали так разумно, что другие писатели-фантасты начали использовать их (никогда не цитируя напрямую – в отличие от меня), и все старые рассказы о роботах, уничтожавших своих создателей, просто умерли.

Ну, это научная фантастика. А как насчет работ по созданию сложных компьютеров и искусственного интеллекта, которые проводятся учеными? Когда строятся машины, обладающие собственным разумом, будут ли в их сознание внедрены законы, подобные Трем законам роботехники?

Разумеется да, поскольку создатели компьютеров и сами обладают высокоразвитым интеллектом. Более того, защита будет не только иметь некоторое отношение к Трем законам – она будет на них опираться.

В тот момент, когда я придумал Три закона, я не понимал, что человечество уже давным-давно пользуется ими. «Три закона инструментов» звучат следующим образом:

1. Инструмент должен быть безопасным для использования. (Это же очевидно! У ножей и мечей имеются рукоятки. А инструмент, который может причинить вред тому, кто взял его в руки – если, конечно, человек знает об опасности, – никогда не будет использован, каким бы полезным он ни казался.)

2. Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности.

3. Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию.

Никто никогда не цитирует эти три закона, поскольку все принимают их как должное. Каждый закон, если о нем говорят вслух, будет встречен дружным восклицанием вроде: «Ну, это же любому ясно!»

В таком случае давайте сравним «Три закона инструментов» c Тремя законами роботехники, и вы увидите, что они полностью совпадают. А разве может быть иначе? Ведь робот, или, если желаете, компьютер, является инструментом, которым пользуется человек.

Но можно ли сказать, что мы защищены от всех неприятностей в достаточной степени? Подумайте об усилиях, которые предпринимаются, чтобы сделать автомобили безопасными, – однако они продолжают убивать около 50 000 американцев в год. Подумайте об усилиях, которые предпринимаются, чтобы обезопасить банки, – однако ограбления продолжаются. Подумайте об усилиях, которые предпринимаются, чтобы защитить компьютерные программы, – однако количество компьютерного мошенничества растет.

Впрочем, если компьютеры станут достаточно разумными, чтобы «перехватить инициативу», они уже не будут нуждаться в ограничениях, предписываемых Тремя законами. И тогда по доброте душевной они решат заботиться о нас и оберегать от неприятностей и проблем.

Однако кое-кто из вас может возразить, что мы не дети и, как только возникнет необходимость нас охранять, мы лишимся своей человеческой сути.

Правда? Посмотрите на сегодняшний мир и мир прошлого и задайте себе вот какой вопрос: в самом ли деле мы не дети (причем склонные к насилию и уничтожению всего вокруг) и справедливо ли утверждение о том, что за нами не нужно присматривать?

Если мы хотим, чтобы с нами обращались как со взрослыми, нам следует вести себя как взрослые. И когда же начнем?

Будущая фантастика

В прошлом три фундаментальных достижения в области коммуникаций полностью изменили все области нашей жизни. Первое – это речь, второе – письмо и третье – книгопечатание.

Сейчас можно говорить о четвертом достижении, не менее важном, чем первые три, – о компьютере. Четвертое революционное изобретение позволит человеку развить свои творческие способности до небывалых высот. И если мы не уничтожим мир при помощи ядерного оружия, перенаселения или загрязнения окружающей среды, мы получим мир технодетей, настолько отличающийся от нынешнего, насколько нынешний отличается от мира пещерного человека. Каким будет мир следующего поколения по сравнению с миром наших предков?

Ответ, который напрашивается сам собой: компьютер можно рассматривать как еще один вид развлечения, что-то вроде супертелевизора. Его можно будет использовать для сложных игр, общения с друзьями и других простых вещей. Однако даже это может коренным образом изменить нашу жизнь. Прежде всего, общение через компьютерные сети уничтожит расстояния. Весь земной шар станет представляться нам похожим на соседний город или даже дом – и это будет иметь важные последствия. Человечество сможет считать себя единым целым, а не сборищем постоянно враждующих социальных групп. В мире появится общий lingua franca, язык (вне всякого сомнения, близкий по своему строению к современному английскому), который будут понимать все, хотя люди, разумеется, сохранят свои родные языки для местного пользования.

Затем, поскольку коммуникации больше не будут представлять никаких проблем, а механическими и электронными устройствами можно будет управлять издалека (например, телеметрия уже сейчас позволяет инженерам отправлять инструкции – и получать ответы – на устройства, которые находятся в районе других планет в миллиардах километров от Земли), благодаря компьютерам исчезнет необходимость использовать транспортные средства для сбора информации.

Естественно, никто не намерен запрещать путешествия. Вы по-прежнему сможете лично отправиться в туристическую поездку или навестить друзей и родных. Но вам больше не придется сражаться с толпами людей только для того, чтобы получить сведения, которые можно передать по компьютеру.

Это значит, что технодети будущего привыкнут жить в децентрализованном мире и смогут делать все, что им необходимо, прямо из собственного дома или из того места, где они в данный момент окажутся. Получается, что они будут одновременно чувствовать себя совершенно изолированными и связанными друг с другом.

Дети следующего поколения – и общество, которое они построят, – станут свидетелями огромной пользы, приносимой компьютерами в области образования. В настоящее время наше общество заинтересовано в том, чтобы дать образование максимально возможному количеству детей. Ограниченное число учителей приводит к групповому методу обучения. Каждый ученик школы, находящейся в данном районе, штате или государстве, получает примерно одинаковое образование, причем одинаковыми методами. Но из-за того, что каждый ребенок имеет индивидуальные пристрастия и способности, результаты группового обучения не дают желаемых результатов. Например, большинство взрослых, сохранивших весьма неприятные воспоминания о своей школьной жизни, не хотят учиться дальше. Они считают, что с них достаточно.

Учение может доставить удовольствие, даже стать всепоглощающим занятием, если позволить ребенку заниматься тем, что лично ему интересно, причем тогда и так, как он хочет. В настоящий момент такая система возможна благодаря существованию публичных библиотек. Но библиотека – не слишком удобное средство обучения. Туда нужно идти, взять можно только ограниченное количество книг, которые следует возвратить через определенное время.

Совершенно очевидно, что решение этой проблемы заключено в переносе библиотек в дома. Ведь проигрыватели помогли нам получить концертный зал прямо у себя дома, телевизор заменил кинотеатр. А компьютер может стать нашей домашней библиотекой. Дети будущего получат возможность удовлетворить свое любопытство. С самого раннего возраста они научатся управляться со своим компьютером и давать ему определенные задания. По мере возникновения разных интересов (которыми, надеюсь, будут руководить школьные учителя) они смогут больше узнавать за более короткое время, а кроме того, получат возможность расширить диапазон своих познаний и увлечений.

В образовании усилится компонент самомотивации. Возможность следовать по самостоятельно выбранной дороге позволит техноребенку получать от процесса обучения удовольствие, в результате он превратится в активного техновзрослого – любознательного, энергичного, готового расширить свой интеллектуальный кругозор до тех пор, пока его мозг не состарится.

Новый подход к проблемам образования обязательно повлияет на другую область нашей жизни – работу. До настоящего момента большинство людей работают в местах, где их мозг подвергается серьезной нагрузке. Во времена, когда главной была грубая физическая работа, мало у кого появлялась возможность поднять глаза к небу и посмотреть на звезды, задуматься об абстрактных вещах. Даже когда промышленная революция подарила людям машины, которые освободили их от тяжелого физического труда, бессмысленная «квалифицированная» работа никуда не делась. И сейчас те, кто трудятся на конвейерах или в офисах, выполняют однообразные операции, не требующие затрат умственной энергии.

Впервые в истории умелые машины, или роботы, смогут выполнять эту утомительную работу. Любая простая и однообразная работа, с которой роботы в состоянии справиться, возможно, даже лучше людей, должна считаться ниже нашего достоинства. По мере того как технодети будут превращаться в техновзрослых и начнут работать, у них появится достаточно времени для проявления изобретательности и творческих способностей, чтобы отдать свой талант театру, науке, литературе, вопросам управления государства и развлечениям. Они будут готовы к такой работе благодаря компьютеризации образования.

Кто-то наверняка скажет, что нельзя рассчитывать, будто творческие способности начнут проявляться сразу у большого количества людей. Они так думают, потому что живут в мире, в котором мало кому удается избежать интеллектуального уничтожения на работе, которая не требует работы ума. Все повторяется: всегда считалось, что грамотность, например, доступна лишь тем, кто обладает умственными способностями, особо подготовленными для восприятия задач чтения и письма. Разумеется, с появлением книгопечатания и массового образования выяснилось, что грамотными в состоянии стать большинство людей.

Что все это означает? Что нам придется жить в мире безделья? Как только компьютеры и роботы станут делать за нас скучную механическую работу, мир начнется стремительно развиваться. Появятся ли в результате новые «гении Возрождения»? Да. Сейчас отдых составляет небольшую часть нашей жизни, которая либо плотно используется вследствие недостатка времени, либо пропадает из-за ничегонеделания в отчаянной попытке забыть о существовании ненавистного мира работы. Когда мы получим намного больше свободного времени, у нас пропадет ощущение, будто мы живем по часам, которые постоянно убегают вперед, и не возникнет желания восстать против рабства ненавистной работы. Люди смогут не спеша попробовать разные виды деятельности, стать знатоками сразу в нескольких областях, развить свои таланты.

Я не пытаюсь сочинять будущее. История знала времена, когда люди имели рабов – жестокую человеческую версию компьютеров, – которые на них работали. Другие имели покровителей, которые их поддерживали. Когда даже у небольшого количества людей появляется достаточно свободного времени, чтобы следовать за своими интересами, от этого тут же выигрывают культура и искусство. Золотой век в Афинах в V веке до нашей эры, итальянское Возрождение в XIV-XVI веках являются самым ярким тому примером.

Люди не просто получат возможность заниматься тем, что им нравится, – многим захочется поделиться своими достижениями с остальными. Ведь большинство из нас природа одарила талантами. Мы поем, когда принимаем душ, участвуем в самодеятельных спектаклях или в парадах. Я полагаю, что XXI век увидит общество, в котором одна треть населения будет занята в развлечении остальных двух третей.

Кроме того, обязательно появятся новые формы развлечений, которые сейчас представляются нам весьма смутно. Трехмерное телевидение предвидеть легко. Да и само космическое пространство станет новой ареной для деятельности. Например, при земном тяготении, приближающемся к нулю, игра в теннис и футбол могут приобрести совсем иной вид. Балет и даже просто танцы будут поражать нас своей необычностью и потребуют особой координации движений. Наблюдая за такими представлениями, мы будем получать истинное наслаждение, поскольку двигаться вверх и вниз станет так же просто, как назад и вперед или влево и вправо.

А как насчет тех людей, которые не захотят делиться с окружающими своими достижениями и вместо этого решат уйти в собственный мир? Например, человек, изучающий историю костюма, сможет получить необходимую ему информацию из мировых библиотек, просто находясь у себя дома. А вдруг мы окажемся в мире, где огромное количество интеллектуалов станет затворниками? Вдруг создадим интровертов?

Лично я считаю, что такая возможность пренебрежительно мала. Тот, кто отчаянно интересуется какой-то одной областью знания, чаще всего становится добровольным миссионером. Такие люди обязательно захотят поделиться своими открытиями с остальными. Даже сегодня люди, занимающиеся изучением какого-то предмета, склонны рассказывать о своих достижениях другим, а не сидеть тихонько в углу. Если и существует какая-то опасность, так это то, что появится больше зануд, желающих всем поведать о предмете своих изысканий, чем отшельников.

Не следует забывать и о тех, кто делится своими знаниями, движимый желанием объединиться с другими людьми, создать, пусть и временно, собственный мир, в котором всех занимает одно и то же дело. В 1970-х годах кому-то пришла в голову мысль создать общество любителей «Звездных войн», предполагая, что в него войдет не больше сотни человек. В результате желающих стать членами клуба оказалось несколько тысяч (а еще считается, что телевидение разобщает!). Кроме того, я не сомневаюсь, что многие выберут для себя общение при помощи компьютеров – в диалоговом режиме.

Я уверен, что возникнет глобальная компьютерная система связи, когда мы сможем общаться с теми, кто живет на другом конце света и разделяет наши интересы. Будут проходить постоянные обмены мнениями, в которых станут участвовать самые разные люди, появляться новые участники и идеи. А в результате процесс обучения и образования будет идти непрерывно.

Я предвижу возникновение общества, пропитанного духом творчества, где люди тянутся друг к другу, новые идеи возникают и распространяются с невиданной доселе скоростью, перемены и самые разнообразные достижения улучшают нашу планету (не говоря уже о небольших искусственных мирах, созданных в космосе). Это будет новый мир, который будет рассматривать прежние времена как период, когда жили лишь наполовину.

Машины и роботы

С точки зрения физики машина – это устройство, которое переносит силу из одной точки, где она прилагается, в другую, где она используется и в этом процессе изменяет свою мощность и направление.

В этом смысле для человеческого существа трудно использовать что-либо, что не является частью его тела, не включая в этот процесс машин. Пару миллионов лет назад, когда еще трудно было решить, перейдена ли уже грань между обезьяной и человеком, существовала практика обделывания камней, и их острые края служили первобытными ножами.

Даже такой заостренный камень можно считать машиной, поскольку сила, которая прикладывается к тупому концу рукой, передается на острый конец и в процессе становится значительнее. Сила, распространяющаяся по большой площади тупого конца, равняется силе, которая поступает на маленький острый. Следовательно, давление (произведение силы на площадь) увеличивается и, без увеличения общей силы, влияет на действие. И тогда камень с острым краем может «вгрызаться» в предмет – в отличие от круглого камня или человеческой руки.

В реальной жизни никто, кроме самых упрямых физиков, не назовет заостренный камень машиной. В действительности мы считаем машинами достаточно сложные устройства и склонны давать им имена, если они не направляются напрямую человеком.

Чем меньше устройство зависит от человека, тем более механическим оно считается. В результате целая отрасль техники занимается конструированием машин, которые все менее и менее требуют человеческого контроля и все более и более обладают чем-то вроде собственной воли. Заостренный камень – это почти часть руки, которую он никогда не покидает. Копье объявляет о своей независимости в тот момент, когда оно выпущено из руки.

Уход от прямого и постоянного контроля за механизмами позволил человеку, даже в примитивном обществе, сделать шаг вперед по дороге экстраполяции и представить себе устройства, еще более независимые и самостоятельные. И тут же возник некий вид фантазий, который кое-кто, дающий этому термину более широкое определение, чем я, назовет научной фантастикой.

Человек передвигается на ногах при помощи прямого и непосредственного контроля собственных действий; верхом на лошади – управляя более сильными мышцами животного при помощи поводьев и собственных пяток; на корабле – используя невидимую силу ветра. Почему бы не пойти дальше, например, к семимильным сапогам, ковру-самолету, самоходным лодкам? Сила, которая применяется в подобных устройствах, называется «волшебной», ею обладают сверхлюди и наделенные трансцендентальной энергией боги и демоны.

Подобные фантазии касаются не только физических возможностей неодушевленных предметов, но и чрезмерно развитых умственных способностей объектов, считающихся неодушевленными. Искусственный интеллект – вовсе не современное понятие.

Греческий бог огня Гефест, согласно «Илиаде», имел в своем дворце помощниц – золотых механических девушек, которые были так же энергичны, подвижны и умны, как и существа из плоти и крови.

А почему бы и нет? В конце концов, если человек-кузнец создает неодушевленный механический предмет из самого обычного железа, почему бы богу-кузнецу не произвести на свет неодушевленный предмет из благородного металла – золота – и не наделить его разумом? Это очень простая экстраполяция, являющаяся второй натурой писателей-фантастов (которые в примитивные времена, в отсутствие науки, являлись сочинителями мифов).

Однако ремесленники-люди, наделенные достаточным интеллектом, тоже в состоянии создавать механические существа. Вспомните Талоса, бронзового воина, созданного Дедалом – Томасом Эдисоном греческих мифов. Талос охранял берега Крита, обходя остров один раз в день и прогоняя прочь чужаков. Жидкость, которая поддерживала в нем жизнь, удерживалась пробкой, находившейся у него в пятке. Когда аргонавты высадились на Крите, Медея при помощи волшебства вытащила пробку, и Талос лишился своей псевдожизни.

(Придать символическое значение этому мифу очень просто. Крит начиная с IV тысячелетия до нашей эры, еще до того как греки появились в Греции, имел военно-морской флот, первый в истории человечества. Флот позволил жителям острова создать империю, включив в нее близлежащие острова и часть материка. Греческие варвары, напавшие на эти земли, до определенной степени являлись поданными этой империи. Воины в бронзовых доспехах охраняли владения империи на своих кораблях в течении двух тысяч лет – но все-таки потерпели поражение. Пробка была вынута, если можно так сказать, когда в 1500 году до нашей эры на острове Тера началось извержение вулкана и наводнение сильно ослабило критскую цивилизацию. Вот тогда и появились греки. Однако тот факт, что миф является отдаленным и искаженным изложением действительных событий, не мешает ему стать напоминанием о том, как устроено воображение человека.) Получается, что с самого начала машина заставила человечество обратить свое внимание на двоякую проблему. Пока машина полностью находится под контролем человека, она является полезной и заметно облегчает нам жизнь. Однако люди знают по собственному опыту (причем уже довольно давно), что технология развивается, машины неминуемо становятся лучше и сложнее, а их усовершенствование постоянно движется в направлении уменьшения контроля человека и увеличения автономности – причем на головокружительной скорости.

Чем меньше человек контролирует машины, тем более пугающими они становятся. Даже в тех случаях, когда этот процесс внешне не заметен или происходит чрезвычайно медленно, не требуется большого ума, чтобы заглянуть в будущее, во времена, когда машины полностью освободятся от контроля людей. Это нас пугает.

А чего мы боимся?

Самым простым и очевидным ответом является следующий: мы боимся, что машины, переставшие нам подчиняться, могут причинить людям вред. В действительности любое технологическое достижение, даже самое фундаментельное, несет в себе двойной аспект «хорошо-плохо», и, следовательно, мы смотрим на него с любовью и страхом.

Огонь вас согревает, дает вам свет, готовит для вас еду, плавит руду – но если он вырвется на свободу, то сжигает и убивает. Ваши ножи и копья убивают ваших врагов (животных и людей) – но если они оказываются в руках ваших врагов, они становятся смертельно опасны для вас. Примеры можно приводить до бесконечности, потому что нет на свете ни одного вида человеческой деятельности, которая, вырвавшись из-под контроля и причинив вред, не вызвала бы у многих тяжелого вздоха и слов: «Вот если бы мы жили простой и добродетельной жизнью наших предков, которые не знали этих новомодных глупостей!»

Но неужели страх перед самыми разными несчастьями, идущий из древних времен, неужели запрятанный в самых глубинах нашей души ужас так трудно выразить, что он становится причиной создания мифов?

Думаю, нет. Страх перед неудобствами и вредом, периодически причиняемым нам машинами (по крайней мере, причиняемым до недавних пор), заставляет человека лишь печально вздыхать. Удовольствие, которое человек испытывает, пользуясь машинами, всегда перевешивало страхи. Мы можем сделать такой вывод, заглянув в историю, где мы вряд ли найдем хоть один пример отказа человечества от какого-нибудь технического достижения из-за неудобств или опасений перед его побочными эффектами. Да, бывало, что технологический прогресс замедлялся, приостанавливался или цивилизация была отброшена в своем развитии назад из-за войн, гражданских беспорядков, эпидемий или природных катаклизмов, и мы называем эти периоды истории «темными временами», а люди, пережившие их, стараются сделать все возможное, чтобы уже следуещее поколение вернулось на путь прогресса.

Человечество всегда было склонно бороться со злом, которое несет в себе развитая технология, не путем отказа от нее, а достижением еще более высокого уровня развития. Дым от печи выводится из дома при помощи трубы. Чтобы защититься от опасности, которую представляет собой копье, люди придумали щит. Города обносили высокими стенами, чтобы их не могла разрушить вражеская армия.

Эта тенденция, несмотря на постоянные протесты, продолжается и по сей день. Так появился характерный продукт нашего времени – автомобиль. Он загрязняет воздух, создает шум, убивает пятьдесят тысяч американцев в год и наносит повреждения сотням тысяч. Но разве кто-нибудь всерьез предполагает, что американцы добровольно откажутся от своих кровожадных любимцев? Даже участники маршей протеста, выступающие против механизации современной жизни, приезжают на место сбора на машинах.

В первый раз большое количество людей увидело грандиозное зло, которое несет в себе прогресс и которое невозможно уравновесить никакими положительными аспектами, в 1945 году, когда появилась атомная бомба. До тех пор никакое достижение технологического прогресса не вызывало такого яростного протеста населения Земли.

На самом деле реакция на атомную бомбу вызвала к жизни новую тенденцию

– люди стали еще жестче выступать против других достижений науки, побочные эффекты которых они считали недопустимо опасными. Это, например, биологическое оружие, сверхзвуковые самолеты, генетические эксперименты, проводимые на микроорганизмах, ядерные реакторы, аэрозольные баллончики.

И тем не менее ни от чего из этого списка мы не отказались.

Однако мы вышли на верный путь. Нас не особенно пугают машины, если мы знаем, что, несмотря на вред, который они могут нам причинить, они несут с собой и положительное начало. Или что они опасны только для некоторых из нас

– например, для тех, кто оказался на месте автомобильной катастрофы.

Большинству ведь удается остаться в живых и радоваться удобствам, которые дарят нам автомобили.

Нет, только когда машины начинают угрожать всему человечеству таким образом, что каждый отдельный его представитель чувствует, что ему лично не удастся избежать опасности, – только тогда страх пересиливает привязанность.

Но поскольку технологический прогресс начал угрожать благополучию людей лишь в последние тридцать лет, до тех пор мы ничего не боялись – а может быть, человечеству всегда угрожала опасность?

В конце концов, разве человек может погибнуть только став жертвой грубой физической силы? Разве машины не могут уничтожить суть человечества, наш мозг и душу, не тронув при этом тела, которые остаются в целости, сохранности, тепле и уюте?

Например, многие боятся, что телевидение лишает людей способности читать, а благодаря карманным калькуляторам они разучатся считать. Вспомните о спартанском царе, который, увидев катапульту в действии, с горечью заявил, что пришел конец человеческой отваге.

Разумеется, такие, не слишком заметные на первый взгляд, опасности существовали с того самого момента, как человечество сумело до определенной

– весьма незначительной – степени подчинить себе природу, что уменьшило для него опасность прямого физического ущерба.

Существует два вида перемен, которые происходят во вселенной. Одна из них циклична и совершенно безопасна.

День и ночь, зима и лето, дождь и хорошая погода регулярно сменяют друг друга. Следовательно, о настоящих переменах здесь говорить нельзя. Такое положение может наводить на нас тоску, но оно удобно и вселяет чувство безопасности и покоя.

По правде говоря, идея коротких циклических перемен, означающих отсутствие настоящих перемен, настолько устраивает людей, что они стараются найти эту закономерность и в других областях. Например, в отношениях между людьми существует понятие смены поколений, династий, империй. Аналогия с природными циклами не слишком правильна, поскольку в данных случаях повторение не всегда бывает абсолютным, и это утешает.

Цикличность оказалась настолько привлекательным понятием для человека, что мы часто видим ее там, где ее нет.

Если речь идет о вселенной, все свидетельства указывают на гиперболическую эволюцию: вселенная, которая постоянно разрастается после одного начального взрыва и заканчивает свои дни в виде бесформенного газового облака и черных дыр. Однако наши чувства заставляют нас, вопреки всем фактам, придумывать понятия колебательных, цикличных, повторяющихся вселенных, в которых даже черные дыры являются лишь воротами, ведущими к новым большим взрывам.

Однако существует еще один вид перемен, которых следует избегать любой ценой и которые несут в себе зло. Это перемены в одну сторону, такие, последствия которых исправить невозможно.

Что же в них плохого? Одна из них затрагивает нас непосредственно и искажает нашу собственную вселенную.

Мы рано или поздно стареем, и хотя когда-то мы были молоды, юность уже никогда к нам не вернется. Наши друзья умирают, и хотя когда-то они были живы, они уже никогда не будут с нами. И с этим мы ничего не можем поделать! Тот факт, что жизнь заканчивается смертью, не имеющей никакого отношения к циклическим переменам, пугает нас и одновременно наполняет осознанием собственного бессилия.

А хуже всего то, что вселенная с нами не умрет. Она движется вперед, живет, продолжая наслаждаться своими циклами, а мы страдаем от ее равнодушия к тому факту, что нас уже больше никогда не будет.

Более того, другие человеческие существа не умирают вместе с нами. Молодые люди, родившиеся после нас и в самом начале нашей жизни зависевшие от нас, вырастают и занимают наше место, когда мы стареем и умираем. И от этого мы тоже страдаем.

Я сказал, что бесполезно сражаться с ужасом, который несет с собой смерть, с осознанием того, что жизнь будет продолжаться и на наше место придут другие? Это не совсем так. Бесполезность становится очевидной, только если мы пытаемся ухватиться за доводы разума, но нет никакого закона, требующего, чтобы мы так поступали, – и мы так не поступаем.

Смерти можно избежать простым отрицанием ее существования. Мы можем считать, что наше появление на Земле – всего лишь иллюзия, короткий испытательный срок перед вступлением в последующую жизнь, где ничто не меняется и нам не грозят необратимые изменения. Или мы можем верить в то, что умирает только наше тело, но в нас имеется некая бессмертная составляющая, которая после смерти одного тела перебирается в другое – и так до бесконечности.

Мифические представления о загробной жизни и трансмиграции могут сделать жизнь вполне терпимой для многих людей и позволить им относиться к приближающейся смерти гораздо спокойнее. Однако страх перед смертью в данном случае лишь замаскирован и скрыт – он не исчезает совсем.

В греческих мифах рассказывается об успешной замене одних бессмертных другими – и мы получаем огорчительное доказательство того, что даже вечная жизнь и сверхъестественные возможности не защищают от опасности перемен и от унижения, которое приносит с собой осознание того, что на твое место придут другие.

Греки считали, что сначала вселенной правил беспорядок (Хаос), ему на смену пришел Уран (небо), чьи искусно разбросанные звезды и планеты, движущиеся по сложным орбитам, символизировали порядок (Космос).

Однако Урана оскопил его сын Кронос. Кронос, его сестры и братья и их потомки правили вселенной.

Кронос боялся, что его дети поступят с ним так же, как он со своим отцом (нечто вроде цикла необратимых перемен), и пожирал их, как только они рождались. Однако жена сумела его обмануть, спасти своего последнего сына – Зевса – и спрятать его в безопасном месте. Зевс вырос, достал своих братьев и сестер из желудка отца, выступил войной против Кроноса и его сторонников, победил и занял место правителя.

(В других культурах также существуют мифы о заменах подобного рода – даже в нашей собственной. Сатана пытался занять место Бога, но потерпел неудачу; этот миф получил самое яркое выражение в «Потерянном рае» Джона Милтона.) Мог ли Зевс чувствовать себя в безопасности? Он полюбил нереиду по имени Фетида и женился бы на ней, если бы парки не предупредили его, что Фетиде суждено родить сына, который окажется сильнее отца. Получалось, что ни Зевс, ни какой-то другой бог не могли на ней жениться. И потому ее заставили выйти замуж за смертного, Пелея. Она родила смертного сына, единственного ребенка, которого имела, – так говорится в мифах. Ее сын Ахиллес был намного сильнее своего отца (и, как и Талос, имел только одно слабое место – пятку, пронзив которую его можно было убить).

А теперь давайте перенесем страх перед необратимыми переменами и опасностью, что другой займет твое место, на отношения людей и машин. И что же у нас получается? Естественно, больше всего мы боимся не того, что машины причинят нам физический вред, а того, что они вытеснят нас и займут наши места. И дело не в том, что наша деятельность перестанет быть эффективной, – просто мы станем больше никому не нужны, словно устаревшая модель какого-нибудь устройства.

Идеальная машина – это умная машина, и для рассказов о ней есть только один сюжет: она создается, чтобы служить человеку, но в конце концов оддерживает над ним верх. Она не может существовать, не угрожая захватить наше место в мире, и, следовательно, ее необходимо уничтожить – иначе погибнем мы сами.

Всегда существует опасность метлы ученика колдуна, голема рабби Лоу, чудовища, созданного доктором Франкенштейном. Как рожденный из нашего тела ребенок занимает наше место, так и машина, рожденная силой нашей мысли, заменяет нас.

«Франкенштейн» Мэри Шелли, увидевший свет в 1818 году, демонстрирует нам пик страха, однако обстоятельства сложились таким образом, что этим страхам не суждено было сбыться – по крайней мере, довольно долго.

Между 1815 годом, когда закончилась целая серия европейских войн, и 1914 годом, увидевшим начало новой войны, был короткий период, когда человечество могло себе позволить роскошь оптимистических настроений насчет своих отношений с машинами. Промышленная революция неожиданно наделила людей новым могуществом и претворила в жизнь мечты о воцарении технологической утопии на Земле, вместо надежды увидеть ее в мифическом раю. Положительные аспекты, которые несли в жизнь машины, значительно перевешивали отрицательные, и любовь к ним стала сильнее страха.

Именно тогда и родилась современная научная фантастика – под этим термином я подразумеваю вид литературы, которая описывает общество, отличающегося от нашего уровнем технологического развития и своим социальным устройством. Предполагается, что мы рано или поздно, путем изменений в вышеуказанных областях, перейдем в какое-нибудь из таких обществ. (Этим научная фантастика отличается от фэнтэзи или от «спекулятивной» фантастики, где придуманное общество не может быть связано с нашими никакими разумными переменами.) Благодаря времени, когда она родилась, современная научная фантастика звучала весьма оптимистично. Отношения человека и машины осуществлялись на уровне пользования и управления. Могущество человека росло, машины были его послушными инструментами, при помощи которых он добывал для себя благополучие, чувствовал себя спокойно и уверенно и путешествовал в самые удаленные уголки вселенной.

Оптимистические настроения встречаются и по сей день, в особенности в произведениях тех писателей, чьи представления успели сформироваться до появления атомной бомбы, – я могу назвать среди них Роберта Хайнлайна, Артура К. Кларка и себя.

Тем не менее с началом Первой мировой войны людей охватило разочарование. Оказалось, что научно-технический прогресс, обещавший людям рай, способен устроить на Земле самый настоящий ад. Прекрасный самолет, реализация многовековой мечты, может нести на борту бомбы; химическая промышленность, выпускавшая лекарства, анестетики и краски, производит отравляющие газы.

И снова нас охватил страх, что кто-то другой отнимет у нас наше место под солнцем. В 1921 году, через некоторое время после Первой мировой войны, свет увидела драма Карела Чапека «R. U. R.» – снова рассказ о Франкенштейне, только на планетарном уровне. Было создано не одно чудовище, а целая армия роботов (по-чешски это слово означает «рабочий»). И не одно чудовище выступило против своего создателя, а целая армия роботов стерла с лица Земли человечество и заняла место людей.

С началом выхода в свет журнала, посвященного научной фантастике, с 1926 по 1959 год (треть века или целое поколение) оптимизм в научной фантастике активно сражался с пессимизмом – главным образом, благодаря влиянию Джона У. Кэмпбелла-младшего – и победил.

Начиная с 1939 года я написал серию важных рассказов о роботах, которые совершенно сознательно противостояли «комплексу Франкенштейна» и повествовали о роботах как о слугах, друзьях и союзниках человечества.

Впрочем, в конце концов победил все-таки пессимизм.

Во-первых, механизмы стали пугающими. Разумеется, атомная бомба грозила физическим уничтожением, но хуже нее была быстро развивающаяся электронная машина – компьютер. Казалось, компьютеры крадут у человека душу. Очень легко и быстро они решают наши рутинные проблемы, и мы все чаще и чаще доверчиво предоставляем им право решать за нас самые разные вопросы и принимаем их решения с унизительной покорностью.

Бомба может нас уничтожить, компьютер – заменить.

Вторая причина, в отличие от первой, не лежит на поверхности и заключается в том, что изменился характер писателя фантаста.

До 1959 года существовало множество разделов литературы, причем научная фантастика считалась среди них самой незначительной. Писатели получали меньше денег и славы, чем представители других разделов, поэтому в данную область шли только те, кто был настолько одержим ее идеями, что слава или деньги для них отступали на второй план. Очень часто их одержимость рождалась из всепоглощающей любви к науке, и писатели создавали произведения, в которых человек завоевывал вселенную, научившись подчинять ее своей воле.

В 1950-х годах, однако, журналы, которые печатали литературные произведения, погибли в неравной борьбе с телевидением, и к началу 1960-х единственной областью литературы, которая процветала и даже расширяла свои владения, стала научная фантастика. Ее журналы продолжали выходить, начался страшный бум – появились книжки в мягких обложках. До некоторой степени научно-фантастическая литература умудрилась даже проникнуть на телевидение и в кино, хотя до великих побед еще было далеко.

А это означало, что в 1960-1970-х годах молодые писатели пришли в научную фантастику не потому, что они очень хотели, а потому, что она уже существовала, и потому, что у них не было особого выбора. А еще это означало, что многие молодые писатели не имели ни малейшего представления о науке и не любили ее – скорее относились к ней враждебно. Такие писатели с готовностью восприняли идею страха из пары «любовь-страх», когда речь заходила об отношениях человека и машины.

В результате современная научная фантастика очень часто представляет нам – снова и снова – миф о ребенке, который занимает место своего отца, о Зевсе, который занимает место Кроноса, о Сатане, который занимает место Бога, о машине, которая занимает место человека.

Это самые настоящие ужасы, и их не следует читать.

Но позвольте мне в конце сделать свой собственный – достаточно циничный

– комментарий. Хотя, как вы помните, Кронос предвидел, что его место может занять другой, и хотя он уничтожал своих детей, чтобы это предотвратить, его все равно заменил Зевс, причем по справедливости, поскольку был лучшим правителем.

Итак, может получиться, что, хотя мы будем ненавидеть машины и сражаться с ними, они все равно нас заменят, причем по справедливости, поскольку разумная машина, рожденная нами, вполне может оказаться лучше нас и будет упорно продвигаться вперед, стараясь понять вселенную и правильно ее использовать, и сумеет покорить вершины, недоступные нам.

Новая профессия

Давно, в 1940 году, я написал рассказ, в котором главную героиню звали Сьюзен Кэлвин. (Господи, это же полвека назад!) По профессии она была «робопсихологом» и знала о роботах все, что необходимо. Естественно, речь идет о научно-фантастическом рассказе. В течение следующих нескольких лет я написал еще несколько историй про Сьюзен Кэлвин, которая – так я захотел – родилась в 1982 году, училась в Колумбийском университете, защитила диплом по роботехнике и закончила университет в 2003-м. Она поступила в аспирантуру и к 2010 году работала в корпорации «Ю. С. Роботс энд мекэникл мен». Когда я сочинял эти рассказы, я относился к ним не слишком серьезно. Я писал «всего лишь» научную фантастику.

Однако, как ни странно, в жизни все получается именно так, как я тогда себе представлял. Роботы используются на конвейерах, и с каждым годом им находится все больше и больше применений. Машиностроительные компании десятками тысяч внедряют их у себя на заводах. Кроме того, роботы появляются и в других областях нашей жизни, и уж можете не сомневаться, более сложные и умные роботы скоро займут места у чертежных досок и в проектировочных мастерских. Естественно, благодаря роботам отпадет необходимость в некоторых видах деятельности, но и появятся новые профессии. Прежде всего, их нужно будет конструировать. Строить и устанавливать на рабочих местах. Затем, поскольку ничто не безупречно, их придется время от времени чинить. Чтобы такие ситуации возникали как можно реже, а поломки не носили серьезного характера, потребуется достаточно сложная система обслуживания. Вполне возможно, что робота даже придется переделывать, чтобы он в сложившейся ситуации мог выполнять другую работу.

Для этих целей нам понадобятся люди, которых мы будем называть… например, специалистами по роботам, роботехниками. Существует предположение, что к тому моменту, когда придуманная мной Сьюзен Кэлвин закончит колледж, только в Соединенных Штатах будет около двух миллионов таких специалистов и еще шесть миллионов в других странах мира. Так что Сьюзен не будет одиноко. К этим специалистам мы прибавим людей, которые будут работать в быстро развивающихся отраслях промышленности, прямо и косвенно связанных с производством роботов. Вполне может получиться, что благодаря появлению роботов количество рабочих мест значительно увеличится по сравнению с тем количеством, которое исчезнет. Впрочем, разумеется, эти работы будут сильно отличаться друг от друга, и потому потребуется некоторый переходный период для того, чтобы те, кто лишился своей старой работы, смогли переучиться, чтобы получить новую.

Это будет возможно не в каждом случае, и, следовательно, потребуется ввести некоторые изменения в системе социальной защиты населения, чтобы помочь тем, кто, в силу возраста или темперамента, не сможет приспособиться к изменившимся обстоятельствам.

В прошлом развитие технологий всегда требовало пересмотра системы образования. Крестьянам не требовалось знать грамоту, однако рабочим на заводах это было необходимо. И потому после промышленной революции индустриальным странам пришлось открыть государственные школы, где их граждане могли получить образование. В настоящий момент в связи с новым скачком в развитии экономики и высоких технологий необходимо внести изменения в программы общеобразовательных школ. К обучению науке и технике следует подходить очень серьезно и организовать его таким образом, чтобы люди могли постоянно учиться, поскольку изменения будут происходить с такой скоростью, что они просто не смогут существовать за счет знаний, приобретенных в молодости.

Подождите! Я упомянул роботехников, но этот термин можно принять лишь в широком смысле. Сьюзен Кэлвин не была таким специалистом: ее профессия называлась «робопсихолог». Она занималась «разумом» роботов, их «мыслительными процессами». Я еще ни разу не слышал, чтобы кто-нибудь употребил этот термин в реальной жизни, но, полагаю, придет время, когда его станут использовать не реже, чем термин «роботехника» после того, как я его изобрел. В конце концов, ученые пытаются создать роботов, которые способны видеть, понимать устные приказы, отвечать. Поскольку предполагается, что роботы будут выполнять все больше и больше работ, причем их эффективность будет постоянно расти, а разнообразие задач станет необъятным, они начнут казаться нам «умными». По правде говоря, даже сейчас некоторые ученые очень серьезно работают над решением проблемы «искуственного интеллекта».

Впрочем, если нам и удастся сконструировать и построить роботов, которые будут казаться нам умными, весьма сомнительно, что их можно будет считать разумными в том смысле, в каком разумен человек. Во-первых, их «мозг» сделан из материалов, отличающихся от тех, из которых «построен» наш мозг. Во-вторых, их мозг будет состоять из различных компонентов, соединенных и систематизированных совсем не так, как у нас. К тому же почти наверняка робот станет подходить к проблеме, которую ему следует решить, совершенно иначе.

Разумность робота и человека могут настолько отличаться друг от друга, что на свет, вполне возможно, появится новая наука – «робопсихология». Вот тут-то и придет время Сьюзен Кэлвин. Именно она и ее коллеги смогут разобраться в проблемах, решить которые обычные психологи будут не в силах. Эта область знаний может оказаться самой важной во всей роботехнике, поскольку, если мы сумеем детально изучить два совершенно разных интеллекта, возможно, мы научимся понимать, что такое интеллект в гораздо более фундаментальном и широком смысле, чем это возможно сейчас. И что самое главное, мы сумеем лучше понять, что представляет собой интеллект человека, а это практически невозможно сделать, изучая только его.

Робот, как враг?

В 1942 году я изобрел Три закона роботехники. Самым важным из них является, естественно, Первый закон. Он гласит: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред». В своих рассказах я всегда старался подчеркнуть, что законы, особенно Первый, являются неотъемлемой частью робота, и он не может их нарушить.

Кроме того, я старался, хотя, возможно, и не так настойчиво, дать понять своим читателям, что эти законы не являются врожденными. Материал, из которых сделан робот, не содержит в себе этих законов. Они совершенно сознательно вносятся в мозг готового робота, иными словами, в компьютеры, которые контролируют его деятельность. Может так получиться, что какой-то определенный робот окажется не наделен знанием Трех законов, поскольку его примитивная конструкция не позволяет внести в него поведенческие схемы, достаточно сложные, чтобы он был вынужден им подчиняться, или поскольку человек, который создает робота, решит сознательно не вносить в его мозг знание Трех законов.

Пока – и, возможно, так будет еще достаточно долго – мы имеем дело с первой причиной. Роботы слишком примитивны, чтобы предвидеть, что какой-то их поступок может причинить вред человеку, и изменить свое поведение, чтобы этого не произошло. В настоящий момент у нас имеются лишь компьютеризированные устройства, которые способны выполнять набор определенных действий и не могут отойти в сторону от данных им инструкций. В результате роботы уже стали причиной смерти людей (как, впрочем, и обычные машины). Это ужасно, но вполне объяснимо, и мы можем предполагать, что по мере создания роботов с более сложной системой восприятия и способностью гибкого реагирования на изменение ситуации увеличится вероятность того, что в них будут внесены защитные блоки, эквивалентные Трем законам.

А как насчет второй альтернативы? Станут ли люди сознательно создавать роботов, не наделяя их знанием Законов роботехники? Боюсь, что такая возможность тоже существует. Уже идут разговоры о роботах-охранниках. Роботы могут патрулировать какие-нибудь территории или даже охранять вестибюли. В их задачу будет входить общение с людьми, которые появляются на данной территории или в здании. Вероятно, тот, кто имеет право войти или приглашен, получит карточку, идентифицирующую его личность, и тогда робот его пропустит. В наше время, когда столько внимания уделяется вопросам безопасности, такие идеи могут показаться вполне разумными, поскольку они явятся надежным способом борьбы с вандализмом и терроризмом, – получается, что робот будет выполнять роль дрессированной сторожевой собаки.

Однако стремление к безопасности порождает усложнение системы. Робот сумеет остановить непрошенного гостя, но сигнала тревоги может оказаться недостаточно. Людям захочется наделить его способностью изгнать посетителя, даже если при этом робот причинит ему вред – собака ведь тоже может увусить вас за ноги или перегрызть глотку. Я что произойдет, если, например, глава фирмы забудет свою карточку в других брюках и, расстроившись, не успеет покинуть здание достаточно быстро? Или ребенок случайно войдет на охраняемую территорию? Я подозреваю, что если робот причинит вред человеку, который не имеет никаких дурных намерений, мгновенно поднимется шум и ученые получат задание внести соответствующие изменения, чтобы ошибка не повторилась.

Расмотрим другую крайность – разговоры об оружии. Компьютеризированные самолеты, танки, артиллерия и тому подобное, которые с нечеловеческим упорством будут без устали сражаться с врагом. В качестве довода в защиту подобного оружия можно сказать, что таким образом мы сохраним жизнь солдатам. Устроившись со всеми удобствами у себя дома, мы предоставим машинам воевать за нас. Если какие-то из них будут уничтожены – ну, это же всего лишь машины. Такой подход к ведению военных действий может оказаться особенного полезным, если у вас такие машины есть, а у врага – нет.

Но даже и в этом случае, можем ли мы быть абсолютно уверены в том, что машины сумеют безошибочно отличать врагов от друзей? В ситуации, когда все наше оружие контролируют руки и мозги людей, существует проблема «дружественного огня». Американское оружие может случайно убить американских солдат или гражданских людей, что нередко происходило в прошлом. Речь идет об ошибках, которые допускали люди, однако от этого не легче. А что, если наше роботизированное оружие откроет «дружественный огонь» и начнет уничтожать американцев или даже американскую собственность? Принять такое будет еще труднее (в особенности если враг разработает специальные стратегические мероприятия, направленные на то, чтобы сбить программы наших роботов и повернуть их огонь против нас). Нет, я уверен, что попытки применения роботов без специальных защитных систем провалятся и в конце концов мы все равно вернемся к Трем законам.

Разумы, действующие совместно

В эссе «Наши разумные инструменты» я упомянул о том, что может сложиться ситуация, когда роботы станут такими умными, что в конце концов нас заменят. Я предположил с некоторым цинизмом, что, учитывая поведение людей, подобная замена может оказаться очень даже полезной. С тех пор прошло время, и роботы начали занимать все более важное место в промышленности, и хотя они продолжают оставаться довольно тупыми (если говорить об уровне интеллектуального развития), они очень быстро развиваются.

В таком случае, пожалуй, нам следует еще раз взглянуть на возможность возникновения ситуации, когда роботы (или компьютеры, которые в действительности управляют роботами) нас заменят. Результат, разумеется, зависит от того, насколько разумны будут компьютеры и станут ли они настолько умнее нас, что наступит время, когда они будут относиться к нам как к домашним животным (в лучшим случае) или паразитам (в худшем).

Получается, что степень разумности – штука настолько простая, что ее можно измерить каким-нибудь прибором вроде линейки или градусника либо при помощи теста, а потом выразить цифрами. Если умственное развитие среднего человека можно обозначить цифрой 100 по шкале интеллектуального развития, получается, что, как только компьютер минует эту отметку, у нас появятся проблемы.

Впрочем, так ли все просто? Вне всякого сомнения, такая сложная вещь, как интеллект, должна характеризоваться множеством факторов и иметь массу разнообразных видов – если можно так сказать. Мне представляется, что нужно обладать до определенной степени развитым интеллектом, чтобы написать логично выстроенное эссе, выбрать правильные слова и поставить их в правильном порядке. Я также полагаю, что человек, изучающий сложное устройство, должен быть наделен развитым интеллектом, иначе он не поймет, как оно работает и что следует сделать, чтобы его усовершенствовать – или починить, если оно вдруг сломалось. Что касается литературного труда, я обладаю чрезвычайно высокоразвитым интеллектом; а вот в работе с разного рода машинами и устройствами я абсолютно ничего не понимаю. В таком случае, кто я – гений или идиот? Ответ таков: ни то ни другое. Просто какие-то вещи получаются у меня хорошо, а какие-то плохо. Это можно сказать про любого из нас.

В таком случае давайте немного поразмышляем о природе интеллекта человека и компьютера. Мозг человека состоит из протеина и нуклеиновых кислот; он развивался в течение трех миллиардов лет путем проб и ошибок; главными силами, толкавшими его вперед, были приспособление и выживание. С другой стороны, компьютеры состоят из металла и электронных схем; они являются продуктом экспериментов и разработок, которыми люди занимаются вот уже сорок лет; главной силой, заставляющей людей усовершенствовать компьютеры, является их желание создать машину, которая облегчила бы жизнь человеку. Если сами люди отличаются друг от друга уровнем и качеством своего интеллекта, разве не естественно, что интеллекты человека и машины будут категорически отличаться друг от друга в силу того, что они возникли и развивались в абсолютно разных условиях, сделаны из разных материалов и их усовершенствование обуславливают такие разные силы?

Может показаться, что компьютеры, даже самые простые, исключительно эффективны в определенных вопросах и областях. Они обладают солидной памятью, реагируют практически мгновенно и демонстрируют способность совершать бесконечное число повторяющихся арифметических действий без ошибок и видимой усталости. Если это можно считать мерилом интеллекта, в таком случае компьютеры уже стали намного умнее нас. Благодаря тому, что они настолько нас превосходят, мы используем их миллионами разных способов и отлично знаем, что наша экономика развалится, если все компьютеры одновременно перестанут работать.

Однако эта способность компьютера не является единственным определителем разумности. По правде говоря, мы считаем ее такой незначительной, что, вне зависимости от скорости и сложности решения, относимся к компьютеру как к громадной логарифмической линейке, не обладающей вообще никаким разумом. Когда речь идет о человеке, наделенном развитым интеллектом, мы имеем в виду его способность увидеть проблему в целом, интуитивно найти ее решение, разглядеть новые комбинации, построить необычные предположения и творческие догадки. Можем ли мы запрограммировать компьютер, чтобы он вел себя так же? Вряд ли, поскольку мы не знаем, как это у нас получается.

В таком случае складывается впечатление, что компьютеры будут с каждым днем становиться все эффективнее в выполнении простых однообразных задач с ближней перспективой и их «мозг» станет развиваться именно в этом направлении. А человек (благодаря накоплению знаний и все лучшему пониманию того, что представляет собой человеческий мозг, а также благодаря успехам генной инженерии) сумеет развивать до бесконечности свои творческие способности. Оба этих вида интеллекта имеют свои преимущества, и в сочетании мозг человека и компьютера – дополняя и компенсируя недостатки друг друга – смогут продвигаться вперед гораздо быстрее, чем по одиночке. Соперничество или замена будут тут совершенно ни при чем, два разума станут работать вместе; добиваясь более значительных результатов, чем если бы они действовали каждый сам по себе в соответствии со своей природой.

Мои роботы

Я написал свой первый рассказ «Робби» в мае 1939 года, когда мне было всего девятнадцать лет.

Мой рассказ отличался от увидевших свет раньше тем, что я твердо решил не делать из своих роботов символов. Они не должны были стать символами высокомерия человека. Они не должны были стать примером человеческих амбиций, покушающихся на владения Всевышнего. Они не должны были стать новой Вавилонской башней, требующей наказания.

Кроме того, я не хотел, чтобы роботов считали символом меньшинства. Они не должны были стать жалкими существами, которых несправедливо обижают, что послужило бы мне поводом для завуалированных намеков на притеснения, которым подвергаются евреи, чернокожие и прочие страдающие члены нашего общества. Естественно, меня такое положение глубоко возмущает, о чем я множество раз говорил в многочисленных статьях и эссе – но не в рассказах о роботах.

В таком случае, чем же являются мои роботы? Они всего лишь устройства. Инструменты. Машины, которые призваны служить людям. И я наделил их знанием Трех законов. Иным словами, робот не мог убить своего создателя. Объявив этот чрезвычайно популярный сюжет вне закона, я получил возможность рассмотреть другие, более рациональные последствия своего поступка.

Поскольку я начал писать рассказы о роботах в 1939 году, в них нет упоминаний об электронных компьютерах, которые тогда еще не были изобретены, а я не предвидел их появления. Впрочем, я предполагал, что мозг робота должен до определенной степени быть «электронным», и само понятие не казалось принадлежащим далекому будущему. Позитрон – субатомная частица, похожая на электрон, но имеющая противоположный электрический заряд, – был обнаружен всего за четыре года до того, как я написал свой первый рассказ о роботах. Все эти открытия звучали очень фантастично, и потому я наделил своих роботов «позитронными мозгами» и представил себе, что их мысли состоят из потоков позитронов, которые мгновенно возникают и так же мгновенно перестают существовать. В результате серия таких рассказов получила название «рассказы о позитронных роботах», но в них не придавалось особого значения предпочтению позитронов по сравнению с электронами.

Сначала я не старался систематизировать или даже вообще описывать защитные устройства, которыми, по моим представлениям, должны были быть снабжены роботы. Однако поскольку мне не хотелось создавать для роботов ситуации, в которых они могут убить своего создателя, я уделял особое внимание тому факту, что робот не в состоянии причинить вред человеку, постоянно подчеркивая, что этот закон внедрен в его позитронный мозг.

И потому в самой первой увидевшей свет версии рассказа «Робби» один из героев говорит: «Он просто не может не быть верным, любящим, добрым. Он просто устроен так».

Написав рассказ «Робби», который Джон Кэмпбелл из «Эстаундинг сайенс фикшн» отказался напечатать, я сочинил несколько других рассказов, которые Кэмпбелл принял. И 21 декабря 1940 года я пришел к нему с идеей о роботе, умеющем читать мысли (так появился «Лжец»), но Джона не устроили никакие мои объяснения по поводу того, почему робот вел себя именно так, а не иначе. Он хотел получить четко сформулированные законы, которые защищали бы людей от роботов, чтобы мы смогли лучше понимать их поведение. И тогда мы с ним вместе разработали концепцию, которая позднее стала называться «Три закона роботехники». Идея принадлежала мне и была взята из уже написанных рассказов, но конкретные формулировки (если я все правильно помню) мы разработали вместе.

Три закона были логичны и звучали вполне разумно. Прежде всего, когда я начал писать рассказы о своих роботах, я подумал, что следует позаботиться о безопасности человека. Более того, я прекрасно понимал, что, даже не стараясь сознательно причинить человеку вред, своей бездеятельностью робот может навлечь на него беду. Я никак не мог забыть циничного произведения Артура Хью Клоу «Последний декалог», в котором десять заповедей переписаны в сатирическом стиле Макиавелли. Чаще всего цитируется такая: «Не убий, но и не слишком старайся сохранить другому жизнь».

Именно по этой причине я настаивал на том, что Первый закон (безопасность) должен состоять из двух позиций:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

Позаботившись о безопасности, мы решили перейти ко Второму закону (служба). Естественно, следуя необходимости выполнять приказы людей, робот не должен забывать об их безопасности. Значит, Второй закон гласит:

2. Робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

И наконец, нам требовался третий закон (осторожность). Робот – дорогая машина, значит, необходимо ее беречь. Но не в ущерб безопасности и службе человеку. Итак, Третий закон выглядит следующим образом:

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.

Разумеется, эти законы сформулированы в словах, что является в определенной степени несовершенством. В позитронном мозгу они выражены в сложных математических формулах (в которых я ничего не понимаю). Однако даже при этом они достаточно двусмысленны. Что считать вредом для человека? Должен ли робот подчиняться приказам, которые отдает ему ребенок, или сумасшедший, или человек с дурными намерениями? Должен ли он отдать свое дорогостоящее и полезное существование, чтобы предотвратить незначительный вред, который может быть причинен маловажному человеку? Что есть «незначительный» и что есть «маловажный»?

По мнению автора, эта двусмысленность не является недоработкой Трех законов. Если бы Три закона были идеальными и не вызывали никаких сомнений, разве могли бы мы писать наши рассказы? Именно в хитроумных закоулках сомнений и лежат сюжеты, которые становятся фундаментом – уж простите за каламбур – «Города роботов».

Я не старался облечь в слова Три закона в своем рассказе «Лжец», который появился в мае 1941 года. Однако в следующем рассказе под названием «Хоровод», появившемся в марте 1942 года, я уделил им самое пристальное внимание. В этом номере на седьмой строке страницы сто, один из героев говорит: «Теперь слушай. Начнем с Трех основных законов роботехники – трех правил, которые прочно закреплены в позитронном мозгу», и дальше я их цитирую. Насколько мне известно, это первое появление в печати слова «роботехника», которое я изобрел.

С тех пор в течение более чем сорока лет, когда я написал множество рассказов и романов о роботах, ни разу не возникло такой ситуации, чтобы мне пришлось модифицировать Три закона. Однако время шло, мои роботы становились более сложными и разносторонними, и я почувствовал, что можно внести кое-какие изменения. Таким образом, в «Роботах и Империи», романе, опубликованном в 1985 году, я заговорил о том, что в достаточной степени продвинутый робот может почувствовать себя обязанным предотвратить вред, который, возможно, будет причинен всему человечеству в целом, а не какому-то отдельному индивидууму. Я назвал его «Нулевым законом роботехники» и все еще продолжаю над ним работать.

Изобретение Трех законов роботехники – пожалуй, самый крупный вклад, внесенный мной в научную фантастику. Теперь их часто цитируют даже те, кто не имеет никакого отношения к данной области литературы, и уж точно можно сказать, что история роботехники не будет считаться полной без упоминания Трех законов. В 1985 году издательство «Джон Уайли и сыновья» опубликовало «Руководство по промышленной роботехнике» под редакцией Саймона Й. Нофа, и по просьбе главного редактора я написал вступление, касающееся Трех законов.

Сейчас авторы произведений научной фантастики произвели на свет целое море самых разнообразных идей, доступных остальным писателям. Именно по этой причине я никогда не возражал против того, чтобы мои коллеги, посвящающие свои произведения роботам, пользовались моими Тремя законами.

Однако я категорически выступал против прямого их цитирования другими авторами. Относитесь к Трем законам как к данности, но не повторяйте их – такова моя позиция. Понятия принадлежат всем, а слова – только мне!

Законы науки о человеке

Три моих первых романа о роботах были в основе своей посвящены таинственным убийствам, в роли детектива выступал Илайджа Бейли. Из этих трех во втором романе – «Обнаженное солнце» – местом преступления является запертая комната, в которой находят труп и никакого оружия, хотя с самого начала ясно, что спрятать или вынести оружие было невозможно.

Мне удалось придумать вполне удовлетворительное решение, но я больше никогда не писал ничего подобного.

Четвертый роман о роботах – «Роботы и Империя» – изначально не является историей о загадочном убийстве. Илайджа Бейли умер собственной смертью в преклонном возрасте, а дальше повествование поворачивает в сторону вселенной «Основания», так что становится ясно, что обе мои известные серии – о роботах и «Основание» – сливаются вместе в единое, расширенное целое. (Нет, я сделал это не случайно. Мною двигала необходимость, возникшая после написания в 1980-х годах продолжения серий, созданных в 1940-х и 1950-х.) В «Роботах и Империи» герой-робот по имени Жискар, которого я очень люблю, рассуждает о «Законах науки о человеке», могущей, по моему мнению, впоследствии положить начало науке психоистории, играющей существенную роль в серии «Основание».

Строго говоря, Законы науки о человеке должны являться описанием (в сжатой форме) поведения человека. Естественно, такого описания в природе не существует. Даже психологи, изучающие данные проблемы с научной точки зрения (по крайней мере, я на это очень надеюсь), не могут представить никаких «законов» и отделываются лишь длинными и запутанными рассуждениями на тему о том, что люди делают, по их мнению. Когда психолог говорит, что человек реагирует определенным образом на определенный стимулятор, он имеет в виду, что так происходит с некоторыми людьми в некоторый момент. Другие в другой момент могут вести себя иначе или вовсе никак не реагировать.

Если мы будем действительно дожидаться появления неких правил поведения человека с целью создания науки психоистории, я полагаю, мы будем вынуждены ждать очень долго.

В таком случае, что нам делать с Законами науки о человеке? Думаю, нужно потихоньку начать и постепенно развивать их – если у нас, конечно, получится.

Таким образом, в «Роботах и Империи» появляется робот Жискар, который поднимает эти вопросы. Будучи роботом, он должен смотреть на все происходящее с точки зрения Трех законов роботехники, которые жестко предписывают ему, как он должен себя вести, поскольку он обязан им подчиняться и не может их нарушить.

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.

Мне кажется, робот не может не думать о том, что человеческим существам следует вести себя таким образом, чтобы роботам стало легче выполнять эти Три закона.

По правде говоря, я считаю, что люди, придерживающиеся этических норм, должны стараться облегчить жизнь роботам, как на их месте поступили бы роботы. Данные размышления стали темой рассказа «Двухсотлетний человек», опубликованного в 1976 году. Один герой-человек говорит:

«Раз человек имеет право отдать роботу любой приказ, лишь бы он не был во вред другому человеку, то простая порядочность не должна позволять ему отдавать роботу распоряжения во вред этому роботу, за исключением тех случаев, когда этого бесспорно требует спасение человеческой жизни. Чем больше власть, тем больше и ответственность, и если роботы подчинены Трем законам, гарантирующим безопасность людей, неужели так уж много – попросить, чтобы люди ввели закон-другой для защиты роботов?»

Например, Первый закон состоит из двух частей. Первая: «робот не может причинить вред человеку» – однозначна, и с ней ничего не нужно делать. Вторая: «или своим бездействием допустить, чтобы человеку был причинен вред», – дает нам некоторые возможности для полета фантазии. Человек может пострадать от какого-то неодушевленного предмета. На него упадет что-нибудь тяжелое, или он поскользнется и свалится в озеро, или с ним случится любой из тысяч несчастных случаев, предвидеть которые невозможно. В такой ситуации робот должен попытаться спасти человека: вытащить в безопасное место, поддержать и тому подобное. Или человеку будет угрожать какое-нибудь живое существо, например лев, и тогда робот тоже обязан прийти ему на помощь.

А что, если человеку угрожает другой человек? Здесь роботу придется принимать решение, что ему делать. Сможет ли он спасти одного человека, не причинив вред другому? Или если избежать этого невозможно, какие действия следует предпринять, чтобы вред был минимальным?

Роботам жилось бы намного легче, если бы люди так же беспокоились о благополучии других людей, как должны это делать роботы. И разумеется, любой кодекс морали потребует от человека заботиться о других и стараться сделать все, чтобы им не был причинен вред. Что, в конце концов, и является мандатом, который люди дали роботам. Получается, что Первый закон науки о человеке с точки зрения роботов должен звучать так:

1. Человек не может допустить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

Если этот закон будет выполняться, роботам останется лишь оберегать людей от несчастных случаев с неодушевленными предметами и живыми существами (не людьми), что освободит их от решения этических проблем. Разумеется, робот должен оберегать человека от вреда, который может неосознанно причинить ему другое человеческое существо. Кроме того, он обязан быть готов прийти ему на помощь, если другой человек по объективным причинам не в состоянии оказать ему эту помощь достаточно быстро. Однако даже робот может неосознанно навредить человеку, и даже робот может не проявить достаточной сноровки и не успеть попасть к месту действия, да и умений ему может не хватить, чтобы предпринять необходимые меры. Ничто в нашем мире не идеально.

Таким образом, мы подходим ко Второму закону роботехники, который требует, чтобы робот повиновался всем приказам, отданным ему человеком, если они не вступают в конфликт с Первым законом. Это означает, что человек имеет право приказывать роботу все, что угодно, без ограничений, если только его желания не причинят вред другому человеку.

Но ведь человек может приказать роботу нечто невыполнимое или его воля поставит робота перед дилеммой, которая может повредить позитронный мозг. В расскаже «Лжец», опубликованном в 1940 году, человек совершенно сознательно поставил перед роботом задачу, которая сожгла его мозг, и машина перестала существовать.

Мы можем даже представить ситуацию, когда появятся достаточно разумные роботы, которые будут в состоянии избежать гибели, если их вынудят делать нечто бессмысленно сложное или злостное. Следовательно, Второй закон науки о человеке должен гласить:

2. Человек должен отдавать роботу приказы, которые не вредят существованию робота, если только эти приказы не явятся причиной вреда или неудобства для других людей.

Целью Третьего закона роботехники было защитить роботов, но с точки зрения робота он может показаться не слишком надежным. Робот должен пожертвовать собой, если того потребуют Первый и Второй законы. Когда речь идет о Первом законе, тут не может быть никаких возражений. Робот обязан забыть о собственной безопасности, если это единственный путь защитить человека или предотвратить опасность, которая ему угрожает. Если мы признаем, что любое человеческое существо важнее любого робота (по правде говоря, я признаю это не вполне охотно), то такая формулировка неизбежноа.

С другой стороны, должен ли робот жертвовать собой, выполняя какой-нибудь несущественный или даже вредоносный приказ? В «Двухсотлетнем человеке» хулиганы сознательно приказывают роботу разобрать себя на части исключительно ради собственного развлечения. Получается, что Третий закон науки о человеке должен звучать следующим образом:

3. Человек не должен причинять вреда роботу или своим бездействием допустить, чтобы роботу был причинен вред, кроме тех случаев, когда робот вынужден пожертвовать собой, чтобы спасти человека или выполнить жизненно важный приказ.

Естественно, мы не можем навязать эти законы, как в ситуации с законами роботехники. Мы не в силах запрограммировать мозг человека, как мозг робота. Однако это начало, и я искренне считаю, что, если нам предстоит управлять умными роботами, мы должны быть за них ответственны, как сказал мой герой из рассказа «Двухсотлетний человек».

Кибернетический организм

Робот – это робот, а организм – это организм.

Организм, как нам известно, состоит из клеток. С молекулярной точки зрения, главными являются нуклеиновые кислоты и протеины. Они находятся в жидкой среде, которую поддерживает костная структура. Бессмысленно продолжать рассуждать на данную тему, поскольку мы все знакомы со строением организмов и сами являемся одной из его разновидностей.

С другой стороны, робот (как его принято описывать в научно-фантастической литературе) это объект, относительно похожий на человека, построенный из надежного металла, не подверженного ржавлению. Фантасты редко описывают внутреннее строение роботов, поскольку это не имеет принципиального значения для сюжета, да они и не особенно разбираются в технических деталях.

Однако из рассказов часто складывается впечатление, что внутри робота имеется масса проводов, по которым проводится электричество, и никаких трубок для тока крови. Источник питания, как правило, не называется, или становится ясно, что он имеет отношение к атомной энергии.

А как насчет мозга?

Когда я написал свои первые рассказы о роботах в 1939 и 1940 годах, я представил себе «позитронный мозг» губчатого типа из сплава платины и иридия. Я выбрал именно такой материал, потому что он особенно инерционен и меньше всего подвержен химическим реакциям. Губчатый он для того, чтобы обеспечить большую поверхность, на которой могут создаваться и разрушаться электрические схемы. «Позитронный» – поскольку за четыре года до моего первого рассказа о роботах был открыт позитрон как противовес электрону, и потому «позитронный» вместо «электронный» неплохо звучало с точки зрения фантастики.

Разумеется, сегодня мой позитронный мозг из сплава платины и иридия безнадежно устарел. Даже через десять лет после его изобретения он казался архаичным. К концу 1940-х годов мы уже понимали, что мозг робота должен быть чем-то вроде компьютера. Действительно, если робот настолько сложен, каким он описывается в моих более свежих романах, его мозг должен быть похож на мозг человека и состоять из крошечных микрочипов, не крупнее клеток мозга.

А теперь давайте представим себе нечто не являющееся ни организмом, ни роботом, а комбинацией и того и лругого. Возможно, мы имеем право рассматривать его как организм-робот или «орбот». Вне всякого сомнения, это не слишком удачное название, посокльку мы всего лишь переставили две буквы. Сказать «оргабот» – значит придумать довольно уродливое слово.

Мы можем назвать это создание робот-организм, или «роботанизм» (что, несомненно, еще хуже), или «роборг». Лично мне кажется, что «роборг» звучит не так уж плохо, но и это имя не годится.

Давным-давно Норберт Винер назвал науку о компьютерах кибернетикой, и потому, если мы будем рассматривать нечто среднее между организмом и роботом, кибернетическим устройством по своей природе, у нас может получиться «кибернетический организм», или «киборг». Это слово действительно прекрасно прижилось и постоянно используется.

Чтобы понять, каким должен быть киборг, давайте начнем с человеческого организма и постепенно подойдем к роботу. А когда мы с этим покончим, повторим тот же процесс – только в обратном направлении.

Чтобы перейти от человеческого организма к роботу, мы должны начать с замены частей человеческого организма на части робота. В некоторых областях мы уже к этому перешли. Например, большинство моих зубов сделано из металла, который является главным строительным материалом для роботов.

Естественно, части, которые мы будем заменять, не обязательно должны быть механическими. Кое-какие из моих зубов сделаны из керамики, и их невозможно отличить от настоящих. Однако даже несмотря не то, что керамика внешне (и до определенной степени по своему химическому составу) не отличается от природного материала, из которого состоят мои зубы, она не несет в себе никаких признаков живой материи.

Пойдем дальше. Моя грудина, которая была распилена в длину для проведения операции много лет назад, соединена металлическими скобами. У моей невестки искуственный бедренный сустав. Я знаю людей, у которых искуственные руки или ноги, и такие конечности с каждым годом становятся все сложнее по своей констркуции, так что их владельцы могут ими пользоваться почти как настоящими. Мы знаем про людей, которые прожили несколько дней или даже месяцев с искуственным сердцем, и таких, чья жизнь продлена на годы при помощи электрокардиостимулятора.

Мы можем представить себе времена, когда та или иная часть человеческого организма будет заменена неорганическими материалами или устройствами, созданными инженерами. Существует ли хотя бы что-нибудь, что невозможно заменить – по крайней мере, в нашем воображении?

Я думаю, ответ очевиден. Замените любую часть человеческого тела или организма – конечности, сердце, печень, кости и тому подобное, но человек все равно останется человеком. С искуственными частями тела, но все равно человеком.

А как насчет мозга?

Вне всякого сомнения, единственное, что делает нас людьми, это мозг. А индивидуальностями нас делает исключительно сложное его строение, чувства, знания, память. Вы не можете взять и заменить мозг мыслящим устройством, изготовленным на заводе. Необходимо внести нечто такое, что включает в себя все, известное человеческому мозгу, обладает его памятью и полностью повторяет схему его работы.

Искуственная конечность может действовать не идентично настоящей, но, однако, выполнять некоторые необходимые функции. То же самое мы скажем об искуственной почке, легком или печени. Искуственный мозг должен стать точной копией мозга, который он заменяет, или человек перестанет быть тем человеческим существом, которым он был.

Значит, самым сложным в переходе от человеческого организма к роботу является мозг.

А наоборот?

В «Двухсотлетнем человеке» я описал превращение моего героя-робота, Эндрю Мартина, в человека. Очень медленно, понемногу он менял себя, пока внешне не стал неотличим от человека. Он демонстрировал интеллект, равный человеческому (или даже превосходящий его). Он был историком, художником, ученым, администратором. Сумел провести законы, гарантирующие роботам определенные права, и завоевал всеобщее уважение и восхищение.

Однако ему так и не удалось добиться того, чтобы его считали человеком. И главная причина здесь тоже заключалась в проблеме мозга. Он понял, что должен решить эту задачу, прежде чем одолеть последний барьер.

И тут мы подходим к дихотомии тела и мозга. Настоящим киборгом следует считать такого, у которго тело и мозг не соответствуют друг другу. Значит, мы имеем две группы совершенных киборгов:

а) мозг робота в теле человека; б) мозг человека в теле робота.

Совершенно очевидно, что мы оцениваем человеческое существо (или робота) по первому внешнему впечатлению, которое он производит.

Я легко могу представить себе мужчину, который, увидев женщину поразительной красоты, с благоговением замрет на месте. «Какая красавица!» – скажет или подумает он. И без проблем представит себе, как влюбляется в нее с первого взгляда. В романах так происходит довольно регулярно. Разумеется, женщина, увидевшая потрясающе красивого мужчину, отреагирует на него точно так же.

Если вы теряете голову от восхитительно красивого человека, вряд ли вы станете задавать себе вопрос, наделила ли его (или ее) природа развитым интеллектом, хорошим характером, здравым смыслом, добротой и благородством. Если в конце концов выясняется, что красота – единственное достоинство данного человека, вы все равно найдете этому массу оправданий и будете оставаться жертвой (по крайней мере, некоторое время) условного рефлекса, который вызывает эротические реакции. Разумеется, наступит момент, когда вы устанете от прекрасной внешности без какого-либо внутреннего содержания, но кто знает, сколько должно пройти времени, чтобы это произошло?

С другой стороны, человек с огромным количеством положительных качеств, но вполне заурядной внешностью может не обратить на себя ваше внимание, если только вы не обладаете достаточно развитым интеллектом, чтобы увидеть эти качества и понять, что с данным человеком вас ждет долгая и счастливая жизнь.

Я хочу сказать, что киборг с мозгом робота в теле человека будет принят большинством, если не всеми, как человеческое существо, в то время как киборг с мозгом человека в теле робота будет рассматриваться большинством, если не всеми, как робот. В конце концов, мы все, по крайней мере для большинства, то, чем мы кажемся внешне.

Однако эти два диаметрально противоположных киборга поставят перед людьми совершенно разные проблемы.

Представьте себе мозг робота в теле человека и задайте вопрос, зачем нужен такой перенос. Мозг робота будет чувствовать себя намного лучше в теле робота, поскольку тело человека менее надежно. Возьмем, например, тело молодого здорового человека, мозг которго поврежден в результате травмы или болезни. Вы можете подумать: «Зачем пропадать такому прекрасному телу? Давайте снабдим его мозгом робота, и он сможет прожить полноценную жизнь».

Если вы так поступите, человеческое существо, получившееся в результате, не будет иметь ничего общего с изначальным. Вы будете иметь совсем другого человека. Вы сохраните не индивидуальность, а лишь определенное бездушное тело. А человеческое тело, какое угодно прекрасное, без мозга, который ему соответствует, – вещь дешевая. Каждый день на свет появляется полмиллиона новых тел. Нет никакой нужды сохрантяь какое-то из них, если поврежден мозг.

С другой стороны, как насчет человеческого мозга в теле робота? Наш мозг не вечен, но он может существовать до девяноста лет, не становясь совершенно бесполезным. Причем известно множество случаев, когда и в девяносто лет люди сохраняли остроту ума и были способны продуцировать разумные и любопытные мысли. Однако мы знаем и такие случаи, когда великолепный мозг погибал после двадцати или тридцати лет существования, потому что тело, в котором он находился, умирало в результате травмы или болезни. В таком случае выходит, что у нас есть серьезные основания для переноса абсолюьно здорового (или гениального) мозга в тело робота, чтобы продлить его полезное существование.

Таким образом, когда мы говрим «киборг», мы практически всегда думаем о мозге человека, помещенном в тело робота, и считаем получившийся результат роботом.

Мы можем сказать, что мозг человека – это мозг человека, что он главное, и не важно, где он находится, – и будем правы. Я уверен, что любой здравомыслящий суд решит, что киборг с мозгом человека должен иметь все права человека. Он может голосовать, не должен становиться рабом, и тому подобное.

Однако представим себе такое заявление, обращенное к киборгу: «Докажи, что у тебя мозг человека, а не робота, прежде чем мы позволим тебе получить все права человека».

Самый простой способ для киборга представить необходимые доказательства

– это продемонстрировать, что его не ограничивают Три закона роботехники. Поскольку они навязывают ему социально приемлемое поведение, это означает, что он должен вести себя как человек (иными словами, отвратительно). В таком случае самым простым и веским аргументом будет хорошенько врезать тому, кто задал вопрос, причем так, чтобы сломать ему челюсть, – роботу это вполне по силам. (В рассказе «Улики», который увидел свет в 1947 году, я решил прибегнуть именно к такому способу доказательства, однако должен признаться, что в моем рассказе имеется подвох.) Но если киборг должен постоянно демонстрировать грубую физическую силу, чтобы доказать, что он обладает мозгом человека, это не прибавит ему друзей.

Поэтому, даже если его и примут в обществе в качестве человека, позволят голосовать, снимать номера в гостиницах и делать прочие вещи, которые делают обычные люди, все же должны существовать определенные факторы, отличающие киборга от настоящего человеческого существа. Киборг сильнее человека, а его металлические кулаки могут представлять для нас семертельную опасность. В таком случае ему следует запретить вступать в драку с человеком даже в случае самозащиты, заниматься различными видами спорта на одном уровне с людьми и тому подобное.

Но разве обязательно помещать мозг человека в металлическое тело? А почему бы не использовать тело из керамики, пластика и разных волокон, чтобы на ощупь оно не отличалось от человеческого?

Однако я подозреваю, что проблемы киборгов все равно таким способом не решатся. Киборги будут другими. Люди все равно заметят даже совсем незначительные отличия.

Нам известно, что люди, имеющие настоящие человеческие мозги и тела, ненавидят друг друга только потому, что у них кожа или волосы разного цвета, не такой разрез глаз, другой формы нос, губы.

Нам известно, что люди, которые не различаются ни одной из физических характеристик, становящихся причиной для ненависти, могут находиться в состоянии войны друг с другом по вопросам, не имеющих никакого отношения к внешности, – я имею в виду религиозные и политические разногласия, языковые барьеры или даже гражданские войны.

Давайте посмотрим правде в глаза: серьезные трудности возникнут у киборгов в любом случае.

Чувство юмора

Будет ли робот мечтать стать человеком?

Можете ответить вопросом на вопрос: мечтает ли «шевроле» стать «кадиллаком»?

Мой ответный вопрос содержит в себе завуалированное утверждение, что машина не может мечтать.

Но загвоздка в том, что робот – это не совсем машина, по крайней мере в том, что касается его потенциала. Робот сделан так, чтобы максимально – насколько это возможно – походить на человека, а где-то имеется пограничная линия, через которую в будущем мы вполне можем перешагнуть.

Давайте применим мои рассуждения к жизни. Земляной червь не мечтает стать змеей, гиппопотам не стремится превратиться в слона. У нас нет никаких оснований считать, что подобные существа обладают самосознанием и хотят стать чем-то бoльшим, чем они есть на самом деле. Шимпанзе и гориллы, похоже, обладают самосознанием, но у нас нет никаких оснований полагать, что они хотят стать людьми.

Однако человек размышляет о загробной жизни и мечтает стать ангелом. Где-то жизнь пересекла пограничную линию. В какой-то точке в мире появился вид живых существ, которые обладают не только самосознанием, но и способностью быть недовольными собой.

Возможно, когда-нибудь мы пересечем похожую границу в вопросах создания роботов.

Но если мы уверены, что наступит день, когда робот станет мечтать о том, чтобы превратиться в человека, как это будет выглядеть? Вполне возможно, что он захочет получить социальный и юридический статус, который дается человеку при рождении. Такова тема моего рассказа «Двухсотлетний человек». Преследуя эту цель, мой главный герой-робот был готов отказаться от всех качеств, присущих роботу. Он расставался с ними постепенно, отдавал одно за другим, вплоть до бессмертия.

Однако этот рассказ можно назвать скорее философским, чем реалистичным. Что такого имеет человек, чему может позавидовать робот, – каким его физическим или интеллектуальным качествам? Ни один разумный робот не захочет иметь столь ненадежное, слабое тело или станет завидовать тому, что человек не в состоянии выжить при малейших переменах в окружающей среде, или тому, что он нуждается во сне, способен совершать глупейшие ошибки, подвержен инфекционным и прочим болезням или становится беспомощным из-за собственных эмоций.

Скорее робот позавидует умению человека любить и дружить, его неуемному любопытству, желанию экспериментировать. Однако я полагаю, что робот, мечтающий стать человеком, довольно скоро сообразит, что больше всего ему хочется понять (но как раз этого ему понять не дано), что такое чувство юмора, присущее нам, людям.

Мы не станем утверждать, что чувством юмора обладают все без исключения люди, хотя оно и присутствует во всех абсолютно культурах. Я был знаком со многими людьми, которые не смеялись, а смотрели с удивлением и даже с презрением, если я пытался шутить. Мне не нужно ходить далеко за примером. Мой собственный отец только пожимал плечами на мои самые забавные замечания, словно считал их недостойными внимания серьезного человека. К счастью, моя мать всегда смеялась моим шуткам, иначе я вырос бы эмоционально неполноценным.

Самым поразительным в чувстве юмора является то, что ни один человек не признается в его отсутствии. Люди спокойно говорят, что ненавидят собак и не любят детей, с радостью сообщают, что мухлюют с налогами или обманывают своего супруга, и не станут протестовать, если их посчитают жестокими или нечестными, а просто поменяют слова и назовут себя реалистами и деловыми людьми.

Однако обвините их в отсутствии чувства юмора, и они всякий раз станут яростно протестовать, вне зависимости от того, сколько раз они демонстрировали, что его у них попросту нет. Например, мой отец всегда утверждал, что у него потрясающее чувство юмора и он с удовольствием это докажет, когда услышит шутку, над которой стоит посмеяться (на моей памяти ему так ни разу и не довелось такой шутки услышать).

Почему же люди протестуют против обвинений в том, что у них нет чувства юмора? По-видимому, они понимают (в глубине души), что чувство юмора – это типично человеческая характеристика, гораздо более важная, чем все остальные, и отказываются быть причисленными к разряду существ, стоящих на более низкой ступени развития.

Я только один раз взял чувство юмора за тему своего научно-фантастического рассказа – «Шутник» появился в 1956 году в декабрьском номере «Инфинити сайенс фикшн», и был снова напечатан в моем сборнике «Лучшие произведения Айзека Азимова» (1986).

Главный герой все время рассказывал анекдоты компьютеру (в рассказе я процитировал шесть из них). Компьютер – это, разумеется, неподвижный робот, или, что одно и то же, робот – это подвижный компьютер. Получается, что мой рассказ посвящен роботам и шуткам. К несчастью, герой рассказа пытался раскрыть не природу юмора, а источник всех шуток, которые мы слышим. И он нашел ответ, но вам придется прочитать рассказ, чтобы его узнать.

Однако я пишу не просто научную фантастику, я пишу обо всем, что приходит в мою бедную, занятую самыми разными мыслями голову, и (по совершенно незаслуженному и счастливому стечению обстоятельств) разные издатели, с которыми я имею дело, почему-то считают, что отказать мне в публикации рукописи противозаконно. (Можете не сомневаться, я ни разу не попытался вывести их из этого заблуждения.)

Таким образом, когда я решил написать книгу шуток, я так и поступил, и издательство «Хаутон Миффлин» опубликовало ее в 1971 году под названием «Сокровищница юмора Айзека Азимова». В ней я рассказал 640 анекдотов, которые запомнил и которые входят в мой репертуар. (Должен заметить, что у меня имеется достаточно веселых историй для продолжения такой книги, кторая может быть озаглавлена «Айзек Азимов снова смеется», но мне никак не удается ее написать, сколько бы я ни сидел за пишущей машинкой и как бы старательно ни нажимал на клавиши.) Анекдоты в своей книге я перемежал собственными теориями относительно природы смешного и того, как человек умудряется сделать забавный рассказ еще более забавным.

Понимаете, существует столько же различных теорий касательно юмора, сколько на свете людей, пишущих на данную тему, и вы не найдете среди них ни одной схожей. Одни, конечно же, звучат намного глупее других, и я не испытал ни грамма смущения, когда решил добавить собственные мысли к остальным комментариям.

Мне представляется, что единственным необходимым условием хорошей шутки является неожиданная смена акцентов. Чем она резче и радикальнее, чем острее в ней необходимость, тем быстрее она становится понятна, тем громче смех и веселье.

Позвольте привести вам пример одного из немногих анекдотов, которые я придумал сам:

Я уверен, что вы заметили, как переместились акценты в данной истории. Самым естественным предположением является то, что Билл переживает трагическую потерю. И только последние слова совершенно неожиданно дают вам понять, что в действительности он счастлив. Среднестатистический мужчина достаточно двойственно относится к своей жене (даже самой любимой), чтобы с радостью отреагировать на такую перестановку акцентов.

Если создать робота, который обладает мозгом, способным реагировать только на логические построения (а какая польза от других роботов людям, которые намерены использовать их для собственной выгоды?), добиться реакции на перестановку акцентов будет очень трудно. Получится, что законы логики ошибаются и не обладают определенной гибкостью, – чего нет на самом деле. В дополнение следует заметить, что внедрять в мозг робота понятие двойственного восприятия действительности опасно. Он может оказаться в положении Гамлета, который задает себе свой знаменитый вопрос.

Давайте представим, что мы рассказали роботу анекдот, который я поведал вам чуть раньше. Робот внимательно посмотрит на вас, когда вы закончите, и спросит:

Робот: А почему Джим перестал быть лучшим другом Билла? Вы не сказали, что Джим сделал что-то такое, от чего Билл мог бы на него рассердиться или расстроиться.

Вы: Ну, речь не о том, что сделал Джим. Кто-то другой сделал для Билла нечто настолько замечательное, что он стал вместо Джима новым лучшим другом Билла.

Робот: А кто это сделал?

Вы: Человек, который сбежал с женой Билла, разумеется.

Робот (после некоторых раздумий): Но этого не может быть. Билл должен был чувствовать глубокую привязанность к своей жене и сильную печаль, когда он ее лишился. Разве не так мужчины относятся к своим женам, не так реагируют, когда остаются без них?

Вы: Теоретически так. Однако складывается впечатление, что Билл испытывал сильную неприязнь к своей жене и обрадовался, когда кто-то с ней убежал.

Робот (после очередных раздумий): Но вы ничего подобного не говорили.

Вы: Я знаю. В этом заключен смысл шутки. Я повел тебя в определенном направлении, а затем неожиданно показал, что оно неправильное.

Робот: Увести человека в неправильном направлении смешно?

Вы (сдаваясь): Ладно, давай лучше продолжим строить наш дом.

На самом деле некоторые шутки строятся на нелогичных заявлениях людей. Вот, например, такая:

Если вы по глупости решите рассказать этот анекдот роботу, он моментально ответит:

Робот: Но если он останется при своих, значит, он уйдет со стадиона точно с таким же количеством денег, с каким пришел. Разве нет?

Вы: Именно.

Робот: В таком случае, если он нуждается в деньгах, ему не следует делать никаких ставок, и тогда получится, что он остался при своих.

Вы: Да, но он игрок и не может не делать ставок.

Робот: Даже если проигрывает?

Вы: Да.

Робот: Но это же бессмысленно.

Вы: Суть шутки заключается в том, что игрок этого не понимает.

Робот: Вы хотите сказать, что, если человек не обладает чувством логики и не способен понимать даже элементарные вещи, это смешно?

Что вам остается, кроме как не снова вернутсья к строительству дома?

Но скажите мне, разве такая реакция робота отличается от реакции человека, лишенного чувства юмора?

Однажды я рассказал отцу вот какой анекдот:

Как вы думаете, что ответил мой отец? Он сказал: «Айзек, Айзек, ты городской мальчик и потому ничего не понимаешь. Нельзя заставить лошадь идти вверх по лестнице, если она не хочет».

Лично я считаю, что его комментарий смешнее самой шутки.

В любом случае я не понимаю, зачем роботу чувство юмора, но сам робот может захотеть его иметь – и как мы решим эту проблему?

Взаимодействие роботов

Я сочиняю рассказы про роботов вот уже полвека. За это время мне удалось обсудить данную тему с самых разных сторон.

Поверьте, в мои намерения не входило составление энциклопедии роботов; я даже не собирался писать про них в течение полувека. Просто получилось, что мне удалось так долго продержаться и сохранить собственный интерес к данной проблеме. А еще получилось, что, стараясь придумать новые идеи для рассказов про роботов, я пришел к тому, что размышлял практически обо всем на свете.

Например, в шестом томе серии «Город роботов» речь идет о хемфетах, которые были внедрены в тело главного героя, чтобы обеспечить ему прямой психоэлектронный контроль над главным компьютером и, следовательно, всеми роботами в Городе роботов.

В книге «Край Основания» (1982) мой герой Голан Тревиз, прежде чем стартовать на космическом корабле, входит в контакт с суперсовременным компьютером, положив руки на указанное место на панели, у которой он сидит.

«И когда они с компьютером соединили руки, их мысли слились воедино…

…он увидел четко и ясно комнату – не только в том напралении, в котором смотрел, а все вокруг, даже то, что находилось вверху и внизу.

Он увидел все каюты на космическом корабле, и то, что было снаружи. Солнце встало… но он мог смотреть прямо на него, и оно его не ослепило…

Он почувствовал легкий ветерок и его тепло, звуки, которые издавал окружающий мир. Он ощутил магнитное поле планеты и крошечные электрические заряды, касающиеся корпуса корабля.

Он почувствовал панель управления кораблем… Он знал… что если он захочет поднять корабль, или повернуть его, или придать ему ускорение, или воспользоватсья другими его возможностями, это будет все равно как проделать то же самое со своим телом. Нужно только захотеть».

Вот так я представил себе взаимосвязь человеческого мозга и компьютера, а теперь, работая над новой книгой, не могу не думать над этой проблемой и пытаться найти новые решения.

Полагаю, что впервые человек научился устанавливать связь между своим сознанием и другим видом сознания в тот момент, когда он приручил лошадь и научился использовать ее в качестве транспортного средства. Общение человека с лошадью достигло своей наивысшей точки, когда он сел верхом и при помощи кнута, шпор, серии определенных движений и звуков сумел заставить лошадь вести себя так, как ему нужно.

Неудивительно, что древние греки, увидев всадников, скачущих по относительно широкой Тессалийской долине (район Греции, наиболее подходящий для коневодства), решили, что они видят животное с человеческим торсом и телом лошади. Так на свет появились кентавры.

Разумеется, не следует забывать о гонщиках и каскадерах, которые могут заставить автомобиль выделывать поразительные штуки. Можно представить себе, что житель Новой Гвинеи, который никогда не видел и не слышал про автомобиль, подумает, что подобные фокусы вытворяет диковинное живое существо, частью строения которого является человек, сидящий у него в брюхе.

Но человек в соединении с лошадью – это несовершенное слияние интеллектов, а человек плюс автомобиль – всего лишь механический инструмент для усиления мышечной силы человека. Лошадь может легко проигнорировать приказ или даже убежать, охваченная неконтролируемым страхом. Автомобиль может сломаться в самый неподходящий момент.

Однако слияние человека и компьютера может оказаться максмальным приближением к идеалу. Оно может стать инструментом для более эффективной мозговой деятельности человека, и я постарался показать в романе «Край Основания» усиление и интенсификацию восприятия окружающей действительности.

В данных обстоятельствах, возможно ли, что благодаря такому слиянию появится единый организм, нечто вроде кибернетического «кентавра»? А как только такой союз будет создан, захочет ли человек его разорвать? Не почувствует ли он, что разрыв причинит ему невыносимую боль потери, настолько сильную, что он не сможет жить с ощущением нищенства своего ума и воли? В моем романе Голан Тревиз мог в любой момент по собственному желанию отсоединиться от компьютера и не испытывал при этом никаких неприятных ощущений. Но, возможно, это не очень реалистично.

Другая проблема, которая время от времени обсуждается в серии «Город роботов», – это отношения роботов между собой.

Я не слишком часто обсуждал ее в своих рассказах, поскольку, как правило, в каждом данном рассказе у меня один главный герой-робот, и меня интересуют вопросы взаимодействия этого конкретного робота и людей.

Давайте представим себе разные сочетания роботов.

Первый закон утверждает, что робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

Предположим, у нас имеется два робота. Один из них по неосторожности, из-за отсутствия необходимых знаний или в силу определенных обстоятельств ведет себя таким образом (неосознанно), что его действия могут причинить вред человеку, – и предположим, что второй робот, обладающий более обширными знаниями или пониманием ситуации, это осознает. Разве Первый закон не требует от него, чтобы он остановил первого робота? Если нет другого пути, разве Первый закон не требует от него, чтобы он уничтожил первого робота без сожалений и колебаний?

Так, в моей книге «Роботы и Империя» (1985) показан робот, которому объяснили, что люди – это существа, разговаривающие с определенным акцентом. У героини книги другой акцент, следовательно, робот имеет полное право ее убить. Его мгновенно уничтожает другой робот.

Точно такая же ситуация возникает и когда мы вспомним о Втором законе, в котором говорится, что робот должен повиноваться приказам человека, если эти приказы не противоречат Первому закону.

Если один из двух роботов вследствие незнания или небрежности не выполняет приказ человека, второй должен либо выполнить команду сам, либо заставить первого робота это сделать.

Так, в одной из самых напряженных сцен в «Роботах и Империи» злодейка отдает роботу прямой приказ. Тот колеблется, потому что его выполнение может причинить вред героине. Возникает конфронтация между злодейкой, которая настаивает на выполнении своего приказа, и вторым роботом, пытающимся убедить первого в том, что героиня может пострадать. Здесь возникла ситуация, когда один робот пытается уговорить второго подчиниться Второму закону в его истинном звучании и противостоять человеку.

Однако самые серьезные проблемы, когда речь идет о взаимодействии роботов, возникают в связи с Третьим законом.

Третий закон утверждает, что робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.

Но что, если речь идет о двух роботах? Озабочен ли каждый из них своим собственным существованием, что является буквальным пониманием закона? Или каждый робот испытывает необходимость помогать своим собратьям в ситуациях, когда речь идет об опасности для их существования?

Как я уже говорил, я не слишком много занимался этой проблемой, когда писал рассказы, в которых главным героем был один робот. (Иногда там появлялись и другие роботы, но они были второстепенными персонажами – всего лишь оруженосцами, если можно так выразиться.) Однако сначала в «Роботах рассвета» (1983), а затем в сборнике «Роботы и Империя» я описал двух роботов, которые играли одинаково важную роль для повествования. Один из них – Р. Дэниэл Оливо, антропоморфный робот (которого не так просто отличить от человека), появлявшийся в «Стальных пещерах» (1954) и в его продолжении «Обнаженное солнце» (1957). Другой – Р. Жискар Ревентлов, который имеет более стандартную металлическую внешность. Оба робота обладают интеллектом, сходным по сложности с человеческим.

Именно они вступили в борьбу со злодейкой по имени леди Василия. Она приказала Жискару (таков поворот сюжета) оставить службу у Глэдии (главной героини) и поступить в ее собственное распоряжение. А Дэниел приводил доводы, чтобы убедить Жискара остаться с Глэдией. Жискар обладает способностью устанавливать ограниченный ментальный контакт над человеческими существами, и Дэниел пытается его уговорить, что ради безопасности Глэдии ему следует взять под контроль Василию. Он даже рассуждает о пользе для всего человечества («Нулевой закон»), которую принесет данный образ действий.

Доводы Дэниела ослабляют приказы Василии, но в недостаточной степени. Жискар колеблется, но его невозможно заставить действовать.

Тем временем Василия решает, что Дэниел слишком опасен: если он будет продолжать спорить, он может убедить Жискара в своей правоте. Тогда она приказывает собственным роботам отключить Дэниела, а затем велит Дэниелу не сопротивляться. Дэниел обязан подчиниться, и роботы Василии принимаются за дело.

Именно в этот момент и «просыпается» Жискар. Четыре робота выведены из строя, а сама Василия погрузилась в сон. Позднее Дэниел просит Жискара рассказать ему, что произошло.

Жискар говорит:

«Когда она приказала роботам разобрать тебя на составные части, друг Дэниел, и продемонстрировала явное удовольствие от этой перспективы, твоя безопасность плюс концепция Нулевого закона перевесили действие Второго закона и вступили в противоречие с Первым. Комбинация Нулевого закона, психоистории, моей верности леди Глэдии и того, что ты попал в беду, заставили меня действовать».

Дэниел заявлет, что его собственные нужды (поскольку он всего лишь робот) не должны были повлиять на действия Жискара. Тот с ним не согласен, однако говорит:

«Странная вещь, друг Дэниел. Я не знаю, как так получилось… В тот момент, когда роботы начали к тебе приближаться, а леди Василия не смогла скрыть ликования, схема моих позитронных дорожек реформировалась аномальным образом. На мгновение я подумал, что ты человек, и отреагировал соответсвующим образом».

«Это было неправильно», – говорит Дэниел.

«Я знаю, – отвечает Жискар. – Однако если такое случится снова, мне кажется, та же аномальная перемена произойдет опять».

Дэниел понимает, что, если бы он оказался в подобной ситуации и опасность угрожала бы Жискару, он тоже встал бы на его защиту.