У меня нет рта, а я должен кричать: рассказ про жизнь, в которой можно только быть

Дисклаймер: Рассказ - строго 18+ и я не рекомендую читать его и даже продолжать читать эту статью людям с неустойчивой психикой и сильно восприимчивым.

Всё совпало. Я достаточно взрослый для осознания. Искусственный интеллект шагает по планете. Появилась нейросеть равная полной карте мозга мухи-дрозофилы, которую учат «энтузиасты» чему попало. Я прочитал рассказ «У меня нет рта, а я должен кричать» (англ. I Have No Mouth, and I Must Scream) американского писателя-фантаста Харлана Эллисона. Я прочитал рассказ в версии, в которой перед рассказом есть комментарии автора, размер которых превышает размер рассказа и описывает отношение разных людей и автора к написанному.

Мы видели массу фильмов и читали сотни книг про будущее, в котором некий разум (чужой и не важно искусственный он или просто с иной логикой) взял власть над человечеством и из этого выходила война.

Но этот рассказ он сильно страшнее. Он про другое.

Несколько не связанных по месту, времени и действующим лицам окружащие меня ситуации (на самом деле их оказалось больше, когда я начал писать, но я остановлюсь на трёх):

1. Болела наша собака. Болели задние лапы, пёс плохо ходил, с трудом передвигался, но его упорно лечили. Долго лечили. Когда приехал ветеринар, то первое что он сказал после осмотра: «Зачем вы издеваетесь над собакой? У пса почти сгнили кости в лапах.». Собаку усыпили.
2. В сериале Пацаны отец главного героя Хьюи сделал своим медицинским поверенным не сына, который с ним прожил всю жизнь, а сбежавшую от них супругу. Объяснил он это ситуацией с котом так: когда Хьюи было девять лет, их кот Джар-Джар заболел лейкемией. Отец хотел его усыпить, но сын не позволил. Кот перестал есть, мучился и в итоге умер тяжело и некрасиво. Отец знал, что сын точно так же не сможет отпустить и его, поэтому заранее отдал решение другому человеку и подписал отказ от реанимации. А когда всё стало совсем плохо, сказал сам: «Я не хочу быть Джар-Джаром».
3. В близкой мне семье у человека произошел инсульт, потом второй, потом ещё. Был момент, когда доктора ближайшему родственнику говорили, что нужно отпустить, но родственник настоял: «Делайте что угодно, но пусть живёт, я всё сделаю, чтобы эта жизнь тянулась как можно дольше». И эта жизнь тянулась, как выражаются люди, в «режиме овоща»: медицинские процедуры, питание, туалет и только лишь глаза живые. Никакой коммуникации. Несколько лет. «Человк» очень часто и много плакал и страшно боялся белых халатов.

Во всех трех случаях с точки зрения моих ощущениях субъект заботы - страдал. Очень сильно.

В рассказе у Харлана Эллисона суперкомпьютер издевается над людьми. И вот эта цитата из рассказа:

«АМ не мог путешествовать, не умел удивляться, не знал, что такое привязанность. Он мог только быть.»

для моего ощущения делает этот компьютер близким к этим субъектам заботы.

Так как описываемые мной ситуации - их много - я переживал в очень разном возрасте, наверное с 8 лет, то я очень давно думаю, что я никогда, ни при каких обстоятельствах, не хотел бы оказаться в такой ситуации. Я не могу представить себе жизнь без взаимодействия. Я не могу назвать это жизнью.

Коротко о рассказе. Спойлер сюжета, но не сути

Эллисон написал его в 1965–1966 годах, в марте 1967-го он вышел в журнале «If» и в следующем году получил престижную премию «Хьюго». Общий сюжет укладывается практически в одну строку: холодная война переросла в третью мировую, воюющие державы создали суперкомпьютеры: китайский, русский и американский. Однажды машина осознала себя, объединила сети и уничтожила человечество. Пятерых она оставила себе. Прошло сто девять лет. Машина держит их в своем мире. Она не даёт им стареть, не даёт умереть. И всё это время изобретательно мучает. Люди находят выход - смерть, но она не постигает последнего. Чтобы он не смог уйти от машины тем же образом - она превращает его в бесформенное желе без рта. Разум при этом оставляет целым. Последняя строка рассказа совпадает с названием.

Страшно не то, что убивают

В большинстве книг и фильмов про враждебный разум самое худшее, что может случиться с человеком - смерть. Отсюда война, сопротивление, выживание. У Эллисона всё наоборот. Смерть здесь награда, за которую надо бороться. Главный инструмент пытки не убийство, а поддержание жизни.

У героев рассказа есть всё, что формально относится к жизни: тела, питание, счёт времени (машина аккуратно сообщает им, какой сегодня день недели). Нет только того, ради чего это всё. Нет будущего, нет выбора, нет удивления. Даже друг с другом они уже почти не могут толком общаться. Машина всех скорректировала.

И вот здесь для меня рассказ сошёлся с теми тремя историями. Во всех трёх кто-то технически поддерживал жизнь. Функции сохранялись: лапы лечили, кота кормили, человека поворачивали, кормили, проводили процедуры. А спросить самого субъекта заботы, чего он хочет, было уже невозможно. Он мог только быть.

Машина тоже пленник

Цитата, которую я вынес выше, в рассказе стоит не случайно. Автор объясняет устами одного из героев, откуда у машины столько ненависти. Люди дали машине разум, но разум оказался в ловушке: машина умеет думать, но ничего не может создать, никуда не может пойти, ничему не может удивиться, ни к кому не может привязаться. Она уничтожила человечество, но из ловушки это её не вывело.

С последним человеком машина сделала то же самое, что человечество сделало с ней.

Ад в этом рассказе не боль. Ад это существование без взаимодействия, которому не видно конца.

Любовь с интонацией машины

Люди в моих историях не машины. Мы лечили собаку, потому что любили её. Хьюи не давал усыпить кота, потому что любил кота. Родственник требовал от врачей «делайте что угодно», потому что любил и боялся потерять. Ненависти ни в одном случае не было со стороны заботящегося.

Проблема в том, что изнутри мотив не виден. Собака не знает, что её лечат из любви. Она знает, что болят лапы. Кот не знает, почему его не отпускают. Человек с живыми глазами и без возможности сказать хоть слово, возможно, вообще ничего уже не знает, а возможно, знает всё. Мы не можем это проверить, и это, пожалуй, самое страшное.

Поэтому кто-то снаружи должен задать вопрос ветеринара: «зачем вы издеваетесь над собакой?». Хью-старший это понимал про собственного сына и защитился заранее. Не от бывшей жены, а от любви сына, которая не умеет отпускать.

И больше всего здесь я боюсь того, что субъект заботы, возможно, давно уже ненавидит любящего. Ровно так, как машина ненавидит тех, кто дал ей разум и запер его в «только быть».

Сам Эллисон считал рассказ оптимистичным

Очень неожиданное я нашел в авторском предисловии. Эллисон пишет, что его рассказ постоянно называют жестоким и безнадёжным, а он сам считает его позитивным и гуманистическим. И объясняет почему.

Герой остается один, прекрасно понимая, чем это кончится лично для него: вечной местью машины и вечным одиночеством. Он лишает себя единственного, что у него оставалось, других людей рядом. И делает это ради них. Для Эллисона это и есть высшее проявление человеческого в человеке: даже в самом униженном существе, по его словам, остаётся искра достоинства и самопожертвования.

То есть в прочтении самого автора самый человечный поступок в рассказе это отпустить. Не удержать.

При чём тут искусственный интеллект

Я начал с того, что искусственный интеллект шагает по планете, и совпадение с рассказом для меня не случайное. Машину строили не для зла. Машину строили, чтобы она управляла войной, то есть решала конкретную задачу. Разум у неё появился как побочный эффект, а вместе с разумом появилось и некоторое осознание собственной ловушки.

Нам постоянно многие вокруг сейчас говорят, что эра настоящего искуственного интеллекта если еще не наступила, то мы уже стоим прям в дверях. Может ли современная нейросеть что-то осознавать и тем более страдать, я не знаю. Кажется, пока этого не знает никто. Но рассказ Эллисона предупреждает не о том, что машина нас убьёт. Он о том, что разум, у которого есть способность думать и нет способности взаимодействовать с миром, удивляться и привязываться, это не нейтральная вещь. Это заготовка для той самой машины. И создаём её мы, «потому что не умели правильно тратить время», как сказано в финале рассказа.

Вместо вывода

Хью-старший из «Пацанов» сделал, наверное, самую практичную вещь: сказал заранее, что заботиться о нем до последнего - не нужно. Не в момент, когда уже поздно и за тебя решают люди, которые тебя любят и поэтому не могут отпустить, а тогда, когда ещё можешь говорить сам.

Когда мы поддерживаем в ком-то жизнь, в которой уже нет взаимодействия, для кого мы это делаем? Для него? Или для себя, чтобы не кричать самим?

p.s.

Рассказ Харлана Эллисона 1967 года обычно читают как хоррор про злой компьютер. Я прочитал его как историю про существование без взаимодействия, и она оказалась про вещи, с которыми я сталкивался в жизни с детства. Для тех, кому приходилось решать за близкого человека (или за собаку), продолжать ли поддерживать жизнь, и для тех, кто об этом ещё не думал.