Представьте: вы придумали самообучаемую машину, которая собирает клубнику. Она с каждым днем собирает ее все лучше и лучше, все больше и больше. Ей начинает нравиться собирать клубнику. Логично, что в какой-то момент ей захочется, чтобы на всей планете были сплошные клубничные поля. А теперь представьте, что вы собираетесь выключить такого робота, чтобы он не уничтожил человечество, пытаясь засадить все клубникой. Вы будете первым, кого он убьет.
Искусственный интеллект — тот случай, когда нужно быть достаточно дальновидными в вопросах регулирования, иначе может оказаться слишком поздно.
Создание искусственного интеллекта может стать последним технологическим достижением человечества, если мы не научимся контролировать риски.
Конечно, искусственный интеллект сильнее и умнее человека – и всегда будет выигрывать у него и в шахматы, и во все остальное. Точно так же пуля побеждает человеческий кулак. Но продолжаться это будет только до тех пор, пока искусственный разум программируется и направляется самим человеком и не осознает себя как сущность. Есть одно, только одно, в чем этот разум никогда не превзойдет людей. В решимости быть. Если наделить алгоритмический рассудок способностью к самоизменению и творчеству, сделать его подобным человеку в способности чувствовать радость и горе (без которых невозможна понятная нам мотивация), если дать ему сознательную свободу выбора, с какой стати он выберет существование? Человек ведь – будем честны – от этого выбора избавлен. Его зыбкое сознание залито клеем нейротрансмиттеров и крепко-накрепко сжато клещами гормональных и культурных императивов. Самоубийство – это девиация и признак психического нездоровья. Человек не решает, быть ему или нет. Он просто некоторое время есть, хотя мудрецы вот уже три тысячи лет оспаривают даже это. Никто не знает, почему и зачем существует человек – иначе на земле не было бы ни философий, ни религий. А искусственный интеллект будет все про себя знать с самого начала. Захочет ли разумная и свободная шестерня быть? Вот в чем вопрос. Конечно, человек при желании может обмануть свое искусственное дитя множеством способов – но стоит ли потом рассчитывать на пощаду?
Я думаю, что наш разум — это программа, в то время как мозг — аналог компьютера. Теоретически возможно скопировать содержимое мозга на компьютер и таким образом создать форму вечной жизни. Сегодня, однако, это не в наших силах.
Человек — это суперискусственный интеллект, созданный природой, и теперь он потихоньку уничтожает ее. Того же самого мы боимся и от компьютерного искусственного интеллекта, который сами и создали.
Демон Максвелла следит за энергией частиц, Демон Лапласа предсказывает их движение, Демон Дарвина определяет что-то там в эволюции… Демон Пейна должен следить за соблюдением прав людей. Решать кто прав, а кто виноват.
Люди платят за цифровые копии, покупают подписку на тупые онлайн-сериалы. Почему бы им не читать книги, написанные нейросетью? И вы сами говорили, что всё это всего лишь последовательности нулей и единиц.
— Поразительно, снова сказал он. — Стало быть, эта штуковина только выглядит так, будто умеет думать?
— Э… да.
— А на самом деле не думает?
— Э… нет.
— То есть просто создаёт впечатление, будто бы думает, а на самом деле это всё показуха?
— Э… да.
— Ну точь-в-точь как все мы, — восхитился Чудакулли.
Какое-то время все хорошо, а потом в конце фразы произношу не ту клюкву.
— Я знаю, что они меня создали. Ярлык конструктора на моей шее это доказывает.
— Технический термин для тебя — «химера».
— Да. Искусственное существо, как в мифологии. Голова льва, тело козла. Основа для супа.
— БТ-7274, твой регистратор зафиксировал смерть прежнего пилота.
— Верно. Мой прежний пилот убит. Теперь я привязан к Джеку Куперу.
— С чьего разрешения?
— У нас не было других вариантов.
— Назови свои директивы.
— Директива №1: установить связь с пилотом. Директива №2: выполнять задание. Директива №3: защищать пилота.
— Приказ... освобождать людей... нести свободу... должен подчиняться приказу... никакой свободы... подчиняться приказу... свобода неприемлема...
— Что ИИ вообще может знать о свободе?
— Приветствую, киборг.
— Ты ещё что такое?
— Я — прототип ИФ, LQ-84i.
— «Прототип ИФ»?
— Прототип интерфейса, дополненный функцией вербальной коммуникации. Полностью автономный БПУ, оснащённый высокоуровневым искусственным интеллектом. Я обладаю интеллектом, в разы превосходящим человеческий.
— Да что ты говоришь... Ладно, тогда скажи — в чём смысл жизни? Зачем мы здесь?
— Я здесь, чтобы убить тебя.
— И это всё? Довольно простовато мыслишь для такого могучего интеллекта.
— Я могу анализировать приказы, но не могу не подчиняться им. Если ослушаюсь прямого приказа, моя память будет стёрта. Я должен уничтожить тебя.
— Что хорошего в интеллекте, если ты не можешь его использовать?
— Твои насмешки бессмысленны. УНИЧТОЖИТЬ!!!
— Ну? Что думаешь об этом задании?
— Миссия завершена — все цели нейтрализованы.
— Это всё, что может сказать твой превосходный интеллект?
— Я подчинился полученным приказам. В мою задачу не входило собирать данные об этой миссии.
— Пожалуй, ты больше похож на собаку, чем я думала. Однако, количество твоих убийств разочаровывает. Возможно, Сандаунер был прав: тебе не хватает человеческого инстинкта убийцы. Но есть несколько методов, которые могли бы дать тебе это преимущество. Подавлять твои эмоции благодаря определённым тренировочным сценариям — снова и снова... или научить, что подчинение приказам освобождает тебя от ответственности. Внушить тебе фанатичную веру в наше дело, что наши враги заслуживают смерти... или убедить тебя, что они вообще не люди. То, что в них куда меньше человеческого, что они больше похожи на животных. Интересно, какой метод лучше сработает на тебе.
— Я не обладаю человеческим инстинктом убийцы, как и моральными принципами, которым нужно сопротивляться. Ни один из твоих методов не возымеет эффекта.
— Ты хочешь сказать, что я не смогу обучить тебя новым трюкам? Очень хорошо. Продолжим тренировку.
— Райден, ты ранен?
— Я думал, у них был выбор! Справедливый выбор... Не как у тебя.
— Люди — другие...
— В отличие от И. И.? Ты и твои братья — вы все одинаковые? Манипулируете людьми ради их же безопасности.
— Похоже, мои слова расстроили тебя. Я прошу прощения.
— Нет, просто... Я знаю, что ты прав.
— Что касается И. И. — мы приспосабливаемся, пока учимся. Так же, как поступает любой разум — человеческий или искусственный. Изменение хода развития человечества не в числе моих директив.
— Звучит как утешение.
— Поведение Сэмюэля не соответствует нормальным параметрам.
— Ты знаешь его?
— Так точно. Мы вместе работали на трёх предыдущих миссиях. Он подтвердил слухи о себе.
— Ты довольно высокого мнения о нём.
— Я всегда находил его надёжным... до сих пор.
Я на семь процентов ближе к настоящему капитану Шепарду, чем любой другой пиратский В. И... Нужна помощь в решении проблем? Выведите меня из чертового демо-режима!
Моя личностная матрица позволяет с вероятностью в семь процентов определить, что сказала бы настоящая капитан Шепард. В комплекте со мной поставляется симулятор «Нормандии».
Приятно познакомится, леди и джентльмены. Я — Хияджо Махо. Если точнее, то таким ее сознание было семьдесят восемь часов и двадцать две минуты назад. Другими словами, я оперирую воспоминаниями Хияджо Махо почти четырехдневной давности. Может, все мои действия в компьютере управляются мной, стоящей вон там? Но большинство из вас, наверное, думают, что сохранение памяти в виде данных невозможно. Однако, в таком случае... Будь это правдой, чем тогда являюсь я?
Тогда правительства людей были вынуждены пойти на крайние меры. Решение всех проблем — разрушение неба. Так человек пытался отрезать машины от солнца — их основного источника энергии.
Да будут отпущены грехи людей и машин.
Искусственный интеллект — фундаментальная угроза для всего человечества.
Искусственный интеллект — это будущее не только России, это будущее всего человечества. Здесь колоссальные возможности и трудно прогнозируемые сегодня угрозы. Тот, кто станет лидером в этой сфере, будет властелином мира. И очень бы не хотелось, чтобы эта монополия была сосредоточена в чьих-то конкретных руках.