Ю. Харари об ИИ, взламывающем цивилизацию

Страх перед искусственным интеллектом (ИИ) преследовал человечество с самого начала компьютерной эры. До сих пор этот страх был сосредоточен на машинах, использующих физические средства для убийства, порабощения или замены людей. Но за последние пару лет появились новые инструменты искусственного интеллекта, которые угрожают выживанию человеческой цивилизации с неожиданной стороны. Искусственный интеллект приобрел некоторые исключительные способности манипулировать языком и генерировать коды культуры, будь это слова, звуки или изображения. Таким образом, искусственный интеллект взломал операционную систему нашей цивилизации.

Язык — это материал, из которого состоит почти вся человеческая культура. Права человека, например, не встроены в нашу ДНК. Скорее, это культурные артефакты, которые мы создали, рассказывая истории и составляя законы. Боги — это не физическая реальность. Скорее, это культурные артефакты, которые мы создали, придумав мифы и написав священные писания.

Деньги тоже являются культурным артефактом. Банкноты — это просто разноцветные кусочки бумаги, и в настоящее время более 90% денег — это даже не банкноты, а просто цифровая информация в компьютерах. Что придает деньгам ценность, так это истории, которые банкиры, министры финансов и гуру криптовалют рассказывают нам о них. Сэм Бэнкман-Фрид (гендиректор рухнувшей криптобиржи FTX), Элизабет Холмс (создательница компании Theranos) и Берни Мэдофф (экс-директор NASDAQ и по совместительству создатель крупнейшей финансовой пирамиды в мире) не были особенно хороши в создании реальных ценностей, но все они были чрезвычайно способными рассказчиками.

Что произойдет, когда ИИ превзойдет обычного человека, в рассказывании историй, сочинении мелодий, рисовании изображений и написании законов и священных Писаний? Когда люди думают о ChatGPT и других новых инструментах искусственного интеллекта, в первую очередь как пример они вспоминают школьников, использующих ИИ для написания сочинений. Что произойдет со школьной системой, когда так начнут поступать все ученики? Но такого рода вопросы упускают из вида общую картину. Забудьте о школьных сочинениях. Подумайте о следующей президентской гонке в Америке в 2024 году и попытайтесь представить влияние инструментов искусственного интеллекта, которые могут быть использованы для массового производства политического контента, фейковых новостей и священных писаний для новых культов.

В последние годы культ QAnon (https://ru.wikipedia.org/wiki/QAnon) сформировался вокруг анонимных онлайн-сообщений, известных как "q-drops". Последователи собирали их и интерпретировали эти сообщения как священный текст. И хотя, насколько известно, все эти сообщения были составлены людьми, а боты просто помогали их распространять, в будущем мы можем увидеть первые культы в истории, почитаемые тексты которых были написаны нечеловеческим интеллектом. Религии на протяжении всей истории претендовали на нечеловеческий источник для своих священных книг. Скоро это может стать реальностью.

На более прозаическом уровне мы вскоре можем обнаружить, что ведем длительные онлайн-дискуссии об абортах, изменении климата или [СВО] России в Украине с существами, которых мы считаем людьми, но на самом деле это искусственный интеллект. Загвоздка в том, что нам совершенно бессмысленно тратить время на попытки изменить заявленное мнение ИИ-бота, в то время как ИИ мог бы отточить свои сообщения настолько, что у него появились бы хорошие шансы повлиять на нас.

Благодаря своему мастерству владения языком искусственный интеллект мог бы даже устанавливать близкие отношения с людьми и использовать силу близости для изменения наших мнений и мировоззрений. Хотя нет никаких указаний на то, что ИИ обладает каким-либо собственным сознанием или чувствами, для создания фальшивой ("фейковой") близости с людьми достаточно, если ИИ может заставить их почувствовать эмоциональную привязанность к нему.

В июне 2022 года Блейк Лемуан, инженер Google, публично заявил, что чат-бот с искусственным интеллектом Lamda, над которым он работал, стал разумным. Спорное заявление стоило ему работы. Самым интересным в этом эпизоде было не заявление мистера Лемуана, которое, вероятно, было ложным. Скорее, это была его готовность рискнуть своей прибыльной работой ради чат-бота с искусственным интеллектом. Если искусственный интеллект может заставить людей рисковать своей работой ради него, что еще он может побудить их сделать?

В политической борьбе за умы и сердца близость является наиболее эффективным оружием, и искусственный интеллект только что получил возможность массового создания близких отношений с миллионами людей. Мы все знаем, что за последнее десятилетие социальные сети превратились в поле битвы за контроль над человеческим вниманием. С появлением нового поколения искусственного интеллекта поле битвы смещается со внимания на близость. Что произойдет с человеческим обществом и человеческой психологией, когда ИИ сразится с другим ИИ в битве за "фейковую близость" с нами, которая затем может быть использована, чтобы убедить нас голосовать за определенных политиков или покупать определенные товары?

Даже без создания “фейковой близости” новые инструменты искусственного интеллекта оказали бы огромное влияние на наши мнения и мировоззрения. Люди могут начать использовать одного ИИ-консультанта в качестве универсального, всезнающего "оракула". Неудивительно, что Google в ужасе. Зачем утруждать себя поисками, когда я могу просто спросить "оракула"? Новостная и рекламная индустрии также должны быть в ужасе. Зачем читать газету, когда я могу просто попросить "оракула" сообщить мне последние новости? И в чем цель рекламы, когда я могу просто попросить "оракула" сказать мне, что купить?

И даже эти сценарии на самом деле не отражают общую картину. То, о чем мы говорим, потенциально является концом человеческой истории. Не концом истории вообще, а просто концом той ее части, в которой доминирует человек. История — это взаимодействие между биологией и культурой; между нашими биологическими потребностями и желаниями в таких вещах, как еда и секс, и нашими культурными творениями, такими как религии и законы. История — это процесс, посредством которого законы и религии предоставляют нам пищу и секс.

Что произойдет с ходом истории, когда искусственный интеллект возьмет верх над культурой и начнет создавать истории, мелодии, законы и религии? Прежние инструменты, такие как печатный станок и радио, помогали распространять культурные идеи людей, но они никогда не создавали собственных новых культурных идей. Искусственный интеллект принципиально отличается от них. Искусственный интеллект может создавать совершенно новые идеи, совершенно новую культуру.

Поначалу ИИ, вероятно, будет имитировать человеческие прототипы, на которых он обучался в зачаточном состоянии. Но с каждым годом культура искусственного интеллекта будет смело продвигаться туда, куда еще не ступала нога человека. На протяжении тысячелетий люди жили внутри грёз других людей. В ближайшие десятилетия мы можем обнаружить, что живем внутри грёз чужеродного разума.

Страх перед искусственным интеллектом преследовал человечество всего лишь последние несколько десятилетий. Но на протяжении тысячелетий людей преследовал гораздо более глубокий страх. Мы всегда оценивали истории и воображение с точки зрения способности манипулировать нашим сознанием и создавать иллюзии. Таким образом, с древних времен люди боялись оказаться в ловушке мира иллюзий.

В 17 веке Рене Декарт опасался, что, возможно, злой демон заманивает его в ловушку мира иллюзий, создавая все то, что он видит и слышит. В Древней Греции Платон рассказал знаменитый миф о пещере, в которой группа людей, всю свою жизнь прикованных внутри, лицом к глухой стене, словно на экране видит проецируемые различные тени. Заключенные ошибочно принимают иллюзии, которые они там видят, за реальность.

В Древней Индии буддийские и индуистские мудрецы указывали, что все люди живут в ловушке Майи — мира иллюзий. То, что мы обычно принимаем за реальность, часто является всего лишь вымыслом в нашем собственном сознании. Люди могут вести целые войны, убивая других и желая быть убитыми сами, из-за своей веры в ту или иную иллюзию.

Революция в области искусственного интеллекта ставит нас лицом к лицу с демоном Декарта, с пещерой Платона, с Майей. Если мы не будем осторожны, то можем оказаться в ловушке за завесой иллюзий, которую не сможем сорвать — или даже осознать, что она существует.

Конечно, новые возможности искусственного интеллекта можно было бы использовать и в благих целях. Я не буду останавливаться на этом, потому что люди, которые разрабатывают искусственный интеллект, достаточно много говорят об этом. Задача историков и философов, подобных мне, состоит в том, чтобы указывать на опасности. Но, безусловно, искусственный интеллект может помочь нам бесчисленным количеством способов, от поиска новых лекарств от рака до поиска решений экологического кризиса. Вопрос, с которым мы сталкиваемся, заключается в том, как сделать так, чтобы новые инструменты искусственного интеллекта использовались во благо, а не во зло. Чтобы сделать это, нам сначала нужно оценить истинные возможности этих инструментов.

С 1945 года мы знаем, что ядерные технологии могут генерировать дешевую энергию на благо людей, но могут также физически уничтожить человеческую цивилизацию. Поэтому мы изменили весь международный порядок, чтобы защитить человечество и убедиться, что ядерные технологии используются в первую очередь во благо. Теперь нам приходится иметь дело с новым оружием массового поражения, которое может уничтожить наш ментальный и социальный мир.

Мы все еще можем регулировать новые инструменты искусственного интеллекта, но мы должны действовать быстро. В то время как ядерное оружие не может изобрести более мощное ядерное оружие, искусственный интеллект может создать экспоненциально более мощный искусственный интеллект. Первый важный шаг — потребовать тщательной проверки безопасности, прежде чем мощные инструменты искусственного интеллекта станут достоянием общественности. Точно так же, как фармацевтическая компания не может выпускать новые лекарства, не протестировав их краткосрочные и долгосрочные побочные эффекты, так и технологические компании не должны выпускать новые инструменты искусственного интеллекта до того, как они станут безопасными. Нам нужен аналог Управления по контролю за продуктами и лекарствами для новых технологий, и он нужен нам уже вчера.

Не приведет ли замедление публичного внедрения искусственного интеллекта к отставанию демократий от более жестких авторитарных режимов? Как раз наоборот. Нерегулируемое внедрение искусственного интеллекта создало бы социальный хаос, который пошел бы на пользу автократам и разрушил демократию. Демократия — это разговор, а разговоры основаны на языке. Когда ИИ взламывает язык, это может разрушить нашу способность вести содержательные беседы, тем самым разрушая демократию.

Мы только что столкнулись с чужеродным разумом здесь, на Земле. Мы мало что знаем о нём, за исключением того, что он может разрушить нашу цивилизацию. Мы должны положить конец безответственному внедрению инструментов искусственного интеллекта в общественную сферу и регулировать ИИ до того, как он начнет регулировать нас. И первую регуляцию, которую я бы предложил, — это сделать обязательным для ИИ раскрытие того, что он является ИИ. Если я с кем-то разговариваю и не могу сказать, человек это или искусственный интеллект — это конец демократии.

Этот текст был сгенерирован человеком.

Или... нет?

Ю. Н. Харари для The Economist (апрель 2023)

Перевод А. Мьювинг и М. Куликова