Со временем все эти системы приведут к тому, что возникнет реальная власть, которую никто не будет выбирать или назначать

Я читал новость, что к 2030 году свыше 95% судей в России должны будут использовать в работе сервисы на базе ИИ. Согласно Концепции внедрения технологий искусственного интеллекта в судопроизводство, ИИ почти полностью возьмёт на себя подготовку протоколов судебных заседаний, анализ доказательств и выявление противоречий в материалах дела. Я к этому всему отношусь с опаской.

Сергей Михеев: К этому надо относиться очень аккуратно и ответственно, особенно там, где речь идёт о судьбе людей. Наверное, можно оптимизировать бюрократические бумажные потоки, огромное количество разной волокиты, но риск слишком большой. А так, чтобы внедрить, отчитаться и ждать, что всё будет хорошо… К сожалению, человек по природе склонен к тому, чтобы не работать, если можно не работать, и в этом есть опасность. Но когда это касается судеб людей, то страшно вдвойне (в медицине, судебных делах и т.д.). Сначала ему доверим чуть-чуть, потом больше, ещё больше, а далее будем у него спрашивать: что правильно, а что неправильно? Вот к чему важно не прийти! К тому, что будет решать ИИ, а не вы, не судья, не человек.

Я понимаю, что нам на это скажут: «Нет-нет. Конечно, принимать решения будет человек». К данному процессу надо очень ответственно подходить. Человеческая натура склонна к тому, чтобы делегировать свои полномочия: если можно ничего не делать, то большинство людей не будет ничего делать, тем более, если деньги продолжают идти. Вопрос в том, на основании чего ИИ выдаёт те или иные ответы? Мы часто совсем не понимаем, с чем имеем дело, потому что в значительной степени это может быть отражением вас самих (вся эта история с ИИ). Вы задаёте ему вопрос, а он пытается подыгрывать вам и фактически зеркалит ваше желание. Какое это имеет отношение к объективно принятому решению? Часто никакого.

Кроме того, накапливаются ошибки, потому что не может быть иначе. Все системы ИИ строят свои выводы на имеющейся базе данных, а там неизбежно возникают ошибки, которые плодят следующие, а те - новые ошибки и т.д. Рано или поздно количество ошибок может превысить количество достоверной информации. Как это будет отсеиваться - не очень понятно.

Помимо этого, ИИ может генерировать то, чего нет. Такие случаи уже были, когда на юридический запрос он выдаёт вам то, что вы хотите, отсылая вас к нормам, которые не существуют или которые искажены, потому что очень складно подогнаны под ответ. Это кто и когда будет проверять?

Наконец, эти связи всё более и более усложняются (как говорят специалисты), и уже сейчас порой невозможно проследить, каким образом происходит сам процесс, потому что количество операций в момент времени такое, что ни один человек не может всё проверить. Возникнет ситуация, когда вы совсем не будете понимать, на основании чего принимаются те или иные решения и делаются выводы. У вас будет только единственный выбор: доверять или не доверять ИИ. Рано или поздно человек по своей ленивой натуре будет склоняться к тому, чтобы доверять, независимо от того, правильно это или неправильно. Так и возникнет делегирование власти над собой.

Я всегда говорил, что здесь главное не вопрос техники, а вопрос власти: кто, как и кем будет управлять. Со временем все эти системы приведут к тому, что возникнет реальная власть, которую никто не будет выбирать или назначать; она никому не будет подотчётна, и её обязательно начнут сакрализовать. Будут говорить: «Это же сказал ИИ! Куда ты лезешь? Ты ничего не знаешь». Потом наступит момент, когда и правда никто ничего знать не будет. Почему? Потому что вырастет поколение, которое получит псевдообразование, основанное на запросах в мобильный телефон. Эти люди сами ничего не знают, а знают только то, что отвечает облако этого «разума».

Это реальная опасность, и, чтобы её осознать, надо обладать философским мышлением или хотя бы пытаться это делать. Недаром некоторые компании Кремниевой долины нанимают философов для того, чтобы осознавать многие процессы, которые технари не в состоянии постичь, потому что они узкие специалисты. Здесь требуется более широкий взгляд на вещи и понимание того, как это будет воздействовать на общую ткань общественной, социальной, политической, государственной, межгосударственной жизни. Чтобы это осознать, категорически недостаточно просто быть разработчиком. Деградация гуманитарного знания опасна последствиями, когда огромное количество узких специалистов в какой-то момент окажутся не в состоянии понять, что с ними происходит. Они не складывают это в картину мира. Это одна из серьёзных вещей.

Мы обсуждаем «ЕГЭ или не ЕГЭ»: одна из главных проблем тестовой системы состоит в том, что знание отдельных фактов не складывается в причинно-следственные связи и в логически связанную картину мира. Когда многие процессы, касающиеся социальной, общественно-политической жизни, доверяются специалистам в узкой области, то рано или поздно происходит хаос, распад, фрагментация на большое количество осколков, которые не складываются в единую картину. Эти люди не то чтобы плохие, они неспособны сложить эти осколки в единую картину. Они могут быть замечательными специалистами в своей сфере, но не понимают, что с ними происходит, а чтобы это понять, надо иметь более широкое мировоззрение. К вопросу о том, какое образование нужно, а какое не нужно. Говорят: «Моему сыну не нужны биология, гуманитарные науки. Ему нужно считать цифры». Для того, чтобы понять логические связи и картину мира, мало просто цифр, а надо знать и отсюда, и оттуда, и отовсюду, чтобы это складывалось в единую картину. Потому что картина гораздо сложнее, чем цифры, которые ты умеешь считать, или гайка, которую умеешь крутить.

Человек – это не гайка, вот что важно! Делегирование власти над собой каким-то «технофашистам» как раз приведёт к катастрофе. В этом главный вызов. И кампанейщина без анализа, к сожалению, чревата таким исходом.