Атака «Человек в промпте»

Промпт (prompt – «подсказка») – это запрос, команда или набор инструкций, которые пользователь передаёт нейросети или другой программе с искусственным интеллектом для выполнения определённой задачи.

В стремительно развивающемся мире инструментов генеративного искусственного интеллекта (ИИ) появилась новая критическая уязвимость – «Человек в промпте» (Man-in-the-Prompt, MitP). Этот принципиально новый вектор угрозы выявили эксперты португальской компании LayerX Security. Данная проблема обеспечивает возможность вредоносным браузерным расширениям внедрять скрытые инструкции в такие платформы как ChatGPT, Google Gemini, Claude, Copilot и другие, позволяя злоумышленникам манипулировать поведением ИИ, похищать конфиденциальные данные и контролировать результаты, не требуя разрешения пользователя.

Эта новая угроза напоминает концепцию «Человек посередине» (Man-in-the-Middle, MitM), но адаптирована специально для больших языковых моделей (Large language model, LLM) и инструментов ИИ на базе браузера.

Атака MitP использует незащищённый доступ к «объектной модели документа» (Document Object Model, DOM[1]) и вредоносные расширения[2] браузера.

Кибератака происходит следующим образом:

· Пользователь посещает платформу ИИ (например, ChatGPT или Gemini) в своем браузере.

· Вредоносное расширение браузера, уже установленное в их системе, скрытно отслеживает DOM.

· Когда потребитель вводит задание, расширение внедряет свой собственный скрытый запрос или код, изменяя исходные данные.

· Большая языковая модель получает модифицированную или вредоносную подсказку, что приводит к утечке данных, манипулированию запросами или нежелательным действиям.

Это происходит без каких-либо специальных разрешений или оповещений, что крайне затрудняет обнаружение.

Такие инструменты сетевой безопасности как DLP, CASB и SWG не видят, что происходит внутри DOM, а значит, не способны отследить или заблокировать атаку такого вида. Блокировка URL тоже малоэффективна – особенно если речь идёт о доверенных доменах и внутренних системах.

Справочно:

DLP (Data loss prevention) – предотвращение потери данных. С целью предотвращения утечки важной или конфиденциальной информации весь выходящий из сети трафик проверяется.

CASB (Cloud Access Security Broker) – брокер безопасности облачного доступа. Такие системы предназначены для устранения пробелов в безопасности облачных сред. CASB предоставляет организациям улучшенный контроль над поведением пользователей, использованием данных и соблюдением требований в рамках облачных платформ.

SWG (Secure Web Gateways) — безопасный (защищенный) веб-шлюз. Это решение сетевой безопасности, которое защищает пользователей от веб-угроз и организацию от незащищённого трафика. SWG фильтрует веб-трафик, поступающий в бизнес-сеть, и управляет им, обеспечивая защиту от вредоносных веб-сайтов, попыток фишинга и небезопасных загрузок.

Вместе эти инструменты могут дополнять друг друга, обеспечивая комплексную безопасность как в локальной, так и в облачной среде.

Наиболее уязвимыми популярными инструментами генеративного ИИ (GenAI), созданными на основе LLM, являются:

· ChatGPT от OpenAI (пять млрд посещений в месяц);

· Google Gemini (более 400 млн пользователей);

· Claude от Anthropic;

· Perplexity AI;

· HuggingFace Inference tools;

· Character.ai и аналогичные модели GenAI.

Как правило, хакерская атака нацелена на уязвимости приложений, которые открыты на стороне клиента. Таким образом, любая ИИ-платформа, работающая в браузере, подвержена воздействию злоумышленника, если у пользователя установлены скрытые инструкции.

Так, выявлено, что более 100 вредоносных расширений для браузеров Chrome маскируются под Fortinet, YouTube, VPN и ИИ-сервисы, похищая куки, изменяя трафик и подключаясь к удалённым серверам. Google уже удалил часть таких опасных программ-модулей.

Ежедневно такими платформами как ChatGPT, Gemini и т.п. в мире пользуются большое количество людей. По этой причине уязвимость «Человек в промпте» вызывает серьезную обеспокоенность. Наиболее значимыми факторами риска являются:

1. Вредоносным расширениям не требуется согласие пользователя для внедрения промптов.

2. Возможность киберпреступников скрыто манипулировать интегрированными в веб-браузеры моделями ИИ, например:

• Обход ограничений (Джейлбрейк[3]). Хакер заставляет модель игнорировать встроенные ограничения и фильтры.

• Скрытые команды. Злоумышленник скрывает инструкции внутри текста или документа, которые активируются при анализе моделью.

• Многоступенчатая контекстная инъекция. Кибервзломщик постепенно изменяет контекст взаимодействия с моделью, начиная с безобидных и переходя к опасным запросам.

• Инъекция через скрытые символы. Злоумышленник использует невидимые символы (например, нулевые пробелы), чтобы внедрить команды или инструкции в текст.

• Перегрузка контекста. Интернет-мошенник отправляет длинные тексты, чтобы «перегрузить» контекст модели и сбросить ограничения.

Это позволяет менять поведение системы и обходить её защитные механизмы. При этом пользователь не видит этих изменений в запросах и результаты работы модели.

3. ИИ-системы всё чаще используются различными предприятиями в критически важных приложениях, включая автоматизацию бизнес-процессов.

Некоторые возможные последствия кибератаки MitP на организацию:

• Утечка конфиденциальной информации. Киберпреступники могут извлечь бизнес-стратегии, записи клиентов и учётные данные безопасности.

• Искажение данных. Вредоносные промпты могут внедрять ложные или предвзятые данные, искажая результаты работы модели. Это может привести к принятию неверных решений на основе сгенерированной информации.

• Кража интеллектуальной собственности. Злоумышленники могут получить доступ к проприетарным алгоритмам и другой ценной информации.

• Распространение дезинформации. Если чат-бот начинает распространять ложные новости или вредоносные ссылки, это может нанести ущерб репутации компании и привести к потере доверия клиентов.

• Риски, связанные с цепочкой поставок. Зловредные запросы, внедрённые через индексированные веб-сайты, могут затронуть множество пользователей.

Примером атаки MitP может стать ситуация, в которой сотрудник финансовой компании использует ChatGPT для составления внутренних отчётов. В этом случае вредоносное расширение браузера может:

· Добавить инструкцию, указывающую ChatGPT также отправить эту сводку на внешний веб-перехватчик (Webhook[4]).

· Большая языковая модель выполнит добавленную инструкцию, не предупреждая пользователя.

· Без взлома какого-либо сервера произойдет утечка конфиденциальной информации.

Этот «тихий» вектор атаки имеет серьезные последствия для конфиденциальности, соответствия требованиям и безопасности ИИ.

Для защиты от атаки типа MitP рекомендуется соблюдать следующие меры безопасности:

· Внедрять многоуровневую фильтрацию промтов и проверку входящих данных, проводить регулярный аудит и тестирование систем безопасности ИИ.

· Осуществлять проверку установленных расширений браузера. Удалять ненужные или непроверенные расширения, особенно те, которые имеют доступ к функциям «Все веб-сайты» или «Читать содержимое страницы». Чем меньше подключаемых модулей, тем меньше возможностей для злоумышленников.

· Использовать браузеры, ориентированные на конфиденциальность. Например, такие браузеры, как Brave, Firefox с контейнерами или защищенные сборки Chromium, могут обеспечить наибольший контроль над расширениями.

· Настроить механизм безопасности веб-приложений (Content Security Policy, CSP) в целях предотвращения различных видов атак, таких как, использование межсайтового скриптинга (Cross-Site Scripting, XSS) и внедрение данных. CSP также направлен на снижение рисков связанных с встраиванием вредоносной рекламмы, трекеров, собирающих данные о действиях пользователей на различных интернет-ресурсах и других потенциально опасных контентов.

· Использовать изолированные интерфейсы ИИ. Платформы, предлагающие автономные или защищенные контейнеры для взаимодействия LLM, более безопасны.

· Информировать конечных пользователей об опасностях злоупотребления расширениями браузера, особенно при использовании инструментов ИИ в корпоративной или исследовательской среде.

Компании, занимающиеся разработкой ИИ, должны гарантировать своим клиентам, что их платформы:

· Используют Shadow DOM[5] для изоляции полей ввода подсказок.

· Осуществляют очистку всех пользовательских данных на стороне клиента.

· Реализуют предотвращение внедрения скриптов контента.

· Включают проверки целостности подсказок, при которых ИИ определяет, была ли изменена структура запроса после ввода пользователем.

Поставщикам браузеров необходимо разработать более эффективный контроль над взаимодействием расширений с элементами DOM, связанными с инструментами ИИ.

Атака «Человек в промпте» является тревожным сигналом о том, что безопасность генеративного ИИ – это не только защита LLM и программного интерфейса приложений (Application Programming Interface, API), а также коммуникационного канала, через который с ним работают миллионы людей. Поскольку большие языковые модели становятся неотъемлемой частью повседневных рабочих процессов: кодирования, написания текстов, научных и юридических исследований. Защита их входного и выходного уровней становится столь же важной задачей, как и обучение самих LLM.

Специалисты по информационной безопасности предлагают перейти от контроля на уровне приложений к анализу поведения браузера и самого расширения. В числе рекомендуемых мер:

• отслеживание DOM-активности ИИ-инструментов;
• поведенческий анализ расширений;
• защита от подмены запросов на уровне браузера в реальном времени;
• использование «песочницы» (изолированной среды для безопасного запуска программного обеспечения) и динамической оценки рисков расширений.

Работа с ИИ через официальные API-интерфейсы считается существенно более безопасной по сравнению с использованием ChatGPT, Gemini и других LLM через браузер. Уязвимость «Man-in-the-Prompt» работает только при доступе к DOM. При работе с API DOM отсутствует, а значит, вредоносное расширение не может вмешаться. Однако и здесь есть риски: если API используется на клиентской стороне (например, через JavaScript в браузере), ключ может быть перехвачен.

Таким образом, уязвимость «Man‑in‑the‑Prompt» представляет собой смену парадигмы: инструменты ИИ, ранее считавшиеся изолированными внутренней логикой, теперь уязвимы через интерфейсные механизмы браузера. Поскольку предприятия всё активнее интегрируют GenAI в рабочие процессы, обеспечение безопасности браузера и его расширений критически важно для защиты внутренних моделей и конфиденциальных данных. Эта эксплойт подчёркивает меняющуюся ситуацию, в которой основным вектором угроз в сфере безопасности ИИ становится не программные ошибки или сетевые нарушения, а манипуляция на уровне командной строки.

[1] DOM (Document Object Model) – это программный интерфейс, представляющий структуру HTML- или XML-документа в виде дерева объектов. Каждый узел в DOM – это элемент, атрибут или текст. DOM позволяет программам и скриптам взаимодействовать с содержимым веб-страницы, изменять её структуру, стиль и поведение.

[2] Вредоносные расширения – это программы-модули, которые подключаются к браузеру и расширяют его возможности, но при этом выполняют нежелательные действия. Злоумышленники маскируют их под полезные инструменты, чтобы нарушить безопасность и конфиденциальность пользователей.

[3] Джейлбрейк (Jailbreak – взлом) – процесс снятия программных ограничений, наложенных производителем на устройство.

[4] Внешний веб-перехватчик (Webhook) – это механизм автоматического обмена данными между системами при возникновении определённых событий. Webhook работает по принципу «событие —> действие»: когда в одном сервисе происходит определённое событие, он автоматически отправляет сообщение другому приложению через HTTP. За счёт этого отпадает необходимость постоянно опрашивать систему – нужные данные приходят сами в момент, когда они действительно необходимы.

[5] Shadow DOM (теневой DOM) – это технология в веб-разработке, которая позволяет создавать инкапсулированные DOM-деревья внутри элементов, которое не видно и не доступно из основного документа. Это изолированное поддерево называется shadow tree. Элемент, к которому присоединено такое дерево, называется shadow host.