Лидеры отрасли объединились в Open Secure AI Alliance для повышения безопасности и защищённости искусственного интеллекта

Программное обеспечение с открытым исходным кодом является одним из важнейших элементов современной мировой экономики. Оно лежит в основе облачных вычислений, финансовых сервисов, промышленности, телекоммуникаций, государственных информационных систем и Интернета, делая технологии доступными и прозрачными для мирового сообщества специалистов.

Одной из областей, где открытое программное обеспечение приносит наибольшую пользу, является кибербезопасность.

Новый альянс Open Secure AI Alliance, развивающий идеи инициативы Akrites от Linux Foundation и сообщества OpenSSF, будет заниматься выявлением, устранением и раскрытием информации об уязвимостях с использованием открытых технологий.

Так же, как когда-то открытый исходный код стал общей основой для программного обеспечения, сегодня США и их партнёры стоят перед выбором в области безопасности искусственного интеллекта: будут ли механизмы защиты критической инфраструктуры оставаться закрытыми внутри нескольких непрозрачных систем или же будут строиться на открытых моделях, средах исполнения (harnesses) и инструментах, которые любой специалист по безопасности сможет изучить, адаптировать и использовать.

Открытые модели — важный инструмент киберзащиты

Миру необходимы как закрытые, так и открытые модели искусственного интеллекта.

В сфере кибербезопасности открытые модели и открытые среды исполнения имеют принципиальное значение, поскольку они:

• делают средства защиты доступными более широкому кругу специалистов;
• повышают прозрачность систем безопасности;
• позволяют организовать защиту без передачи конфиденциальных данных внешним поставщикам;
• дополняют самые современные закрытые модели возможностью локальной настройки и полного контроля.

Открытый исходный код позволяет строить распределённую систему коллективной защиты без единой точки отказа.

Как и любая мощная технология, открытые модели могут использоваться во вред — например, для обхода встроенных механизмов защиты или создания инструментов для кибератак. Однако подобные риски характерны не только для открытых решений и требуют управления независимо от того, используется ли открытая или закрытая модель.

Урок инцидента с Hugging Face

Недавний инцидент безопасности в Hugging Face наглядно продемонстрировал необходимость наличия открытых современных ИИ-систем для защиты собственной инфраструктуры.

Когда закрытые AI-инструменты, не способные отличить злоумышленников от специалистов по безопасности, заблокировали проведение необходимого криминалистического анализа, Hugging Face развернула у себя модель GLM 5.2 с открытыми весами. С её помощью было проанализировано более 17 000 действий, что позволило локализовать вторжение.

Этот случай показал простую, но важную истину: если специалисты по безопасности не могут самостоятельно изучать, модифицировать и запускать современные модели ИИ на собственной инфраструктуре, их возможности реагирования оказываются ограничены именно тогда, когда скорость принятия решений имеет решающее значение.

Компаниям и государствам необходимы открытые инструменты защиты уровня современных передовых моделей, чтобы критически важные отрасли могли строить системы безопасности в экосистеме различных поставщиков и избегать зависимости от единственной платформы.

Именно в этом заключается миссия Open Secure AI Alliance — предоставить защитникам по всему миру открытые передовые инструменты, которым можно доверять и которые можно полностью контролировать.

Кто входит в Open Secure AI Alliance

Учредителями альянса стали ведущие компании из областей облачных вычислений, информационной безопасности, корпоративного программного обеспечения, искусственного интеллекта и открытого программного обеспечения.

Среди участников: NVIDIA, Adobe, Microsoft, IBM, Cisco, GitHub, Hugging Face, Red Hat, SAP, Salesforce, Siemens, Dell Technologies, Hewlett Packard Enterprise (HPE), Cloudflare, CrowdStrike, Databricks, Fortinet, Mistral, Palantir, Palo Alto Networks, Perplexity, Nokia, NAVER, NetApp, Snowflake, Uber, LangChain, Linux Foundation.

…а также десятки других компаний и исследовательских организаций.

Все они объединились для разработки и распространения открытых технологий, методов и инструментов, обеспечивающих безопасность программного обеспечения и интеллектуальных AI-агентов.

Открытость не противоречит безопасности

Иногда утверждается, что открытые модели менее безопасны, поскольку их можно использовать для кибератак или модифицировать, удаляя встроенные ограничения.

Авторы признают существование подобных рисков, однако подчёркивают, что они не исчезают и в случае закрытых моделей. Сам факт сокрытия весов модели не способен остановить злоумышленников, стремящихся получить доступ к мощным инструментам искусственного интеллекта.

По мнению участников альянса, правильный подход заключается не в ограничении доступа специалистов по безопасности к открытым системам, а в сочетании открытости с:

• надёжными механизмами защиты;
• чёткими правилами противодействия злоупотреблениям;
• строгими процедурами оценки;
• быстрым устранением выявленных проблем.

Именно такой подход позволяет большему числу специалистов проверять, тестировать и повышать устойчивость цифровых систем, на которых сегодня строится современное общество.

Для эффективной защиты необходимы как самые современные закрытые модели, так и передовые открытые модели, работающие совместно. Это позволяет выбирать оптимальный инструмент для каждой задачи и сохранять прозрачность, возможность адаптации и технологический суверенитет там, где этого требует безопасность.

Открытые исследования усиливают кибербезопасность и безопасность ИИ

ИИ-агент — это не просто языковая модель.

Это сложная система, включающая:

• модели;
• среды исполнения (agent harnesses);
• механизмы безопасности (guardrails).

Настоящая безопасность зависит от всей архитектуры агента:

• системы идентификации;
• управления разрешениями;
• среды исполнения;
• защитных механизмов;
• журналирования;
• средств оценки качества.

Именно открытые среды исполнения позволяют специалистам легче анализировать, проверять и совершенствовать эти компоненты.

NVIDIA передаёт в Open Secure AI Alliance открытые модели, веса моделей, наборы данных и результаты исследований по созданию новых сред исполнения AI-агентов для ускорения разработки современных инструментов киберзащиты.

Одновременно компания открыла проект NVIDIA Labs Object-Oriented Agent (NOOA), опубликованный на GitHub.

Исследовательский фреймворк NOOA позволяет лучше интегрировать модели со средами исполнения, упрощая:

• тестирование поведения агентов;
• отслеживание действий;
• аудит;
• управление.

Совместная разработка открытого защитного стека

Участники альянса создают открытую инфраструктуру безопасности для AI-агентов.

В частности:

• HPE развивает проект SPIFFE/SPIRE, создающий стандарты цифровой идентификации по принципу Zero Trust для криптографической проверки AI-агентов и сервисов.
• Hugging Face передала проект Safetensors в PyTorch Foundation. Формат обеспечивает безопасное хранение весов моделей без возможности удалённого выполнения произвольного кода.
• IBM и Red Hat развивают систему Lightwell, обеспечивающую защиту цепочки поставок открытого программного обеспечения с помощью цифровой подписи исправлений.
• Microsoft разрабатывает MDASH — систему многомодельного анализа, в которой специализированные AI-агенты совместно ищут, обсуждают и подтверждают наличие потенциально эксплуатируемых уязвимостей.
• SpaceXAI открыла исходный код терминального AI-агента Grok Build и планирует опубликовать веса моделей семейства Grok, чтобы поддержать сообщества разработчиков и исследователей.

Призыв к государственным регуляторам

Авторы статьи подчёркивают, что при разработке законодательства в сфере искусственного интеллекта открытые модели, среды исполнения и инструменты безопасности должны рассматриваться как средство защиты, а не как источник угроз.

Полный запрет или чрезмерное ограничение открытых современных AI-систем может ослабить возможности специалистов по безопасности и привести к концентрации технологий в руках небольшого числа закрытых поставщиков.

Компании и правительства должны инвестировать в общедоступную инфраструктуру защиты искусственного интеллекта:

• наборы данных;
• системы оценки моделей;
• симуляторы атак;
• инструменты red teaming.

Именно так в своё время развивалась экосистема открытого программного обеспечения.

Будущее, которое необходимо построить

Эпоха AI-агентов может стать эпохой устойчивости и коллективной безопасности.

При правильном подходе открытые безопасные системы искусственного интеллекта дадут специалистам необходимые инструменты для защиты, усилят конкуренцию, укрепят технологическое лидерство и позволят создавать безопасные AI-системы открыто, в интересах всего общества.

Это будущее нельзя обеспечить лишь секретностью технологий.

Оно требует создания систем, которые:

• выдерживают независимую проверку;
• способны постоянно совершенствоваться;
• достаточно открыты, чтобы объединить усилия всего мирового сообщества специалистов по безопасности.

Именно такое будущее предлагает строить Open Secure AI Alliance, приглашая правительства, промышленность и научное сообщество совместно обеспечивать безопасность эпохи искусственного интеллекта.