«Яндекс» создает тест для проверки ИИ на соответствие духовно-нравственным ценностям
«Яндекс» представил Правительству России концепцию национального датасета для проверки систем искусственного интеллекта (ИИ) на соответствие духовно-нравственным ценностям и требованиям российского рынка. Бенчмарк представляет собой набор тестовых заданий и эталонных ответов, по которым можно будет сравнивать разные нейронные сети. Об этом сообщает «СNews». «Это принципиально разные механики в рамках одного датасета, и требования к их прозрачности должны различаться», — отмечает директор по информационной безопасности GreenData Роман Перепонов. По информации «Коммерсант», обсуждение национального бенчмарка выявило ключевой конфликт между требованиями безопасности и потребностью отрасли в прозрачных и удобных инструментах оценки. Федеральная служба безопасности (ФСБ) России настаивает на закрытом формате, опасаясь, что при открытом доступе разработчики смогут легко настроить ИИ-модели специально под прохождение тестирования. Представители бизнеса, напротив, заявили, что полностью закрытый формат может оказаться несообразно сложным для прохождения и не позволит быстро развивать ИИ-модели, и предложили сохранить бенчмарк публичным. В качестве компромисса был предложен комбинированный формат: открытый бенчмарк для публичного тестирования и обеспечения прозрачности, а для финальной проверки — закрытый вариант с идентичными тематиками, но другими формулировками вопросов. Такой подход, по мнению источника, позволит разработчикам проводить предварительную проверку ИИ-моделей в лабораториях и одновременно обеспечит достоверность и объективность итоговой оценки. Пока остается открытым вопрос о том, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать для этого совместную комиссию с участием органов власти, бизнеса и экспертных организаций. В аппарате профильного вице-премьера сообщили, что все предложения проходят обсуждение с отраслью и заинтересованными ведомствами на площадке рабочих групп. Говорить о конкретных решениях пока преждевременно. В Минцифры подчеркнули, что подзаконные акты к закону об ИИ еще обсуждаются с бизнесом. Ключевая задача — соблюсти интересы отрасли и пользователей, обеспечив соответствие технологий требованиям законодательства. Бизнес-архитектор ИИ-проектов «Авандок» Алексей Борщов говорит, что закрытые эталонные ответы — обязательное условие для безопасности ИИ-модели, поскольку любой публичный бенчмарк рано или поздно ломается. Однако когда разработчик не знает даже того, какие категории проверяются, в какой пропорции и с какими порогами, тест превращается в лотерею, а не программирование нейронной сети. Разработчик Kodik «АрхиТех ИИ» Рафаэль Гильмурахманов объясняет, что каждое изменение в одной части поведения ИИ-модели может повлиять на другую. Релизный цикл у ИИ-моделей измеряется неделями; слепая пересдача на каждую версию растягивает его в несколько раз.