NVIDIA открыла исходный код фреймворка для моделирования медицинской физики

Ведущие производители медицинского оборудования уже используют новый фреймворк NVIDIA Medical Physics Simulation, чтобы дать хирургическим роботам возможность приобрести виртуальный опыт до взаимодействия с пациентами.

Прежде чем медицинский робот сможет эффективно работать в реальном мире, он должен научиться взаимодействовать с физической средой. Анатомия каждого пациента отличается. Инструменты изгибаются, давят, скользят и взаимодействуют с тканями. Медицинские изображения могут содержать шум или быть неполными. А редкие пограничные ситуации, которые разработчикам особенно важно изучить, возникают крайне редко и непредсказуемо.

Именно это создаёт одно из главных препятствий в разработке медицинской робототехники — необходимость получения огромного объёма разнообразных данных для обучения, тестирования и совершенствования поведения роботов.

Сегодня NVIDIA представила Medical Physics Simulation — новый открытый GPU-ускоренный фреймворк в составе NVIDIA Isaac for Healthcare, предназначенный для моделирования медицинской физики. Он помогает разработчикам медицинских роботов моделировать взаимодействие между анатомией пациента и медицинскими устройствами, генерировать трудно воспроизводимые сценарии, проводить испытания in silico (в виртуальной среде), а также обучать и оценивать алгоритмы управления роботами ещё до проведения дорогостоящих испытаний на реальном оборудовании.

Фреймворк объединяет моделирование анатомии и поведения медицинских устройств, симуляцию сенсоров и обучение роботов. Благодаря этому команды разработчиков могут создавать повторно используемые симуляционные среды вместо того, чтобы заново строить отдельные сцены под каждый рабочий процесс. Это позволяет существенно экономить время и быстрее выводить инновационные решения на рынок.

Поскольку Medical Physics Simulation распространяется с открытым исходным кодом, разработчики могут изучать его внутреннее устройство, адаптировать под собственные медицинские устройства и рабочие процессы, а также строить свои решения на основе GPU-ускоренной платформы, полностью совместимой с экосистемой NVIDIA.

Открытый исходный код особенно важен для здравоохранения, поскольку разработчикам необходима прозрачность в отношении данных, моделей и весов нейросетей, определяющих поведение системы. Доступ к открытым моделям и их весам помогает воспроизводить результаты, оценивать работу алгоритмов на различных вариантах анатомии и в разных клинических сценариях, выявлять ограничения системы и формировать доказательную базу для прохождения регуляторных процедур.

Виртуальный полигон для обучения медицинских роботов

Для физического искусственного интеллекта опыт — это данные в движении. Разработчикам необходимо обучать роботов корректно работать даже тогда, когда меняется анатомия пациента, иначе ведут себя медицинские инструменты, изменяются условия операции или алгоритм неожиданно допускает ошибку.

Medical Physics Simulation позволяет моделировать анатомию, контакт медицинских устройств с тканями, силы трения и данные сенсоров, а затем проводить испытания в различных условиях, оценивая работу роботов во множестве вариантов развития событий.

Фреймворк работает на базе NVIDIA CUDA и входит в состав Isaac for Healthcare, построенного на технологиях NVIDIA Warp, Newton и Cosmos для моделирования и генеративного искусственного интеллекта. Он способен одновременно запускать сотни симуляционных сред, что позволяет исследовать значительно больше сценариев и обнаруживать потенциальные ошибки ещё на ранних этапах разработки.

Для разработчиков медицинских роботов это превращает симуляцию из уникального инженерного проекта в универсальную инфраструктуру, пригодную для многократного использования.

Главное преимущество нового подхода — масштабируемость. Согласно опубликованным результатам тестирования, запуск 8192 параллельных сред обучения роботов с использованием GPU-ориентированной симуляции сократил время обучения с более чем пяти часов до менее чем двух минут.

Используя данный фреймворк, разработчики могут объединять:

• модели сосудистой анатомии;
• гибкие медицинские инструменты, такие как катетеры и проводники;
• симуляцию рентгеновской визуализации;
• обучение с подкреплением.

При этом архитектура системы рассчитана на поддержку и других типов медицинских устройств, анатомических моделей, сенсоров и направлений медицинской робототехники.

Medical Physics Simulation объединяет два подхода к моделированию:

• классическую физическую симуляцию, описывающую известные физические законы (контакт, трение, движение устройств);
• генеративную физическую симуляцию на базе ИИ.

Компонент NVIDIA Cosmos-H Dreams, работающий в режиме реального времени и входящий в состав Medical Physics Simulation, позволяет моделировать динамику визуальной сцены, обучаясь на процедурно сгенерированных данных.

Совместное использование этих подходов предоставляет разработчикам гораздо более реалистичный инструмент для проектирования и тестирования медицинских роботизированных систем в виртуальной среде ещё до создания физических прототипов и проведения лабораторных испытаний.

Экосистема, формирующая будущее медицинской робототехники

Лидеры отрасли медицинской робототехники уже используют разработку через моделирование для решения конкретных хирургических задач.

CMR Surgical совместно с Cambridge Consultants (входит в состав Capgemini) используют Cosmos-H Dreams для неявного изучения физики взаимодействия при операциях на мягких тканях и создания персонализированных симуляций пациентов.

Компания CMR предоставила почти 500 часов анонимизированных клинических данных, полученных с помощью своей роботизированной хирургической системы Versius, в открытый набор данных Open-H Embodiment. Эти данные охватывают такие операции, как:

• удаление желчного пузыря;
• простатэктомия;
• лечение грыж;
• гистерэктомия.

«Открытые модели позволяют нам строить разработки на основе коллективных знаний, ускоряя ответственное внедрение инноваций и, в конечном итоге, давая возможность обеспечить более стабильное качество медицинской помощи и лучшие результаты лечения пациентов по всему миру», — отметил Крис Фрайер, технический директор CMR Surgical.

Johnson & Johnson MedTech использует Medical Physics Simulation совместно с фундаментальной моделью семейства Cosmos для создания цифровых двойников своей эндолюминальной платформы MONARCH для урологии, моделируя сложную анатомию и сценарии удаления камней в почках.

Компания XCath применяет Medical Physics Simulation для обучения алгоритмов автономного управления при эндоваскулярных вмешательствах.

Компания Inner Logic ускоряет разработку медицинских технологий, используя синтетические данные, проверку механики медицинских устройств и получение виртуальных доказательств (in silico evidence) для прохождения регуляторных процедур с помощью Medical Physics Simulation.

Подразделение Medtronic Structural Heart исследует возможность использования Medical Physics Simulation совместно с моделированием рентгеновских сенсоров для генерации данных, необходимых при исследованиях навигации катетеров.

Новый уровень платформы Isaac for Healthcare

Medical Physics Simulation представляет собой модульную возможность внутри платформы NVIDIA Isaac for Healthcare.

Он может использоваться как самостоятельно, так и совместно с:

• конвейерами цифровых двойников;
• симуляцией медицинских сенсоров;
• открытым фреймворком обучения роботов NVIDIA Isaac Lab;
• открытыми моделями и политиками управления NVIDIA.

Разработчики уже сегодня могут ознакомиться с открытым исходным кодом Medical Physics Simulation, изучить готовые примеры рабочих процессов и начать создавать собственные среды моделирования для своих медицинских устройств, анатомических моделей и приложений в области медицинской робототехники.