Применение искусственного интеллекта в сурдологии
Искусственный интеллект (ИИ) становится все более важным и неотъемлемым аспектом нашей повседневной жизни. Он проникает в различные сферы деятельности, обеспечивая нам удобство, эффективность и новые возможности в информационном пространстве. Подсознательно, но не предавая этому значения, люди постоянно окружены ИИ и получают помощь от него в повседневной жизни. Например, голосовые помощники стали распространенными в наших домах. Так голосовой помощник «Алиса» помогает нам получать информацию, управлять нашими устройствами без использования клавиатуры и делать много других задач только при помощи голосовых команд. Переводчики также изменили способ, которым мы общаемся с людьми из других стран. Рекомендательные системы предоставляют нам персонализированные рекомендации для фильмов, книг, музыки или товаров на основе наших предпочтений. Это позволяет нам не только экономить время, но и получать удовольствие от выбора продуктов или развлечений.
Искусственный интеллект стал мощным инструментом в клинической медицине, произведя революцию в различных аспектах ухода за пациентами и медицинских исследованиях. Интеграция ИИ в клиническую медицину не только повышает точность диагностики и результаты лечения, но также способствует более эффективному оказанию медицинской помощи, сокращению затрат и улучшению качества обслуживания пациентов. Сурдология не является исключением, поэтому давайте посмотрим, как ИИ будет формировать эту жизненно важную область для людей с ограниченными возможностями по слуху. Но, прежде чем переходить к применению ИИ в сурдологии, важно понять определенную терминологию в области искусственного интеллекта.
На сегодняшний день искусственный интеллект является универсальным термином для программ и приложений, которые выполняют сложные задачи, традиционно считающиеся прерогативой человека. ИИ позволяет наделять компьютеры возможностями, имитирующими интеллектуальное поведение человека и его способность рассуждать. Термин «искусственный интеллект» часто используется взаимозаменяемо с его подобластями, которые включают машинное обучение и нейронные сети. Машинное обучение (Machine Learning) – это область искусственного интеллекта, которая изучает разработку алгоритмов и моделей, позволяющих компьютерам извлекать полезные знания из большого массива данных и принимать решения на основе этой информации. Нейросеть (Neural Networks) — это тип машинного обучения, при котором компьютерная программа имитирует аналитическую работу человеческого мозга.
Одним из потенциальных направлений применение ИИ в сурдологии является создание и внедрение виртуальных помощников на базе искусственного интеллекта, которые позволяют обеспечить доступ к информации и услугам для глухих и слабослышащих людей. Виртуальные помощники используют ИИ, чтобы понимать язык жестов и отвечать пользователям на языке жестов. Данная система работает в двух параллельных направлениях. Она может с помощью нейросетей перевести естественный голос в язык жестов и наоборот жестовый язык в речь.
Для перевода естественной речи в язык жестов используется несколько алгоритмов машинного обучения. Сначала нейросеть STT (Speech-To-Text), распознает и переводит естественную речь в текст. Далее система на основе генеративно-состязательной сети (GAN) автоматически преобразует текст в язык жестов в форме виртуального аватара, разговаривающего на жестовом языке.
Для распознавания языка жестов используются алгоритмы обработки видеоизображений. Нейросеть с помощью прогрессивных алгоритмов распознает на видео положение ладоней и пальцев рук и переводит их в текстовую информацию. Далее, при помощи TSS (Text-To-Speech) технологии текстовая информация преобразуется в речевую.
Благодаря сурдопереводу на базе искусственного интеллекта глухие учащиеся смогут получить лучший доступ к образованию и смогут лучше участвовать в занятиях и учиться вместе со своими слышащими сверстниками.
Другим способом общения глухих и слабослышащих людей является чтение речи с губ и лица говорящего. Чтение по губам — это способ понимания речи путем интерпретации движения губ человека в слуховой образ. Ошибочно полагать, что чтение по губам — это простой навык, который можно легко освоить, основываясь только на зрительном восприятии движений губ человека. Человеческая речь представляет собой сложный и тонкий процесс, где одно и то же движение губ может соответствовать различным фонемам, то есть основным звуковым единицам. В результате, на практике при чтении с губ часто встречаются затруднения и ошибки, которые могут привести к неправильному пониманию высказывания.
Ученые создали систему искусственного интеллекта под названием LipNet, которая может точно читать по губам. Искусственный интеллект при «чтении» речи с губ достигает точности до 80%, а при работе с целыми предложениями до 94%. Точность системы впечатляет, она все еще не идеальна. Видео, подаваемые на нее, имели идеальное освещение и человек был обращен лицом к камере. Результаты могут отличаться при использовании менее идеального видео. Тем не менее, технология действительно многообещающая и с успехом может быть использована для слабослышащих и глухих людей при общении со слышащими.
Помимо языка жеста и чтения по губам глухие люди часто полагаются на субтитры. В современном мире автоматические субтитры используются на основных видео платформах и в социальных сетях. Субтитры иметь огромное значение для глухих и слабослышащих людей, которые хотят смотреть видео или участвовать в видеообщении. Было бы замечательно, если бы наша реальная жизнь сопровождалась субтитрами, чтобы люди с нарушением слуха могли видеть расшифровку разговоров в режиме реального времени прямо у себя на глазах. Это уже не футуристическая идея. Сегодня это стало возможным благодаря очкам дополненной реальности (AR) и технологиям машинного обучения, которые позволяют переводить речь в текст даже в очень шумной обстановке.
Очки с живыми субтитрами используют технологии машинного обучения и дополненной реальности для проецирования на очки субтитров в реальном времени. Очки с живыми субтитрами помогают глухим и слабослышащим людям в повседневном общении. Это означает, что им больше не нужно полагаться на чтение речи с губ, чтобы заполнить любые недостающие ключевые слова в разговоре с собеседником, а можно наслаждаться общением с относительной легкостью. Вы просто надеваете очки для субтитров и можете «увидеть» преобразование, происходящее в поле вашего зрения — точно так же, как смотрите телевизор с субтитрами.
Технологии искусственного интеллекта могут сыграть важную роль в преодолении барьеров общения глухих или слабослышащих людей с другими людьми, внося значительный вклад в их социальную интеграцию. Недавние достижения в технологиях и в алгоритмах искусственного интеллекта проложили путь для разработки различных устройств, технологий и приложений, направленных на удовлетворение потребностей людей с ограниченными возможностями по слуху.
Автор статьи: Пудов Николай Викторович – аудиолог проекта «Я слышу мир!»