Следующее за искусственным интеллектом: научимся читать по губам

Пациент сидит на больничной койке, повязка закрывает ему шею с небольшим отверстием для трахеостомической трубки, которая снабжает его кислородом.

Из-за его недавней операции мужчина фигурирует в этом маркетинговое видео не может озвучивать. Итак, врач держит смартфон и записывает, как пациент произносит короткую фразу. Приложение под названием SRAVI анализирует движения губ и примерно через две секунды возвращает свою интерпретацию: «Мне нужно отсосать».

Это кажется простым взаимодействием, и в некоторых отношениях SRAVI (приложение для распознавания речи для людей с ослабленным голосом) все еще довольно упрощено. Он может распознать только несколько десятков фраз, и делает это с точностью около 90 процентов. Но приложение, созданное ирландским стартапом Liopa, представляет собой огромный прорыв в области визуального распознавания речи (VSR), который включает в себя обучение искусственного интеллекта чтению по губам без какого-либо аудиовхода. Скорее всего, это будет первое приложение ИИ для чтения по губам, доступное для публичной покупки.

Исследователи десятилетиями работали над тем, чтобы научить компьютеры читать по губам, но это оказалось сложной задачей даже с учетом достижений в системах глубокого обучения, которые помогли взломать другие знаковые проблемы. В основе исследования лежит широкий спектр возможных коммерческих приложений - от инструментов наблюдения до приложений для бесшумной связи и улучшенной производительности виртуального помощника.

Liopa находится в процессе сертификации SRAVI как медицинского устройства класса I в Европе, и компания надеется завершить сертификацию к августу, что позволит начать продажу его поставщикам медицинских услуг.

Хотя их намерения в отношении технологии не ясны, многие технологические гиганты также работают над ИИ, читающим по губам. Ученые, связанные с Google, Huawei, Samsung и Sony, или работающие на них напрямую, исследуют системы VSR и, судя по интервью и обзору недавно опубликованных исследований и патентных заявок, проведенного компанией Motherboard, быстро продвигаются вперед. Компании либо не ответили, либо отказались от интервью для этой статьи.

По мере того как ИИ для чтения по губам становится жизнеспособным коммерческим продуктом, технологи и наблюдатели за конфиденциальностью все больше беспокоятся о том, как он разрабатывается и как он может однажды быть развернут. SRAVI, например, не единственное приложение искусственного интеллекта для чтения по губам, над которым работает Liopa. Компания также находится в второй этап проекта с британским агентством оборонных исследований для разработки инструмента, который позволил бы правоохранительным органам искать в немых кадрах видеонаблюдения и определять, когда люди произносят определенные ключевые слова.

Компания видеонаблюдения Motorola Solutions имеет патент на систему чтения по губам предназначен для помощи полиции. Skylark Labs, стартап, основатель которого связан с Агентством перспективных исследовательских проектов Министерства обороны США (DARPA), сообщил Motherboard, что его система чтения по губам в настоящее время развернута в частных домах и государственной энергетической компании в Индии для выявления нецензурной лексики и ненормативной лексики. .

«Это одна из тех областей, с моей точки зрения, которая является хорошим примером того, что« только потому, что мы можем это сделать, не означает, что мы должны »», - сказал Motherboard Фрейзер Сэмпсон, комиссар Великобритании по биометрии и камерам наблюдения. «Меня больше всего беспокоит в этой области не обязательно то, что технология может делать, а что нет, это был бы пугающий эффект, когда люди верят, что она может делать то, что говорит. Если это затем помешало им выступить публично, значит, мы находимся в гораздо большей области, чем просто конфиденциальность, и конфиденциальность достаточно велика ».

Появление ИИ для чтения по губам напоминает технологию распознавания лиц, которая была нишевой областью исследований в течение десятилетий, прежде чем она была тихо, но быстро коммерциализирована в качестве инструмента наблюдения, начиная с начала 2000-х годов.