Агентство Лангуст [переход на главную] Langust

30/03/2016 Компьютер научили читать по губам
Впервые опубликовано на сайте издания N+1

На сайте издания N+1 была опубликована заметка о компьютерном распознании речи по губам.

Ниже материалы заметки приведены полностью.

Учёные из университета Ист-Англии создали систему машинного обучения, которая умеет читать по губам.

Работа была представлена на конференции ICASSP в Шанхае, детали исследования редакция N+1 выяснила у одного из авторов исследования Хелен Бир.

кадр из фильма 2001: Космическая Одиссея Стенли Кубрика

Система, созданная программистами, следит за речью человека при помощи видеокамеры. Для обучения её классификаторов авторы работы использовали скрытую Марковскую модель, а также разработали новый метод, который будет потенциально применим для нейросетей.

Чтобы научить систему читать по губам, исследователи разделили речь на две составляющие: фонемы и виземы, которые являются визуальным эквивалентом фонем. Основная сложность заключалась в том, что фонем в речи больше, чем визем, поэтому учёные создали двухуровневую иерархическую структуру.

Сначала они обучали классификаторы соотносить виземы с различными звуками, в качестве материала для обучения используя записи речи людей. Затем, учёные увеличивали количество классификаторов. Например, если виземе V1 соответствуют фонемы P1, P2 и P3, то в системе должно существовать три копии виземы V1. После этого классификаторы обучались второй раз, после чего система уже могла распознавать речь.

Работоспособность системы специалисты проверяли на двух моделях. Первая подразумевала «языковую» модель, то есть распознавание непрерывной речи, а вторая - «фонемную» модель. В обоих случаях процент успеха пока достаточно невелик - слова система распознаёт с точностью до 10-15 процентов, фонемы - до 25 процентов. Тем не менее, учёные замечают, что это значительное продвижение по сравнению с прошлыми результатами.

В будущем исследователи планируют усовершенствовать свою технологию, которая сможет найти применение для таких ситуаций, когда голоса на записи плохо различимы или отсутствует, или испорчена аудиодорожка. «Потенциально, система чтения по губам может быть применена для различных целей, от развлечения до расследования преступлений» - замечает один из авторов работы.

Ранее британские исследователи во главе с Эндрю Симпсоном из Университета Суррея создали искусственную нейронную сеть, вычленяющую голос из посторонних шумов. Эта задача является первым шагом к решению проблемы так называемого «эффекта вечеринки».

© Кристина Уласович

Впервые опубликовано на сайте издания N+1

← Вернуться
хостинг для сайтов © Langust Agency 1999-2020, ссылка на сайт обязательна