Разработана программа, читающая по губам на 23 языках

В эпоху глобализации языковой барьер по-прежнему создает трудности в общении граждан разных стран. Устранить проблему решили ученые из Великобритании, разработавшие ПО, умеющее читать по губам на 23 языках.

Исследователи из Школы компьютерных наук при Университете Восточной Англии представили технологию, которая на основании визуального анализа мимики определяет язык, на котором говорит человек, а затем расшифровывает его речь. Программа может идентифицировать наиболее распространенные языки, включая диалекты, и без труда поймет английский, французский, испанский, арабский, итальянский, китайский, русский… Технология, финансирование разработки которой в размере 500 тыс. фунтов стерлингов осуществлялось британским Исследовательским советом инженерных и физических наук, создавалась в течение двух лет. Авторы ПО говорят, что им потребовалось забить в компьютер более 500 вариантов артикуляции для каждой языковой группы. В результате компьютер будет готов распознать речь человека даже с особенностями произношения некоторых звуков. Сканирование речи основывается не только на интерпретации движения губ, но и на анализе движений языка и челюсти, что позволяет системе уловить нюансы того или иного языка. Кстати, одновременное восприятие движений губ, языка и подбородка помогает уловить невербальные сигналы говорящего, расшифровать не только слова, но и определить тон и манеру говорящего. Конечно, компьютер и прежде использовался учеными для чтения речи по губам, однако британская программа — первая, самостоятельно идентифицирующая язык, на котором говорят.В эпоху глобализации языковой барьер по-прежнему создает трудности в общении граждан разных стран. Устранить проблему решили ученые из Великобритании, разработавшие ПО, умеющее читать по губам на 23 языках.

Исследователи из Школы компьютерных наук при Университете Восточной Англии представили технологию, которая на основании визуального анализа мимики определяет язык, на котором говорит человек, а затем расшифровывает его речь. Программа может идентифицировать наиболее распространенные языки, включая диалекты, и без труда поймет английский, французский, испанский, арабский, итальянский, китайский, русский… Технология, финансирование разработки которой в размере 500 тыс. фунтов стерлингов осуществлялось британским Исследовательским советом инженерных и физических наук, создавалась в течение двух лет. Авторы ПО говорят, что им потребовалось забить в компьютер более 500 вариантов артикуляции для каждой языковой группы. В результате компьютер будет готов распознать речь человека даже с особенностями произношения некоторых звуков. Сканирование речи основывается не только на интерпретации движения губ, но и на анализе движений языка и челюсти, что позволяет системе уловить нюансы того или иного языка. Кстати, одновременное восприятие движений губ, языка и подбородка помогает уловить невербальные сигналы говорящего, расшифровать не только слова, но и определить тон и манеру говорящего. Конечно, компьютер и прежде использовался учеными для чтения речи по губам, однако британская программа — первая, самостоятельно идентифицирующая язык, на котором говорят.

«Новая система — это настоящий прорыв в классе компьютерных анализаторов человеческой речи по визуальным признакам, — отмечает один из авторов проекта профессор Стефан Кокс. — Технология важна не только в практическом плане, но и с точки зрения науки. Так, компьютер уже сделал выводы о мимических различиях в речи разных народов. Например, французы чаще остальных округляют губы, а арабы выделяются выраженными движениями языка».

Практическая ценность инновации не вызывает сомнений. Система автоматического определения речи по мимике значительно расширит коммуникативные возможности технологий, начиная с интернет-трансляций, где речь спикера будет автоматически переводиться на выбранный язык, и заканчивая персональными устройствами с функцией моментального перевода. Подобными компьютерами, по словам разработчиков, должны быть оборудованы места с высокой плотностью иностранных граждан — аэропорты, посольства, справочные и крупные торговые центры. Иностранец будет обращаться к системе на родном языке, а персонал, к которому он обращается, услышит синхронный перевод, и наоборот.

И, конечно же, компьютер поможет немым людям, которые смогут без посторонней помощи озвучивать свои мысли. Кстати, программа считывает движения губ гораздо лучше, чем даже профессиональный сурдопереводчик. Для сравнения, в английской речи имеется более 40 отдельных звуков, но по артикуляции рта можно различить только десять. Опытный специалист, следя за выражением лицевых мышц, может понять до 60% речи, тогда как инновационное ПО считывает более 90% сказанного.

Программа даже поможет раскрыть некоторые тайны истории. Например, с помощью подобной технологии историкам уже удалось расшифровать архив личных кинохроник Адольфа Гитлера и узнать некоторые подробности последних дней его жизни. В частности, манера речи вождя Третьего рейха подтвердила мнение ученых о том, что Гитлер последние годы жизни страдал болезнью Паркинсона. Кроме того, инновационное ПО значительно облегчит задачу при создании звуковых дорожек к немым фильмам.