Двуязычная автоматическая субтитр: не так простое решение

Предложение Spectator Subtited Automatic Live не является новистью, но можете ли вы доверять достаточно технологиям искусственного интеллекта для программ субтитров на двух языках? Кармен Перес Чернуда, заместитель директора области инновационной и технологической стратегии в РТВЭ, пролить свет на эту тему.

Благодаря Широкая территориальная структура От RTVE, который имеет центр в каждом из автономных сообществ, можно приблизить новости, которые встречаются в ближайшей среде ближе к гражданину. Для этого, в дополнение к радиосайкам, TVE производит Две ежедневные новости В каждом из его территориальных центров, которые транслируются одновременно, через DTT через территориальные разъединения, один утром и другой в начале дня.

И именно это одновременность тот, который усложняет создание этих новостей Традиционные методы С разумным бюджетом. По этой причине исторически они были Субтитулирование только территориальных новостей о Канарских островах, Каталонии и Мадриде Поскольку, будучи производственными центрами, есть Ручная или полуавтоматическая система субтитров, используемая для других программ.

Первые шаги в автоматизации

Идея Автоматизируйте субтитры Это возникло в ближайшее время, но с тех пор задача не была тривиальной, и в качестве небольшого абзаца для наименее знакомых с проблемой субтитров, среди которых я признаюсь, что до недавнего времени я также был, я скажу, что есть строгие правила (UNE 153010/2012, а также Кодекс хороших практик испанского центра субтитулята Плотность субтитров (в процентах относительно всего, что сказано в программе), максимальная задержка между словом и текстом, максимальное количество букв на строку и линии, Минимальное и максимальное время постоянства На текстовом экране, Расположение субтитров на экранеи т. д., что они должны быть выполнены для гарантировать понимание и мониторинг разговорного.

После некоторого концепционного доказательства и периодов корректировки Автоматическая служба субтитров (…). Сегодня это консолидированный сервис с уровнями качества на выше даже ожидалось.

Следовательно, только в 2018 году, когда состояние искусства речевых технологий и искусственного интеллекта применялся к обработке естественного языка степень зрелости Это побудит нас рискнуть в Автоматическая субтитра информативных программ жить с Определенная гарантия успехаПолем Эти характеристики программ добавляют некоторые трудности для автоматизации; быть информативным подразумевает, что бывают случаи, когда докладчики не профессионалы и звук Это не сделано в лучших условиях окружающей средыMicros Position и т. Д. Кроме того, будучи живым, это подразумевает, что есть Короткое пространство времени, всего несколько секунд, для Получение и презентация на экране подзатинка.

После некоторого концепционного доказательства и периодов корректировки Автоматическая служба субтитров чьи уровни качества были По крайней мере то же самое до остальной части субтитров, используемых до этого момента. Сегодня это консолидированный сервис с уровнями качества на выше даже ожидалось.

А почему не в двуязычных центрах?

Однако в то время Отсутствие языковых моделей на других языках, на которых говорят в Испании и дополнительная сложность языковых изменений позволила не расширить услуги до двуязычных новостей.

Tras algún intento fallido, por fin, en 2020 conseguimos, mediante concurso público, una empresa capaz de generar un servicio como el que demandábamos en castellano y los idiomas hablados en Navarra, P. Vasco, Baleares, C. Valenciana y Galicia, de forma que el subtítulo generado se escribiera en el mismo idioma en el que se estaba hablando.

Al igual que en el caso de los informativos en castellano, se planteó desde el inicio que el servicio fuera en облако, de forma que RTVE entrega la señal de audio del Informativo Territorial, en banda base a través del interfaz audio digital AES3, en el propio Centro donde se produce. La empresa encargada del servicio realiza el procesamiento necesario для генерации субтитров автоматически, в режиме реального времени и с Распознавание разговорного языка, полагаясь только на живой звук программы, поскольку у нее нет предварительной помощи в области информационных систем, таких как сценарии новостей, юбки и т. Д.

Субтитры, полученные для всех центров, доставляются в Torrespaña cpp (Мадрид), в формате DVB SOBRE IP, для его включения в сюжет TDT.

Территориальные центры, которые используют эту новую систему, являются центрами вальенсианской общины, Балеарских островов, Галиции, Баскской Страны и Наварры, которые были включены на ошеломленную, по температуру одного каждый месяц, от Февраль 2021 г., как только результаты проверены в каждом случае посредством соответствующего контроля качества.

Система тревоги, автоматизированная, позволяет вам иметь Знание любой ошибки Во всей цепочке обслуживания, которая, кроме того, в случае неисправности, также отключает оборудование для субтитров. Сервис предоставляет это Эйкокс Как интегративная компания, применяющая технологию Etiqmedia Для обработки и генерации субтитров.

Как происходит двуязычное субтитры?

Для каждого центра решение две системы обработки, работающие параллельно, один для каждого из двух языков, на которых говорят в каждом информативном. В этой обработке это транскрибируется Голос на текст, Он проходит через словарь, модулем капитализации и пунктуации, модулем представления чисел и других, которые применяют правила для улучшения некоторых ошибок, всегда принимая во внимание, что на всех этих этапах вы должны быть очень осторожно с задержками что они вводят, когда они живые субтитры. Стремясь к очень хорошему качеству в любом из них, это означает Добавьте секунды, которые сильно наказывают пользовательский опыт Возможность не соблюдать правила.

Кроме того, и в качестве фундаментальной части системы существует модуль обнаружения разговорного языка, который с учетом акустических характеристик и применения технологий, основанных на нейронных сетях, только в Пять секунд должны решить, является ли язык, на котором вы говорите, или B, Выбор, на каком языке субтитры представлены в любое время. Точно так же, будучи «живыми» условиями, параметры, которые могут быть Настроить в детекторе, чтобы улучшить свою работу.

Не все двуязычные информативы одинаковы ...

Хотя структура территориального информативного, с точки зрения Контент одинаково во всех центрах (заголовки, отредактированные произведения, некоторые прямые, культурные и спортивные время), в отношении языка Они не следуют ни одной общей схеме, что делает результаты автоматического субтитров не однородным.

Таким образом, в некоторых центрах, как в Наварра и Баскская страна, весь информативный Краткое изложение новостей в конце того же; Более того, в случае с Наваррой это делается только днем информативно.

Одним из наших проблем является власть Отличить обвиняемые ошибки для языкового детектора И те, кто должен Языковая модель

В других практически все информативно говорится в язык сообщества и переходит на испанский только тогда, когда есть Вмешательство публичных персонажейУличные опросы и т. Д. В среднем семестре будут новости о том, что, хотя проводящая нить находится в только язык, Каждая часть или объявление может быть в том или ином случае в соответствии с автором того же самого.

Также часто случается, что, говоря на языке, Некоторые слова произнесены на другом языкеПолем Это происходит, хотя не только, с Имена сущностей (Организации, населенные пункты ...), ситуация, которая естественным образом добавляет определенная степень трудностей с признанием языка.

В случае Галисия, где Испанский с сильным акцентом в галицианском, Языковой детектор, который работает с фонемами, Много трудностей для различения, когда происходит изменение языка, особенно в переходе галицианского к испанскому. Однако в Наварра, где Euskera, который говорит с отмеченным испанским акцентом, не было достигнуто, что система распознает изменение языка. Чтобы облегчить ситуацию в этом конкретном центре, учитывая его кассуарию, мы работаем так, чтобы Изменение языка осуществляется путем привычки к модулю взрыва.

Следите за параметрами качества и качественными параметрами

Другой ключевой часть проекта - это исчерпывающий контроль качества который выполняется и чьи результаты служат не только для того, чтобы знать качество решения, но и обнаружить слабые точки, способствовать улучшению функционирования инструмента и поэтому полученных уровней качества.

Для этого специализированная компания, Аппент, который имеет эксперты на всех обсуждаемых языках, Еженедельный анализ два пяти минут фрагмента новостей Из каждого территориального центра, в котором как день недели, так и время новостей изменяются: в начале, в середине или в конце, что делает для каждого фрагмента набор объективных мер, собранных в еженедельном отчете, который также включает в себя наиболее заметные ошибки.

Одним из наших проблем является власть Отличить обвиняемые ошибки для языкового детектора И те, кто должен Языковая модельПолем Чтобы точно знать качество языковой модели, были установлены некоторые помещения, например, не учитывать Первые пять секунд Каждый раз, когда происходит изменение языка (мы помним, что именно окно было установлено, чтобы детектор решал в том, на каком языке говорится и, следовательно, содержит ошибки). С другой стороны, эти затронутые слова Когда изменение языка не обнаружено и не добавлено системой.

Чтобы узнать качество транскрипции, дифференцируя для каждого из языков, Скорость ошибок слова (WER), который учитывает добавленные слова, исключенные или ошибочно транскрибированные против общих реальных слов. А Расчет точностиЭто в дополнение к предыдущим ошибкам, это учитывает ошибки пунктуации и капитализации.

Что касается функционирования языкового детектора, то не обнаруженные изменения принимаются во внимание, и те, которые система считала изменением языка без существующего перед лицом реальных изменений, отдельно анализируя ошибки в изменении испанского на другой язык и противоположности.

Кроме того, в том же образце, Мониторинг того времени, необходимого для появления субтитров на экране С тех пор, как звук был услышан.

Некоторые результаты

В общем, мы заметили, что наилучшие результаты получаются, когда Проанализировать начало новостей, худшее соответствует фрагменты конца того же, в то время как, когда анализируется центральная часть, результаты сильно различаются в зависимости от содержания этих фрагментов. Это ожидаемое поведение, поскольку начало информативного соответствует Чтение ранее написанным текстовым профессионаломСледовательно, структурированный язык и на съемочной площадке, то есть с хорошим сбором звука, в то время как фрагменты центральной части обычно являются вмешательствами с естественным языком, иногда с улицы, непрофессиональными носителями и где акустические условия хуже. Последняя часть информативного обычно соответствует времени, спорту и культуре, где они появляются очень часто местные имена, с небольшой частотой внешнего вида, в которой эти системы менее эффективны. Может быть разница от От 2 до 5 баллов при частоте ошибок между началом и конец новостей.

Для испанского Такая же языковая модель, обучен с тысячами часов, для всех сообществ без гомогенных результатов. Лучшие результаты получены в Наварра и П. Баскскийгде в более чем 90% сделанных мер получается менее 8% даже в самых сложных частях новостей. Валенсианское сообщество получает составляющее меньше 10%, в то время как Галисия и Балеарские острова имеют очень нерегулярное поведение, а иногда, всегда говоря об анализируемых фрагментах, на испанском языке так мало слов, что невозможно сделать надежные расчеты в этом языке.

Что касается остальных языков, эти результаты получаются: баскский, WER остается ниже 15% в 90% образцов. Валенсианское сообщество, было менее 25%, если это окончательная часть и 15%, если это в начале; Галиция, была менее 20% в окончательной части и 15% в остальных; и балеарские острова, менее 20% в финальной и начальной и очень нерегулярной части в среде новостей.

Относительно точность, наибольшее количество ошибок в Капитализация и пунктуация, колеблюсь между 40 и 50%, а также в словах, транскрибируемых неправильно, от 25 до 35%. Многое расстояние - это потерянные слова, около 10%, добавленные слова практически незначительны.

Языковой детектор имеет неравное поведение На разных языках с разными результатами, если шаг является испанским для местного языка, который находится в противоположном направлении, также влияя на его работу, когда при изменении языка фрагмент, который говорится на языке, на который он был изменен, составляет несколько секунд.

Что касается времени проверки на экране, максимум которого установлен 8 секунд И, хотя в начале проекта я был довольно близок к этой цифре, он улучшался, и мы в настоящее время среди 5 и 6 секунд в среднем.

Что мы можем ожидать

Тем Нейронные сетевые системы применимы к такому типу вариантов использования Эффективное улучшение Однако в результатах, полученных из других предыдущих технологий, у них есть аналог, который им нужен Большие объемы данных для обученияПолем Одна из самых важных проблем в лечащихся языках, за исключением испанского, заключается в том, что очень мало данных для обученияПолем Следовательно, неравные результаты уже ожидались, согласно языку, поскольку некоторые языковые модели могут быть более или менее обучены, чем другие, в зависимости от работ или заказов, уже представленных на этих языках, публикаций с открытым корпусом и т. Д.

С другой стороны, и быть Живые программы, некоторые формулы улучшения, такие как Введение правил после транскрипции Они могут быть применены только тогда, когда они очень просты, потому что, в противном случае, это наказывает время доставки субтитров.

Мы доверяем этому Компьютерные возможности продолжит увеличиваться, позволяя ввести более сложные формулы Для улучшения в точность и Время презентации На экране.

Помимо продвижения языковых моделей на разных языках, что, несомненно, будет происходить с увеличением использования систем такого типа для различных приложений, которые будут привести к все более доступным для обучения, мы надеемся, что как в капитализации, так и оценке с новыми технологиями, основанными на Трансформеры, как и другие, применяемые к обнаружению языка, достигают заметного увеличения качество полученных субтитров.

С другой стороны, мы верим, что Компьютерные возможности продолжит увеличиваться, позволяя ввести более сложные формулы Для улучшения в точность и Время презентации На экране.

Все причины выставлены, но, прежде всего, Подход некоторых ассоциаций глухих людей para felicitarnos porque por primera vez pueden seguir un informativo en su lengua materna, hacen que todo el esfuerzo invertido en este proyecto haya merecido la pena y nos aporta toda la motivación necesaria para continuar apostando por el mismo.