Ученые придумали новый способ получения субтитров видео с использованием методов слабой аннотации

Ученые придумали новый способ получения субтитров видео с использованием методов слабой аннотации Источник фото: pixabay.com

Экспериментальные результаты исследований показали, что новый, использующий слабую аннотацию, очень конкурентоспособен по сравнению с современными методами, использующими сильную аннотацию для создания субтитров к видеозаписям.

Алгоритмы создания субтитров для видео за последние годы показали впечатляющий прогресс. Одна из основных причин повышения производительности, достигнутой с помощью существующих методов, заключается в массивных парных данных видео-предложений, но сбор такой сильной аннотации, то есть предложений высокого качества, требует много времени и усилий.

В связи с этим специалисты предложили прогрессивный метод визуального мышления, который постепенно генерирует подходящие предложения из слабых аннотаций путем вывода большего количества семантических концепций и их отношений зависимости для субтитров видео.

Чтобы смоделировать концептуальные отношения, они использовали деревья зависимостей, которые формируются за счет использования внешних знаний из больших корпусов предложений. Путем обхода деревьев зависимостей генерируются предложения для обучения модели субтитров.

В итоге получился итеративный алгоритм, который уточняет предложения с помощью покрывающих деревьев зависимостей и настраивает модель субтитров, используя уточненные предложения альтернативным способом обучения.

Источник: arxiv.org