Предложен подход к прогнозированию показателя качества распознавания речи Word Error Rate (WER) на основе акустических характеристик сигнала и вычисления перплексии языковых моделей. Предлагаемый метод включает в себя создание разнообразных наборов аудиоданных путем применения различных типов акустических искажений к чистым речевым образцам на различных уровнях качества и разборчивости. В отличие от предыдущих работ, извлекается и анализируется полный набор речевых признаков: прогнозирование значения отношения сигнал/шум (signal-to-noise ratio, SNR), нейросетевые метрики качества звука (NISQA и др.), метрики уверенности модели распознавания речи, а также перплексия текста гипотезы ASR по языковой модели в качестве дополнительного признака для обучения единой модели прогнозирования WER.

Проведены эксперименты с использованием современных архитектур распознавания речи для демонстрации эффективности предлагаемого метода в прогнозировании WER в различных акустических условиях. Показано, что включение перплексии существенно повышает качество прогноза WER, в частности для данных, где акустические признаки слабо коррелируют с ошибками распознавания. Результаты применимы для автоматической оценки ожидаемого качества распознавания речи и фильтрации аудиовходов.

Предложены программные механизмы, направленные на оптимизацию процессов видеопроизводства для авторов художественных видеоматериалов – материалов, предполагающих предварительную постановочную работу. Разработан механизм создания анимированных трехмерных планов съемки (раскадровок) с использованием дополненной реальности для позиционирования и анимации перемещения актеров. С целью преодоления ограничений операционной системы iOS, связанных с доступом к сенсорам, разработан механизм раздельного захвата аудио- и видеопотоков с датчиков устройства для проведения записи, а также их последующей синхронизации по временным меткам для сохранения в память устройства. Отслеживание соблюдения правил композиционного построения и анализ качества изображения на предмет расфокусировки камеры реализованы с использованием технологий компьютерного зрения. Также представлены механизмы работы со сценарием, включающие алгоритмы обработки текста для вывода на экран в виде субтитров, а также распознавания речи актеров и сравнения её с текстом сценария.

Описана технология, которая позволяет создавать электронные версии обучающих материалов. Данные материалы представляют собой часть общей образовательной среды, построенной на основе принципов Smart Education – современного метода обучения, базирующегося на облачных технологиях и обеспечивающего интерактивность учебного процесса. В электронных обучающих материалах полностью представлено содержимое печатного учебника, необходимых дополнительных интерактивных материалов; созданные с помощью набора алгоритмов электронные учебники могут быть интегрированы в учебный процесс как в виде интернет-ресурса, так и в виде мобильных приложений для наиболее популярных ОС.

Процесс видеомонтажа включает множество трудоемких операций по сортировке и подготовке материалов, что требует значительных временных затрат. В статье описана разработка программного решения для автоматизации этих процессов с использованием технологии машинного обучения. Основное внимание уделено созданию системы, способной классифицировать и сортировать медиафайлы по тексту сценария, тем самым повышая эффективность подготовки материалов к монтажу. Система включает модули распознавания речи, классификации аудио и видео, а также алгоритмы определения соответствия сценарию. Тестирование показало, что предложенная система правильно классифицирует медиафайлы в большинстве случаев, что позволяет существенно сократить время на черновой монтаж.

Статья посвящена разработке системы поиска и индексации аудиофайлов с использованием автоматического распознавания речи (ASR) и Elasticsearch. Проанализированы актуальные системы транскрибирования аудиофайлов на русском языке и выбрана система whisper как лучшая. Создан алгоритм оптимизации скорости транскрибирования с помощью параллелизации процессов обработки файла, продемонстрирована его эффективность. Построена система на микросервисной архитектуре, способная индексировать контент аудиофайлов и их мета-данные для поиска. Результаты исследования показали, что предложенный подход может быть применен для создания эффективных и гибких систем поиска и аналитики аудиоинформации.