Оценка качества синтеза речи с применением попарного сравнения и сиамской нейронной сети
DOI: 10.21293/1818-0442-2026-29-1-144-151
DOI: 10.21293/1818-0442-2026-29-1-144-151
Аннотация: Актуальность. Развитие технологий систем синтеза речи по образцу обусловливает необходимость определения надежных методов оценки их реалистичности для обеспечения информационной безопасности. Цель исследования. Сравнительное исследование реалистичности моделей синтеза речи (RVC, Coqui TTS и Fish Speech) на основе комплексного подхода, сочетающего субъективное попарное сравнение аудиторами и объективную классификацию сиамской нейронной сети. Методы. Применены попарное сравнение аудиозаписей группой независимых аудиторов, а также сиамская нейронная сеть с обучаемым классификатором на основе MFCC-спектрограмм, обученная на авторском русскоязычном наборе данных. Научная новизна. Для задачи определения синтезированной речи предложена модифицированная архитектура сиамской нейронной сети, в которой вместо фиксированной метрики расстояния используется конкатенация эмбеддингов с последующей обработкой многослойным персептроном. Результаты. Результаты исследования показали, что модель Fish Speech обладает наивысшим акустическим сходством с оригиналом, вызывая максимальное число ложных идентификаций. Обученная сиамская сеть выявляет синтезированную речь с итоговой точностью 84%. Практическая значимость. Полученные выводы доказывают применимость предложенной архитектуры для независимой автоматизированной оценки качества синтеза и позволяют продолжить исследование в направлении защиты речевых систем от спуффинг-атак с возможностью сравнения с перцептивными способностями человека.
Ключевые слова: синтез речи, нейронные сети, попарное сравнение, экспертная оценка, Retrieval-based Voice Conversion, Text-to-Speech, Fish Speech, сиамская нейронная сеть
Сведения о финансировании: Работа выполнена при поддержке Министерства науки и высшего образования России: FEWM-2026-0009 (ТУСУР).
Библиография статьи:
Шелупанов А. А. Оценка качества синтеза речи с применением попарного сравнения и сиамской нейронной сети / А. А. Шелупанов [и др.] // Доклады Томского государственного университета систем управления и радиоэлектроники. – 2026. – Т. 29, № 1. – С. 144–151. DOI: 10.21293/1818-0442-2026-29-1-144-151
Авторы и правообладатели: