Настройка робастных нейронных сетей для решения задачи классификации

Аннотация: Рассматривается задача построения и настройки устойчивых к выбросам нейронных сетей. Для построения моделей используются различные робастные функции потерь Коши, Мешалкина, Geman–McCluer, Charbonnier и биквадратная функция потерь Тьюки. Исследования точности работы сетей проводились при различных значениях доли засоряющих наблюдений, различном числе эпох и различном объеме набора данных. Для каждой функции определены значения параметров, при которых достигается наилучшая точность работы, а также рекомендуемые интервалы значений параметра в зависимости от числа эпох обучения нейронной сети. Для сравнения рассматривались также классическая ИНС (с квадратичной функцией потерь) и робастная ИНС с функцией потерь Хьюбера. Анализ результатов показал, что использование робастного подхода дает значительный выигрыш в точности работы и в скорости обучения нейронной сети, однако выбор значения параметра функции потерь за пределами рекомендуемых интервалов может привести к ухудшению точности работы робастной сети.

Ключевые слова: искусственная нейронная сеть, алгоритм обратного распространения ошибки, выбросы, вычислительный эксперимент, робастный подход, функция потерь, машинное обучение, задача классификации

Библиография статьи:
Сивак М. А. Настройка робастных нейронных сетей для решения задачи классификации / М. А. Сивак, В. С. Тимофеев // Доклады Томского государственного университета систем управления и радиоэлектроники. – 2021. – Т. 24, № 3. – С. 26–32. DOI: 10.21293/1818-0442-2021-24-3-26-32