Настройка робастных нейронных сетей для решения задачи классификации

Скачать текст статьи в формате PDF

Авторы: Сивак М. А., Тимофеев В. С.

Аннотация: Рассматривается задача построения и настройки устойчивых к выбросам нейронных сетей. Для построения моделей используются различные робастные функции потерь Коши, Мешалкина, Geman–McCluer, Charbonnier и биквадратная функция потерь Тьюки. Исследования точности работы сетей проводились при различных значениях доли засоряющих наблюдений, различном числе эпох и различном объеме набора данных. Для каждой функции определены значения параметров, при которых достигается наилучшая точность работы, а также рекомендуемые интервалы значений параметра в зависимости от числа эпох обучения нейронной сети. Для сравнения рассматривались также классическая ИНС (с квадратичной функцией потерь) и робастная ИНС с функцией потерь Хьюбера. Анализ результатов показал, что использование робастного подхода дает значительный выигрыш в точности работы и в скорости обучения нейронной сети, однако выбор значения параметра функции потерь за пределами рекомендуемых интервалов может привести к ухудшению точности работы робастной сети.

Ключевые слова: задача классификации, машинное обучение, функция потерь, робастный подход, вычислительный эксперимент, выбросы, алгоритм обратного распространения ошибки, искусственная нейронная сеть

Библиография статьи: Сивак М. А. Настройка робастных нейронных сетей для решения задачи классификации / М. А. Сивак, В. С. Тимофеев // Доклады ТУСУР. – 2021. – Т. 24, № 3. – С. 26–32. DOI: 10.21293/1818-0442-2021-24-3-26-32

Масленников Виктор Николаевич

Ответственный секретарь редакции журнала

  634050, г. Томск, пр. Ленина, 40, МК, каб. 310/2

  (3822) 51-21-21, внутр.: 1460

  vnmas@tusur.ru