Принцип Минимизации Эмпирического Риска На Основе Агрегирующих Функций Средних Потерь Для Решения Задач Регрессии

Abstract

-м.н., ведущий научный сотрудник, szport@gmail.ru; Д.П. Димитриченко, к.т.н., старший научный сотрудник, dimdp@rambler.ru; М.А. Казаков, младший научный сотрудник, f_wolfgang@mail.ru (Институт прикладной математики и автоматизации, ул. Шортанова, 89а, г. Нальчик, 360000, Россия) В настоящей работе предлагается расширенный вариант принципа минимизации эмпирического риска для реше-ния задачи регрессии.Он строится на основе применения усредняющих агрегирующих функций для вычисления эмпирического риска вместо среднего арифметического. Это оправданно, если распределение потерь имеет выбросы или существенно ис-кажено, отчего оценка риска как средних потерь с самого начала является смещенной. Поэтому в таких случаях при оптимизации параметров в задаче регрессии изначально следует использовать робастную оценку среднего риска.Подобные оценки среднего риска можно построить, используя усредняющие агрегирующие функции, которые яв-ляются решением задачи минимизации штрафной функции за отклонение от своего среднего значения. Такой подход для представления агрегирующих функций среднего позволяет, с одной стороны, определить значительно более ши-рокий класс функций среднего, а с другой, определить дифференцируемые функции среднего, которые аппроксими-руют недифференцируемые функции среднего, такие как медиана или квантиль. В результате появляется возможность построить градиентные методы решения задачи регрессии, в определенном смысле аппроксимирующие робастные методы, такие как Least Median и Least Quantile.В настоящей работе предлагается новая градиентная схема для решения задачи минимизации среднего риска. Она является аналогом схемы, применяемой в алгоритме SAG в случае, когда риск вычисляется при помощи среднего арифметического.Приведен иллюстративный пример построения робастной процедуры оценки параметров в задаче линейной ре-грессии на базе использования усредняющей функции среднего, аппроксимирующей медиану. Ключевые слова: агрегирующая функция, агрегирующая операция, эмпирический риск, регрессия, штрафная функ-ция, процедура градиентного спуска.Метод минимизации эмпирического риска [1] является признанным методом решения задач па-раметрической регрессии.Эмпирический риск обычно вычисляется как среднее арифметическое от значений параметриче-ской функции потерь. Эмпирическая оценка сред-них потерь как среднее арифметическое адекватна со статистической точки зрения, если потери рас-пределены по нормальному закону. Однако даже для нормального закона среднее арифметическое не является робастной оценкой среднего значения, в то время как медиана позволяет оценивать эмпи-рическое среднее при наличии выбросов. Поэтому для построения параметрических регрессионных зависимостей также используются эмпирические оценки среднего при помощи медианы, несмотря на то, что использование медианы делает проце-дуру настройки параметров регрессионной зависи-мости более медленной.В условиях выбросов также используют оценки квантилей, когда искажения в распределении по-терь составляют меньше 50 %. Это позволяет при настройке параметров ...