Máquina de Aprendizado Extremo Robusta para Classificação com Outliers

Abstract

Resumo-A Máquina de Aprendizado Extremo (ELM -Extreme Learning Machine), recentemente proposta por Huang et al.[6],é uma arquitetura de rede neural com umaúnica camada oculta, que tem sido aplicada com sucesso a tarefas de classificação e regressão não-linear [5]. Um passo fundamental no projeto da ELMé o cálculo da matriz de pesos de saída, um passo usualmente realizado por meio do método mínimos quadrados ordinários (OLS -Ordinary Least-Squares), também conhecido como a técnica da inversa generalizada Moore-Penrose. A partir da teoria de regressão robusta,é bem conhecido que o método OLS produz modelos preditivos altamente sensíveis a outliers nos dados. Nesse artigo, desenvolvemos uma extensão da ELM queé robusta a outliers causados por erros na rotulação dos dados. Para lidar com esse problema, sugerimos o uso de estimadores-M , um framework de estimação de parâmetros largamente utilizado em regressão robusta, para calcular a matriz de pesos de saída, em vez de usar a solução OLS padrão. O modelo propostoé robusto a ruído no rótulo não apenas próximò as fronteiras das classes, mas também distante dessa fronteiras, que podem resultar em erros na rotulação ou erros grosseiros na medição das características de entrada. Mostramos a utilidade da abordagem proposta de classificação através de resultados de simulação usando dados sintéticos e do mundo real. I. INTRODUÇÃONosúltimos anos, tem havido um interesse cada vez maior em uma classe de modelo de rede neural supervisionado, com umaúnica camada oculta, genericamente chamado Máquina de Apredizado Extremo (ELM -Extreme Learning Machine), na qual os pesos entre as camadas de entrada e oculta são escolhidos aleatoriamente, e entre as camadas oculta e de saída, são determinados analiticamente. Devido principalmenteà sua rapidez na aprendizagem e facilidade de implementação [5] Vale ressaltar que todos os trabalhos anteriores (sem exceção!) abordaram a questão da robustez a outliers para problemas de regressão, tais como aproximação de função e predição de séries temporais. No entanto, em muitos problemas de classificação de padrões do mundo real, os rótulos providos para as amostras de dados são ruidosos. Existem tipicamente dois tipos de ruído em rótulos. Ruído próximò as fronteiras das classes, que muitas vezes ocorrem porqueé difícil rotular de forma consistente pontos de dados ambíguos. Erros de rotulação longe das fronteiras das classes, que podem ocorrer por causa de enganos na rotulação ou erros grosseiros na medição das características de entrada. Erros de rotulação longe da fronteira compreendem uma categoria particular de outliers [9]. Na verdade, não fomos capazes de encontrar umúnico artigo que avaliasse a robustez de modelos de redes neurais, especialmente as redes baseadas em ELM, em problemas de classificação na presença de outliers. Portanto, a fim de permitir que classificadores baseados em ELM tratem eficientemente erros de rotulação, nesse artigo propomos o uso de estimadores-M [8], um framework largamente utilizado para estimação de parâmetros em...