Novel semi-supervised algorithms based on extreme learning machine for unbalanced data streams with concept drift

Abstract

RESUMO: Nos dias atuais, streams de dados são importantes fontes de informação e, com a popularização de dispositivos móveis e sistemas de sensores que coletam todos os tipos de dados, grandes quantidades de informações são geradas a uma velocidade cada vez maior. Esse crescimento no fornecimento de dados apresenta alguns problemas para os algoritmos tradicionais de aprendizado de máquina. Tarefas como classificação, regressão ou clusterização de dados têm algumas limitações em relação a conjuntos de dados muito grandes, variações ou fluxos contínuos de dados. Em geral, algoritmos que funcionam em uma dessas situações podem não funcionar em outras. Além disso, os fluxos de dados apresentam novos desafios aos algoritmos de aprendizado de máquina. O alto custo de se rotular manualmente instâncias para o treinamento de algoritmos de classificação dificulta o uso de métodos totalmente supervisionados. Conjuntos de dados desbalanceados tendem a fazer com que os algoritmos ignorem uma ou mais classes. Além disso, concept drifts nos fluxos de dados exigem que os modelos sejam atualizados periodicamente. Para minimizar os problemas mencionados, nesta tese foram propostos algoritmos semi-supervisionados e on-line baseados em Extreme Learning Machine (ELM). O primeiro algoritmo proposto denominado Semi-Supervised Online Elastic ELM (SSOE-ELM), superou outros da literatura em acurácia e tempo de treinamento, mostrando bons resultados em casos de bases desbalanceadas. O SSOE-ELM usa amostras rotuladas e não rotuladas para treinamento e recebe dados sequencialmente em blocos de uma ou mais instâncias, atualizando continuamente o modelo. Em geral, como um algoritmo baseado em Extreme Learning Machine, seu treinamento é muito rápido em comparação com algoritmos baseados em gradiente descendente. O segundo algoritmo proposto, denominado Semi-Supervised Online Elastic ELM with Forgetting Parameter (SSOE-FP-ELM), é uma extensão do SSOE-ELM para lidar com fluxos de dados com concept drift. O SSOE-FP-ELM usa um parâmetro de esquecimento híbrido que considera instâncias rotuladas e não rotuladas para detectar casos de concept drift gradual e abrupto. Resultados experimentais mostram que os dois algoritmos propostos superam outros na literatura em acurácia e poder de generalização, indicando serem alternativas viáveis para a classificação de fluxos de dados.

ABSTRACT: Data streams are important sources of information nowadays, and with the popularization of mobile devices and sensor systems that collect all kinds of data, more and more information is generated at an ever increasing speed. This growth in data supply poses some problems for traditional machine learning algorithms. Tasks such as data classification, regression, or data clustering presents some limitations regarding very large datasets, data streams, or variations in data. In general, algorithms that works in one of these situations may not work in others. In addition, data streams pose further challenges to machine learning algorithms. The high cost of labeling instances for training classification algorithms makes it difficult to use fully supervised algorithms. Unbalanced datasets tend to cause algorithms to ignore one or more classes. Moreover, concept drifts in data streams require algorithms to be retrained from time to time. To minimize the problems mentioned, in this thesis semi-supervised and online algorithms based on Extreme Learning Machine (ELM) were proposed. The first proposed algorithm named Semi-Supervised Online Elastic ELM, for short, SSOE-ELM, overperform others in the literature in accuracy and training time, showing good results in cases of unbalanced datasets. SSOE-ELM uses labeled and unlabeled samples for training, and receives data sequentially in chunks of one or more instances, continuously updating the network. In general, as an Extreme Learning Machine based algorithm, its training is very fast compared to gradient descent based algorithms. The second proposed algorithm named Semi-Supervised Online Elastic ELM with Forgetting Parameter, for short, SSOE-FP-ELM, is an extension of SSOE-ELM to deal with data streams with concept drift. SSOE-FP-ELM uses a hybrid forgetting parameter that considers labeled and unlabeled instances to detect gradual and abrupt concept drift cases. Experimental results show that the two proposed algorithms outperform others in the literature in accuracy and generalization ability, showing suitable alternatives for data streams classification.