Detecção de outliers em pipelines de dados

Registro completo de metadados
MetadadosDescriçãoIdioma
Autor(es): dc.contributorWehrmeister, Marco Aurélio-
Autor(es): dc.contributorWehrmeister, Marco Aurélio-
Autor(es): dc.contributorRosa, Marcelo de Oliveira-
Autor(es): dc.contributorBerardi, Rita Cristina Galarraga-
Autor(es): dc.creatorSouza, Jonas Oliveira de-
Data de aceite: dc.date.accessioned2022-08-04T20:16:19Z-
Data de disponibilização: dc.date.available2022-08-04T20:16:19Z-
Data de envio: dc.date.issued2022-04-14-
Data de envio: dc.date.issued2022-04-14-
Data de envio: dc.date.issued2021-08-11-
Fonte completa do material: dc.identifierhttp://repositorio.utfpr.edu.br/jspui/handle/1/28038-
Fonte: dc.identifier.urihttp://educapes.capes.gov.br/handle/capes/705824-
Descrição: dc.descriptionThe technological advances of the last decades allowed a huge increase in the rate and amount of data generated by computing systems. Data flow management has become relevant for obtaining information. Data pipelines are used to transport the data from its source to different sorts of targets, transforming the data itself whether necessary. Data pipelines are sensitive to changes that occur both in the extraction process and in their business rules, leading to data inconsistency. This study proposes a solution to identify behavior changes in data pipelines (outliers), through the use of machine learning. Some machine learning algorithms have been applied during the data loading process by using the pipeline metrics to identify anomalies. The proposed work has been evaluated throughout some case studies that use a publicly available dataset and another created in the context of the study, namely, US Accidents Updated until Dec 2020 and Local Machine Metrics. An environment was created using Docker. It is comprised of three containers: one using StreamSets for creating data pipelines; one using MySQL database to store pipeline metrics, and one using Jupyter to perform exploratory analysis of the data and testing of the algorithms. The algorithms used in this study were PCA and Dbscan. The obtained results are considered satisfactory since the pipelines that had divergent comportment were correctly identified and reported.-
Descrição: dc.descriptionCom o avanço tecnológico das últimas décadas, a velocidade e a quantidade de dados gerados aumentaram consideravelmente. A gestão do fluxo dos dados tornou-se relevante para obtenção de informações. Pipelines de dados podem ser utilizados para transportar os dados, bem como transforma-los de acordo com cada necessidade. Os pipelines de dados são sensíveis a mudanças que podem ocorrer tanto em suas extrações quanto em suas regras de negócio, ocasionando inconsistência de dados. Este estudo busca uma solução para identificar alterações de comportamentos em pipelines de dados (outliers) através do emprego de Machine Learning. Os algoritmos de Machine Learning serão aplicados durante processo de carga dos dados, utilizando as métricas dos pipelines para identificar as anomalias. O trabalho proposto foi avaliado através de alguns casos de estudos que utilizou um dataset público e outro gerado para o contexto do estudo, nomeados, US Accidents Updated until Dec 2020 e métricas obtidas da máquina local. Para viabilizar o estudo foi criado um ambiente, através do Docker, composto por três containers, um StreamSets para criação de pipelines de dados, um banco de dados Mysql para armazenar as métricas dos pipelines, outro container com o Jupyter para realizar as análises exploratórias dos dados e realização de testes dos algoritmos. Os algoritmos utilizados para este estudo foram o PCA e o Dbscan. Os resultados obtidos, ainda que em um ambiente simulado, foram satisfatórios apontando os pipelines que apresentaram mudanças de comportando.-
Formato: dc.formatapplication/pdf-
Idioma: dc.languagept_BR-
Publicador: dc.publisherUniversidade Tecnológica Federal do Paraná-
Publicador: dc.publisherCuritiba-
Publicador: dc.publisherBrasil-
Publicador: dc.publisherCiência de Dados e suas Aplicações-
Publicador: dc.publisherUTFPR-
Direitos: dc.rightsopenAccess-
Palavras-chave: dc.subjectFluxo de dados (Computadores)-
Palavras-chave: dc.subjectAprendizado de máquinas-
Palavras-chave: dc.subjectBanco de dados-
Palavras-chave: dc.subjectAlgorítmos-
Palavras-chave: dc.subjectData flow computing-
Palavras-chave: dc.subjectMachine learning-
Palavras-chave: dc.subjectData bases-
Palavras-chave: dc.subjectAlgorithms-
Palavras-chave: dc.subjectCNPQ::CIENCIAS EXATAS E DA TERRA-
Título: dc.titleDetecção de outliers em pipelines de dados-
Título: dc.titleOutliers detection in data pipelines-
Tipo de arquivo: dc.typelivro digital-
Aparece nas coleções:Repositorio Institucional da UTFPR - RIUT

Não existem arquivos associados a este item.