Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos

Registro completo de metadados
MetadadosDescriçãoIdioma
Autor(es): dc.contributorSanches, Danilo Sipoli-
Autor(es): dc.contributorSanches, Danilo Sipoli-
Autor(es): dc.contributorSilva, Natássya Barlate Floro da-
Autor(es): dc.contributorSilva, Adrinao Rivolli da-
Autor(es): dc.creatorNeves, José Marcos Miranda-
Data de aceite: dc.date.accessioned2022-08-04T20:16:11Z-
Data de disponibilização: dc.date.available2022-08-04T20:16:11Z-
Data de envio: dc.date.issued2022-05-17-
Data de envio: dc.date.issued2022-05-17-
Data de envio: dc.date.issued2020-07-16-
Fonte completa do material: dc.identifierhttp://repositorio.utfpr.edu.br/jspui/handle/1/28557-
Fonte: dc.identifier.urihttp://educapes.capes.gov.br/handle/capes/705785-
Descrição: dc.descriptionThis work presents a new approach for hyperparameter optimization in Machine Learning algorithms. The idea is to build a surrogate with quasirandom numbers generated by Sobol's algorithm and then use an evolutionary algorithm (DE or PSO in this case) to perform the optimization on it. It is also implemented a way of performing more than one optimization with the evolutionary algorithm in the same execution of the method without increasing the computational cost in relation to other optimization methods. The objective is then to verify if the use of these two strategies would make the proposed method less likely to be trapped in a local minimum and also make it more consistent when compared to others. The focus of this work was the optimization of LightGBM applied to binary classification, however it is possible to expand it to other areas by making the necessary adaptations. In addition to the proposed method, Random Search and Bayesian Optimization are also used to optimize LightGBM models trained on 3 datasets. The results obtained show that the proposed approach with PSO is the most consistent of the 3 methods, however Bayesian Optimization still performs better in general.-
Descrição: dc.descriptionEste trabalho apresenta uma nova abordagem para otimização de hiperparâmetros em algoritmos de Machine Learning. A ideia é construir uma surrogate através de pontos semi aleatórios gerados com o método de Sobol e então utilizar um algoritmo evolutivo (DE ou PSO neste caso) para realizar a otimização sobre ela. Também é implementado uma forma de realizar mais de uma otimização com o algoritmo evolutivo em uma mesma execução do método sem aumentar o custo computacional em relação a outros métodos de otimização. O objetivo é então verificar se a utilização dessas duas estratégias tornaria o método proposto menos propenso a ficar preso em mínimos locais e também mais consistente se comparado a outros. O foco do trabalho foi a otimização do LightGBM aplicado a classificação binária, porém é possível expandir para outras áreas fazendo as devidas adaptações. Além do método proposto, são utilizados Random Search e Bayesian Optimization para realizar a otimização do LightGBM com 3 conjuntos de dados. Os resultados obtidos mostram que a abordagem proposta com a utilização do PSO consegue ser a mais consistente dos 3 métodos, porém Bayesian Optimization ainda se sai melhor no geral.-
Formato: dc.formatapplication/pdf-
Idioma: dc.languagept_BR-
Publicador: dc.publisherUniversidade Tecnológica Federal do Paraná-
Publicador: dc.publisherCornelio Procopio-
Publicador: dc.publisherBrasil-
Publicador: dc.publisherEngenharia da Computação-
Publicador: dc.publisherUTFPR-
Direitos: dc.rightsopenAccess-
Palavras-chave: dc.subjectAprendizado do computador-
Palavras-chave: dc.subjectAlgoritmos-
Palavras-chave: dc.subjectOtimização matemática-
Palavras-chave: dc.subjectMachine learning-
Palavras-chave: dc.subjectAlgorithms-
Palavras-chave: dc.subjectMathematical optimization-
Palavras-chave: dc.subjectCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO-
Título: dc.titleOtimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos-
Tipo de arquivo: dc.typelivro digital-
Aparece nas coleções:Repositorio Institucional da UTFPR - RIUT

Não existem arquivos associados a este item.