Análise de quantização para codificação de redes neurais sem retreino

Registro completo de metadados
MetadadosDescriçãoIdioma
Autor(es): dc.contributorQueiroz, Ricardo Lopes de-
Autor(es): dc.creatorTonin, Marcos Vinicius Prescendo-
Data de aceite: dc.date.accessioned2024-10-23T16:03:27Z-
Data de disponibilização: dc.date.available2024-10-23T16:03:27Z-
Data de envio: dc.date.issued2021-11-30-
Data de envio: dc.date.issued2021-11-30-
Data de envio: dc.date.issued2021-11-30-
Data de envio: dc.date.issued2021-09-08-
Fonte completa do material: dc.identifierhttps://repositorio.unb.br/handle/10482/42501-
Fonte: dc.identifier.urihttp://educapes.capes.gov.br/handle/capes/898730-
Descrição: dc.descriptionDissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2021.-
Descrição: dc.descriptionO aprendizado de máquinas e o aprendizado profundo são utilizados para a resolução de diversos problemas, em diferentes áreas de atuação. Esse fato impulsiona o desenvolvimento de redes neurais, além de estimular o crescimento do tamanho destas. Este estudo propõe um método para reduzir o tamanho de redes neurais sem retreiná-las, relacionando a entropia dos pesos dos modelos e a acurácia dos modelos. Parte deste estudo foi dedicado à distribuição dos pesos, procurando semelhanças entre elas e as distribuições conhecidas. Com intuito de reduzir o tamanho da rede foi realizada a compressão do modelo por meio de vários tipos de quantização. Ao final deste estudo, indica-se que é possível diminuir o tamanho da rede em 8 vezes, com um prejuízo não maior que 0,8% para as métricas de acurácia, além de mostrar que quantização com deadzone possui um bom resultado para as redes testadas. E assim, a quantização e a codificação recomendadas podem ser incorporadas a um formato de distribuição de redes neurais.-
Descrição: dc.descriptionMachine learning and deep learning are used to solve different problems in different areas of expertise. This fact drives the development of neural networks, in addition to stimulating the growth of their size. This study proposes a method to reduce the size of neural networks without retraining them, relating the entropy of the models' weights and the accuracy of the models. Part of this study is about the distribution of weights, their similarities, and specific distributions. We studied various types of weights quantization to compress neural networks. This study indicates that it is possible to reduce the size of the network by 8 times, with a maximum loss of 0.8% for the accuracy metrics. The recommended quantization and encoding may be incorporated into a format for the deployment of neural networks.-
Descrição: dc.descriptionFaculdade de Tecnologia (FT)-
Descrição: dc.descriptionDepartamento de Engenharia Elétrica (FT ENE)-
Descrição: dc.descriptionPrograma de Pós-Graduação em Engenharia Elétrica-
Formato: dc.formatapplication/pdf-
Direitos: dc.rightsAcesso Aberto-
Direitos: dc.rightsA concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.-
Palavras-chave: dc.subjectQuantização-
Palavras-chave: dc.subjectcompressão de redes neurais-
Palavras-chave: dc.subjectOpen Neural Network eXchange (ONNX)-
Palavras-chave: dc.subjectRecursos limitados-
Título: dc.titleAnálise de quantização para codificação de redes neurais sem retreino-
Tipo de arquivo: dc.typelivro digital-
Aparece nas coleções:Repositório Institucional – UNB

Não existem arquivos associados a este item.