Aplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural

Registro completo de metadados
MetadadosDescriçãoIdioma
Autor(es): dc.contributorCoelho, Leandro dos Santos, 1968--
Autor(es): dc.contributorUniversidade Federal do Paraná. Setor de Tecnologia. Programa de Pós-Graduação em Engenharia Elétrica-
Autor(es): dc.creatorNogoseke, Luís Felipe-
Data de aceite: dc.date.accessioned2020-01-31T13:10:01Z-
Data de disponibilização: dc.date.available2020-01-31T13:10:01Z-
Data de envio: dc.date.issued2019-11-10-
Data de envio: dc.date.issued2019-11-10-
Data de envio: dc.date.issued2019-
Fonte completa do material: dc.identifierhttps://hdl.handle.net/1884/64356-
Fonte: dc.identifier.urihttp://educapes.capes.gov.br/handle/1884/64356-
Descrição: dc.descriptionOrientador: Dr. Prof. Leandro dos Santos Coelho-
Descrição: dc.descriptionDissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa : Curitiba, 26/06/2019-
Descrição: dc.descriptionInclui referências: p. 61-66-
Descrição: dc.descriptionÁrea de concentração: Sistemas Eletrônicos-
Descrição: dc.descriptionResumo: A capacidade de programas interagirem com linguagem natural, seja para interpretar uma requisição, gerar uma resposta ou mesmo para determinar a solução para um problema em bases de linguagem natural, é cada vez mais relevante. O uso de sistemas automáticos para atendimento ao cliente está difundido mundialmente, por exemplo, os assistentes pessoais estão cada dia mais presentes no dia a dia das pessoas. O Computador Neural Diferenciável (DNC, do inglês Differentiable Neural Computer) é um modelo de Aprendizado de Máquina recente que propõe uma arquitetura similar à de um computador, com uma estrutura de memória separada da estrutura de processamento. O DNC apresenta resultados promissores em tarefas de Processamento de Linguagem Natural (PLN), incluindo problema de respostas automáticas a perguntas. Porém, até então o DNC foi aplicado apenas para problemas de PLN de escala reduzida, em contextos curtos e vocabulário reduzido. Além disso, o DNC apresentou algumas características indesejáveis como o alto custo computacional, que implica em longos tempos de treinamento e elevado consumo de memória de acesso aleatório. Nesta dissertação são apresentados experimentos desenvolvidos para avaliar alterações e melhorias que podem ser feitas ao modelo DNC para aprimorar seu desempenho, eficiência e custo computacional. Além de verificar o desempenho de modelos sobre o problema de respostas automáticas a perguntas complexas, a base de dados The Children's Book Test (CBT) apresenta questões retiradas de livros infantis e foi desenvolvida com o intuito de verificar a capacidade de um modelo de reter informações por longos períodos. Esta foi a base escolhida para os testes realizados para esta dissertação. A abordagem proposta nesta dissertação é a validação de diferentes tipos de Redes Neurais Recorrentes (RNRs) como componentes do DNC, motivada pela natureza recorrente dos modelos de linguagem. Variações na unidade de memória e na arquitetura em geral do modelo são propostas levando em consideração a importância da semelhança de conteúdo para tarefas de PLN. Os resultados encontrados mostram que é possível obter resultados relevantes em tarefas de respostas automáticas a perguntas de larga escala utilizando modelos baseados no DNC além de melhorar o seu desempenho no treinamento. Palavras-chave: Computador Neural Diferenciável, Processamento de Linguagem Natural, Aprendizado de Máquina, Respostas Automáticas a Perguntas.-
Descrição: dc.descriptionAbstract: The ability of programs to interact in natural language, whether to interpret a request, generate a response or even find the solution to a problem on natural language databases, is increasingly relevant. The use of automated systems for customer service is widespread worldwide, for example, personal assistants are increasingly present in people's daily lives. he Differentiable Neural Computer (DNC) is a recent Machine Learning model that proposes a computer-like architecture with a memory structure separated from processing. The DNC presented relevant results in Natural Language Processing (NLP) tasks, including question and answering problems. However, until then the DNC was applied only for small-scale NLP problems, with short contexts and reduced vocabulary. In addition, the DNC presented some undesirable characteristics such as the high computational cost, which implies high training times and high RAM memory usage. In this dissertation experiments are developed to validate changes and improvements to the DNC model to improve its performance, efficiency and computational cost. In addition to checking model performance in complex question answering databases, the Children's Book Test (CBT) presents questions drawn from children's books and was developed with the purpose of verifying the capacity of a model to retain information for long periods. This was the database chosen to execute the tests for this dissertation. The approach proposed by this dissertation is to validate different types of Recurrent Neural Networks (RNNs) as components of the DNC, motivated by the recurrent nature of language models. Variations in the memory unit and in the general architecture of the model are also proposed taking into consideration the importance of content similarity for NLP tasks. The results found show that it is possible to achieve relevant results in large scale question and answering problems using DNC based models and to improve the model's training performance. Key words: Differentiable Neural Computer, Natural Language Processing, Machine Learning, Question and Answering.-
Formato: dc.format66 p. : il. (algumas color.).-
Formato: dc.formatapplication/pdf-
Formato: dc.formatapplication/pdf-
Palavras-chave: dc.subjectRedes neurais (Computação)-
Palavras-chave: dc.subjectProcessamento da linguagem natural (Computação)-
Palavras-chave: dc.subjectAprendizado do computador-
Palavras-chave: dc.subjectEngenharia Elétrica-
Título: dc.titleAplicação de differentiable neural computers na resolução de problemas de processamento de linguagem natural-
Aparece nas coleções:Repositório Institucional - Rede Paraná Acervo

Não existem arquivos associados a este item.