Automatic grading of portuguese short answers using a machine learning approach

Registro completo de metadados
MetadadosDescriçãoIdioma
Autor(es): dc.contributorBrancher, Jacques Duílio-
Autor(es): dc.contributorAyrosa, Pedro Paulo da Silva-
Autor(es): dc.contributorLeal, Gislaine Camila Lapasini-
Autor(es): dc.contributorSouza, Rodrigo Clemente Thom de-
Autor(es): dc.creatorGalhardi, Lucas Busatta-
Data de aceite: dc.date.accessioned2025-05-15T13:03:11Z-
Data de disponibilização: dc.date.available2025-05-15T13:03:11Z-
Data de envio: dc.date.issued2024-07-24-
Data de envio: dc.date.issued2024-07-24-
Data de envio: dc.date.issued2019-03-29-
Fonte completa do material: dc.identifierhttps://repositorio.uel.br/handle/123456789/17078-
Fonte: dc.identifier.urihttp://educapes.capes.gov.br/handle/capes/979416-
Descrição: dc.descriptionAvaliações são rotineiramente utilizadas em contextos de aprendizado a fim de estimar o conhecimento retido pelos estudantes. Apesar de sua importância, professores geralmente consideram a tarefa de avaliar respostas discursivas como muito trabalhosa. As condições de trabalho do professor e a sua própria subjetividade podem influenciar nas suas avaliações, pois humanos estão sujeitos ao cansaço, à outras influências e a nota de um aluno pode depender até mesmo da ordem de correção. Esses problemas se apresentam de forma ainda mais intensa em ferramentas como Ambientes Virtuais de Aprendizagem e Cursos Onlines Abertos e Massivos, que recentemente aumentaram sua popularidade e são usados por muito mais estudantes de uma vez que salas de aula físicas. Visando auxiliar nesses problemas, essa dissertação explora a área de pesquisa da avaliação automática de respostas discursivas usando uma abordagem de aprendizado de máquina, com três principais objetivos: (1) realizar uma revisão sistemática da literatura sobre o assunto a fim de se obter uma visão geral do estado da arte e de suas principais técnicas; (2) coletar dados reais de exercícios discursivos escritos na Língua Portuguesa por estudantes; e (3) implementar, avaliar e comparar diferentes abordagens para o sistema de avaliação automática das respostas. Para o primeiro objetivo, 44 artigos foram sistematicamente revisados, analisando vários de seus aspectos, desde os dados utilizados até a avaliação do modelo. Para o segundo, foram coletadas 7473 respostas de 659 estudantes, além de 9558 avaliações feitas por 14 avaliadores humanos (algumas respostas receberam mais de uma avaliação). Para o último objetivo, seis abordagens diferentes foram experimentadas e um modelo final foi criado com a combinação das abordagens. A efetividade mostrada pelo modelo foi satisfatória, com os valores de kappa indicando uma concordância de moderada a substancial entre o modelo e a avaliação humana. Os resultados mostraram que uma abordagem de aprendizado de máquina pode ser eficientemente utilizada na avaliação automática de respostas curtas, incluindo respostas na Língua Portuguesa.-
Descrição: dc.descriptionAssessments are routinely used in learning environments in order to estimate a percentage of the retained knowledge from students. Despite its importance, teachers usually find the task of assessing lots of discursive answers very time-consuming. Teachers work’s conditions and their own human subjectivity have a great impact on grading, as humans make mistakes for some reasons like fatigue, bias or the simple ordering of student’s tests. These problems become more intense in tools like Virtual Learning Environments and Massive Open Online Courses that have recently improved their popularity and are used by way more students than physical classes. Aiming at assisting in those difficulties, this dissertation explores the Automatic Short Answer Grading (ASAG) field using a machine learning approach, with three main goals: (1) to perform a systematic review on the subject in order to get an overview of the state of the art and future trends; (2) collect real-world Portuguese ASAG data; and (3) build, evaluate and compare different approaches when automatically grading short answers. For the first goal, we systematically reviewed 44 papers using different techniques when tackling ASAG, analyzing many of their aspects, from the data to model evaluation. For the second, 7473 short answers were collected from 659 students and 9558 grades were gathered for the answers from 14 human evaluators (some answers had more than one grade). For the last goal, six different approaches were experimented and a final model was created with their combination. The model’s effectiveness showed to be satisfactory, with kappa scores indicating between moderate to substantial agreement between the model and human grading. Results showed that a machine learning approach can be efficiently used on short answers grading, even for the Portuguese language.-
Formato: dc.formatapplication/pdf-
Formato: dc.formatapplication/pdf-
Idioma: dc.languageen-
Relação: dc.relationCCE - Departamento de Computação-
Relação: dc.relationPrograma de Pós-Graduação em Ciência da Computação-
Relação: dc.relationUniversidade Estadual de Londrina - UEL-
Palavras-chave: dc.subjectAvaliação automática-
Palavras-chave: dc.subjectQuestões discursivas-
Palavras-chave: dc.subjectAprendizado de máquina-
Palavras-chave: dc.subjectProcessamento de linguagem natural-
Palavras-chave: dc.subjectAprendizado do computador-
Palavras-chave: dc.subjectProcessamento da linguagem natural (Computação)-
Palavras-chave: dc.subjectCiências Exatas e da Terra - Ciência da Computação-
Palavras-chave: dc.subjectAutomatic grading-
Palavras-chave: dc.subjectShort answers-
Palavras-chave: dc.subjectMachine learning-
Palavras-chave: dc.subjectNatural language processing-
Palavras-chave: dc.subjectMachine learning-
Palavras-chave: dc.subjectNatural language processing (Computer science)-
Título: dc.titleAutomatic grading of portuguese short answers using a machine learning approach-
Título: dc.titleAvaliação automática de questões discursivas em português usando uma abordagem de aprendizado de máquina-
Tipo de arquivo: dc.typelivro digital-
Aparece nas coleções:Repositório Institucional da UEL - RIUEL

Não existem arquivos associados a este item.