Avaliação do
Você é humano?
8
5
=
Denunciar conteúdo impróprio
Atenção:
O eduCAPES é um repositório de objetos educacionais, não sendo responsável por materiais de terceiros submetidos na plataforma. O usuário assume ampla e total responsabilidade quanto à originalidade, à titularidade e ao conteúdo, citações de obras consultadas, referências e outros elementos que fazem parte do material que deseja submeter. Recomendamos que se reporte diretamente ao(s) autor(es), indicando qual parte do material foi considerada imprópria (cite página e parágrafo) e justificando sua denúncia.
Caso seja o autor original de algum material publicado indevidamente ou sem autorização, será necessário que se identifique informando nome completo, CPF e data de nascimento. Caso possua uma decisão judicial para retirada do material, solicitamos que informe o link de acesso ao documento, bem como quaisquer dados necessários ao acesso, no campo abaixo.
Todas as denúncias são sigilosas e sua identidade será preservada. Os campos nome e e-mail são de preenchimento opcional. Porém, ao deixar de informar seu e-mail, um possível retorno será inviabilizado e/ou sua denúncia poderá ser desconsiderada no caso de necessitar de informações complementares.
Aplicação de IA generativa em respostas automatizadas sobre interação humano-computador
Use este link compartilhar ou citar este material: http://educapes.capes.gov.br/handle/capes/1186470
Registro completo de metadados
| Metadados | Descrição | Idioma |
|---|---|---|
| Autor(es): dc.contributor | Sestito, Camila Dias de Oliveira | - |
| Autor(es): dc.contributor | Bonidia, Robson Parmezan | - |
| Autor(es): dc.contributor | Sestito, Camila Dias de Oliveira | - |
| Autor(es): dc.contributor | Pozza, Rogério Santos | - |
| Autor(es): dc.contributor | Pereira Junior, Francisco | - |
| Autor(es): dc.creator | Cerquiare, Felipe Alves | - |
| Data de aceite: dc.date.accessioned | 2026-08-11T10:59:59Z | - |
| Data de disponibilização: dc.date.available | 2026-08-11T10:59:59Z | - |
| Data de envio: dc.date.issued | 2026-04-07 | - |
| Data de envio: dc.date.issued | 2026-04-07 | - |
| Data de envio: dc.date.issued | 2025-06-30 | - |
| Fonte completa do material: dc.identifier | http://repositorio.utfpr.edu.br/jspui/handle/1/40035 | - |
| Fonte: dc.identifier.uri | http://educapes.capes.gov.br/handle/capes/1186470 | - |
| Descrição: dc.description | Generative Artificial Intelligence (GenAl), driven by Large Language Models (LLMs) such as GPT, has emerged as a promising tool for producing complex content. This study developed and evaluated a Retrieval-Augmented Generation (RAG) system using the Gemini model, based on scientific articles published in the Brazilian Symposium on Human Factors in Computing Systems (IHC-SBC) and the HCI International conference. The resulting model, named IAH- Chatbot, was trained on a corpus of 280 articles and assessed through both qualitative and quantitative approaches. Human evaluation involved six experts in Human-Computer Interaction (HCI), who rated the model highly for factual accuracy (mean 5.00), clarity (4.67), and relevance (4.50). The IAHChatbot showed competitive performance compared to established models such as ChatGPT, Claude, and Gemini, particularly in terms of conceptual and contextual alignment. However, it scored lower on completeness (3.67), likely due to limitations in the dataset, which lacked formal definitions and practical examples. Automated evaluation using the ragas toolkit showed varying performance depending on question type. The best results were observed in a question directly linked to a document in the training corpus (Context Recall: 1.0; Faithfulness: 1.0; Factual Correctness (F1): 0.56). Overall average scores were: Context Recall: 0.5; Faithfulness: 0.58; and F1: 0.77. The analysis indicates that the model often generated semantically correct responses even when the retrieved context was limited or not directly used. The findings suggest that the model holds strong potential as a pedagogical and research-support tool in the field of Human-Computer Interaction, especially when enhanced by curated textual data and iterative refinement. The proposed methodology is replicable and well-aligned with the needs of the Brazilian scientific context. | - |
| Descrição: dc.description | A Inteligência Artificial Generativa (GenAI), impulsionada por Modelos de Linguagem de Grande Escala (LLMs) como o GPT, tem se consolidado como ferramenta promissora na geração de conteúdo complexo. Este trabalho desenvolveu e avaliou um modelo baseado em Geração Aumentada por Recuperação (RAG), utilizando o modelo Gemini, com foco em artigos científicos publicados no Simpósio Brasileiro sobre Fatores Humanos em Sistemas Computacionais (IHC-SBC) e no HCI International. O modelo, denominado IAHChatbot, foi alimentado com 280 artigos e avaliado por meio de métodos qualitativos e quantitativos. A avaliação humana envolveu seis especialistas da área de IHC, que atribuíram médias elevadas aos critérios de precisão (4,83), clareza (4,67) e relevância (4,50), com destaque para a precisão factual (5,00) na avaliação geral. O IAHChatbot demonstrou desempenho competitivo frente a modelos como ChatGPT, Claude e Gemini, sendo especialmente reconhecido pela adequação conceitual e contextual. Por outro lado, observou-se menor completude nas respostas (3,67), atribuída à natureza da base de dados utilizada, com escassez de definições formais e exemplos práticos. A avaliação automatizada, realizada com a ferramenta ragas, indicou resultados variados conforme a natureza das perguntas. A maior acurácia foi observada na questão diretamente relacionada a um artigo da base (Context Recall: 1,0; Faithfulness: 1,0; Factual Correctness (F1): 0,56). A média geral das métricas foi: Context Recall: 0,5; Faithfulness: 0,58; e F1: 0,77. As análises revelaram que a qualidade semântica das respostas geradas permaneceu consistente mesmo em casos com baixo aproveitamento explícito do contexto recuperado. Conclui-se que o modelo apresenta alto potencial de aplicação como ferramenta de apoio a atividades educacionais e de pesquisa na área de Interação Humano-Computador, desde que aliado a estratégias de curadoria textual e refinamento contínuo. A metodologia proposta mostra-se replicável e alinhada às demandas do contexto científico brasileiro. | - |
| Formato: dc.format | application/pdf | - |
| Idioma: dc.language | pt_BR | - |
| Publicador: dc.publisher | Universidade Tecnológica Federal do Paraná | - |
| Publicador: dc.publisher | Cornelio Procopio | - |
| Publicador: dc.publisher | Brasil | - |
| Publicador: dc.publisher | Engenharia da Computação | - |
| Publicador: dc.publisher | UTFPR | - |
| Direitos: dc.rights | openAccess | - |
| Direitos: dc.rights | Attribution-NonCommercial-ShareAlike 4.0 International | - |
| Direitos: dc.rights | http://creativecommons.org/licenses/by-nc-sa/4.0/ | - |
| Palavras-chave: dc.subject | Inteligência artificial | - |
| Palavras-chave: dc.subject | Interação homem-máquina | - |
| Palavras-chave: dc.subject | Conhecimento e aprendizagem | - |
| Palavras-chave: dc.subject | Artificial intelligence | - |
| Palavras-chave: dc.subject | Human-computer interaction | - |
| Palavras-chave: dc.subject | Knowledge and learning | - |
| Palavras-chave: dc.subject | CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO | - |
| Título: dc.title | Aplicação de IA generativa em respostas automatizadas sobre interação humano-computador | - |
| Título: dc.title | Application of generative ai in automated responses on human-computer interaction | - |
| Tipo de arquivo: dc.type | livro digital | - |
| Aparece nas coleções: | Repositorio Institucional da UTFPR - RIUT | |
Não existem arquivos associados a este item.
O Portal eduCAPES é oferecido ao usuário, condicionado à aceitação dos termos, condições e avisos contidos aqui e sem modificações. A CAPES poderá modificar o conteúdo ou formato deste site ou acabar com a sua operação ou suas ferramentas a seu critério único e sem aviso prévio. Ao acessar este portal, você, usuário pessoa física ou jurídica, se declara compreender e aceitar as condições aqui estabelecidas, da seguinte forma:
- O Termo de Uso pode ser modificado pela CAPES a qualquer tempo, sem necessidade de notificação prévia, sendo que tais modificações serão válidas a partir da data de sua veiculação neste portal;
- Para aprovação de cadastro do usuário ao sistema, a CAPES pode requisitar o fornecimento de informações, haja vista a política de segurança adotada, objetivando resguardar a segurança dos usuários nesse ambiente virtual;
- O usuário aceita e declara compreender que, em razão do peculiar ambiente da Internet, a CAPES não poderá garantir que o acesso ao site seja livre de erros ou problemas decorrentes de casos fortuitos, internos ou externos, casos de força maior ou ainda de outros casos não inteiramente sujeitos a controle direto dos administradores do site e, portanto o usuário se obriga a isentar a CAPES de quaisquer reclamações ou indenizações. A CAPES também não se responsabiliza por interrupções, interceptações, invasões, disseminação de vírus ou outros atos ilícitos, típicos e atípicos de ambiente virtual, e de web, dos quais a CAPES não tenha tido intenção deliberada de participar ou praticar;
- O usuário aceita e declara compreender que qualquer texto, marca, áudio, imagem, ou conteúdo veiculados no site são protegidos por direitos de propriedade intelectual o qual deve ser respeitado de acordo com a licença concedida pelo respectivo detentor dos referidos direitos, sob pena de apuração das responsabilidades cabíveis;
-
Desta forma a CAPES se exime de toda e qualquer responsabilidade por eventuais perdas, danos e prejuízos de qualquer natureza decorrentes:
- Do descumprimento da lei, da moral e dos bons costumes, como consequência da transmissão, difusão, armazenamento, disponibilização, recepção, obtenção ou acesso aos conteúdos;
- Da infração aos direitos de propriedade intelectual e industrial, segredos empresariais, compromissos contratuais de qualquer tipo, direitos à honra, à intimidade pessoal e familiar, à imagem das pessoas, direitos de propriedade e de toda e qualquer natureza pertencentes a um terceiro por consequência da transmissão, difusão, armazenamento, disponibilização, recepção, obtenção ou acesso aos conteúdos;
- Da falta de veracidade, precisão, exatidão, pertinência e/ou atualidade dos conteúdos;
- Da inadequação para qual seja o propósito, ou da frustração, das expectativas geradas pelos conteúdos;
- Exceto quando mencionado explicitamente, ou quando se tratar de citação de material alheio ou ilustração, nos limites estabelecidos pela Lei 9.610/98, todo o Conteúdo textual original do Portal eduCAPES está disponível livremente para leitura, entre outros direitos, conforme definido na licença Creative Commons;
- A CAPES não se responsabiliza pelos comentários, opiniões, informações, depoimentos, mensagens, vídeos, textos, imagens, áudios ou qualquer outro tipo de conteúdo que sejam, postados, publicados e disponibilizados através do Portal eduCAPES pelos usuários, sendo a responsabilidade civil e criminal atribuída única e exclusivamente ao autor dos comentários, opiniões, informações, ou mensagens. Todo o conteúdo publicado por usuários são de responsabilidade exclusiva dos mesmos e de caráter completamente independente, sendo que todo e qualquer tipo de opinião, ideal e/ou posição expressados não refletem necessariamente o ponto de vista e a posição do Portal eduCAPES e/ou da CAPES. A CAPES se reserva o direito de armazenar as informações destes autores e/ou Usuários, a fim de viabilizar sua identificação;
- O usuário aceita e declara compreender que a CAPES poderá disponibilizar no Portal eduCAPES, links de acesso para outros sites e endereços virtuais administrados, controlados ou operados por terceiros. Qualquer site conectado a partir do eduCAPES não está sob o controle da CAPES;
- A CAPES não assume nenhuma responsabilidade ou obrigação por qualquer informação, comunicação ou material encontrado em tais sites, ou em qualquer site conectado a tais sites. A CAPES não assume qualquer responsabilidade pelos serviços ou funcionalidades ali dispostos, sendo a decisão de utilização e a forma de relacionamento com os mesmos de exclusiva responsabilidade do usuário, que inclusive isenta a CAPES de fiscalizar o conteúdo ou zelar pela integridade de tais sites ou endereços virtuais.
- O usuário aceita e declara compreender que o acesso a determinadas áreas do site será restrito. Para acessá-las, o usuário deverá fazer o login e cadastrar uma senha de acesso. A senha é individual, sigilosa e intransferível, sendo o usuário o único responsável pela guarda da mesma. O usuário assume toda e qualquer responsabilidade pelo mau uso ou pela utilização da senha por terceiros;
- A CAPES reserva o direito de excluir o cadastro, de excluir o material submetido ou proibir o acesso do usuário ao portal eduCAPES no caso de qualquer abuso ou indício de prática ilícita no uso do site ou de qualquer uso não autorizado ou proibido pelo usuário, nos termos da legislação brasileira;
- As condições estabelecidas no Termo de Aceite e Uso do Site são regidas pela lei brasileira. Sob nenhuma circunstância o usuário deverá violar qualquer lei usando o portal eduCAPES para propósitos que incluam, mas não limitados a isso, difamação ou perturbação de outros, violação de direitos de propriedade intelectual ou de terceiros, envio de material obsceno ou ofensivo, vírus, arquivos corrompidos, ou outros programas que poderiam danificar ou alterar este site ou os computadores de empresa ou de terceiros;
- A CAPES reserva o direito de retirar qualquer conteúdo que infrinja a lei, a moral e os bons costumes nos termos da legislação vigente e também na hipótese de o conteúdo não se coadunar com as finalidades educativas do Portal. A CAPES garante o direito de defesa e contraditório dos usuários. O usuário reconhece que o material enviado por terceiros, que não a CAPES, não é endossado pela mesma.
Concordo e desejo baixar o arquivo
Não concordo e não irei baixar o arquivo
Não concordo e não irei baixar o arquivo