Atenção:
O eduCAPES é um repositório de objetos educacionais, não sendo responsável por materiais de terceiros submetidos na plataforma. O usuário assume ampla e total responsabilidade quanto à originalidade, à titularidade e ao conteúdo, citações de obras consultadas, referências e outros elementos que fazem parte do material que deseja submeter. Recomendamos que se reporte diretamente ao(s) autor(es), indicando qual parte do material foi considerada imprópria (cite página e parágrafo) e justificando sua denúncia.
Caso seja o autor original de algum material publicado indevidamente ou sem autorização, será necessário que se identifique informando nome completo, CPF e data de nascimento. Caso possua uma decisão judicial para retirada do material, solicitamos que informe o link de acesso ao documento, bem como quaisquer dados necessários ao acesso, no campo abaixo.
Todas as denúncias são sigilosas e sua identidade será preservada. Os campos nome e e-mail são de preenchimento opcional. Porém, ao deixar de informar seu e-mail, um possível retorno será inviabilizado e/ou sua denúncia poderá ser desconsiderada no caso de necessitar de informações complementares.
Metadados | Descrição | Idioma |
---|---|---|
Autor(es): dc.contributor | Universidade Estadual Paulista (UNESP) | - |
Autor(es): dc.contributor | Universidade Federal de Goiás (UFG) | - |
Autor(es): dc.creator | Garcia, Gabriel Lino | - |
Autor(es): dc.creator | Paiola, Pedro Henrique | - |
Autor(es): dc.creator | Garcia, Eduardo | - |
Autor(es): dc.creator | Ribeiro Manesco, João Renato | - |
Autor(es): dc.creator | Papa, João Paulo | - |
Data de aceite: dc.date.accessioned | 2025-08-21T17:16:25Z | - |
Data de disponibilização: dc.date.available | 2025-08-21T17:16:25Z | - |
Data de envio: dc.date.issued | 2025-04-29 | - |
Data de envio: dc.date.issued | 2024-12-31 | - |
Fonte completa do material: dc.identifier | http://dx.doi.org/10.1007/978-3-031-76607-7_17 | - |
Fonte completa do material: dc.identifier | https://hdl.handle.net/11449/301403 | - |
Fonte: dc.identifier.uri | http://educapes.capes.gov.br/handle/11449/301403 | - |
Descrição: dc.description | Recent advances in generative capabilities provided by large language models have reshaped technology research and human society’s cognitive abilities, bringing new innovative capacities to artificial intelligence solutions. However, the size of such models has raised several concerns regarding their alignment with hardware-limited resources. This paper presents a comprehensive study on training Portuguese-focused Small Language Models (SLMs). We have developed a unique dataset for training our models and employed full fine-tuning, as well as PEFT approaches for comparative analysis. We used Microsoft’s Phi and Google’s Gemma as base models to create our own, named PhiBode and GemBode. These models range from approximately 1 billion to 7 billion parameters, with a total of ten models developed. Our findings provide valuable insights into the performance and applicability of these models, contributing significantly to the field of Portuguese language processing. This research is a step forward in understanding and improving the performance of SLMs in Portuguese. The comparative analysis of the models provides a clear benchmark for future research in this area. The results demonstrate the effectiveness of our training methods and the potential of our models for various applications. This paper significantly contributes to language model training, particularly for the Portuguese language. | - |
Descrição: dc.description | School of Sciences São Paulo State University (UNESP), SP | - |
Descrição: dc.description | Institute of Informatics Federal University of Goiás, GO | - |
Descrição: dc.description | School of Sciences São Paulo State University (UNESP), SP | - |
Formato: dc.format | 228-243 | - |
Idioma: dc.language | en | - |
Relação: dc.relation | Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) | - |
???dc.source???: dc.source | Scopus | - |
Palavras-chave: dc.subject | Bode | - |
Palavras-chave: dc.subject | Generative Artificial Intelligence | - |
Palavras-chave: dc.subject | Natural Language Processing | - |
Palavras-chave: dc.subject | Portuguese | - |
Palavras-chave: dc.subject | Small Language Models | - |
Título: dc.title | GemBode and PhiBode: Adapting Small Language Models to Brazilian Portuguese | - |
Tipo de arquivo: dc.type | aula digital | - |
Aparece nas coleções: | Repositório Institucional - Unesp |
O Portal eduCAPES é oferecido ao usuário, condicionado à aceitação dos termos, condições e avisos contidos aqui e sem modificações. A CAPES poderá modificar o conteúdo ou formato deste site ou acabar com a sua operação ou suas ferramentas a seu critério único e sem aviso prévio. Ao acessar este portal, você, usuário pessoa física ou jurídica, se declara compreender e aceitar as condições aqui estabelecidas, da seguinte forma: