Atenção:
O eduCAPES é um repositório de objetos educacionais, não sendo responsável por materiais de terceiros submetidos na plataforma. O usuário assume ampla e total responsabilidade quanto à originalidade, à titularidade e ao conteúdo, citações de obras consultadas, referências e outros elementos que fazem parte do material que deseja submeter. Recomendamos que se reporte diretamente ao(s) autor(es), indicando qual parte do material foi considerada imprópria (cite página e parágrafo) e justificando sua denúncia.
Caso seja o autor original de algum material publicado indevidamente ou sem autorização, será necessário que se identifique informando nome completo, CPF e data de nascimento. Caso possua uma decisão judicial para retirada do material, solicitamos que informe o link de acesso ao documento, bem como quaisquer dados necessários ao acesso, no campo abaixo.
Todas as denúncias são sigilosas e sua identidade será preservada. Os campos nome e e-mail são de preenchimento opcional. Porém, ao deixar de informar seu e-mail, um possível retorno será inviabilizado e/ou sua denúncia poderá ser desconsiderada no caso de necessitar de informações complementares.
Metadados | Descrição | Idioma |
---|---|---|
Autor(es): dc.contributor | Valêncio, Carlos Roberto | - |
Autor(es): dc.contributor | Universidade Estadual Paulista (UNESP) | - |
Autor(es): dc.creator | França, Vitor Pelicer de Mesquita | - |
Data de aceite: dc.date.accessioned | 2025-08-21T17:25:29Z | - |
Data de disponibilização: dc.date.available | 2025-08-21T17:25:29Z | - |
Data de envio: dc.date.issued | 2024-12-18 | - |
Data de envio: dc.date.issued | 2024-12-18 | - |
Data de envio: dc.date.issued | 2024-11-24 | - |
Fonte completa do material: dc.identifier | https://hdl.handle.net/11449/259284 | - |
Fonte: dc.identifier.uri | http://educapes.capes.gov.br/handle/11449/259284 | - |
Descrição: dc.description | As arquiteturas de Data Warehouse convencionais fazem uso de Extração Transformação Armazenamento - ETA e com o propósito de trazer os dados de um sistema fonte para o Data Warehouse. Normalmente os dados são integrados por ETA em intervalos longos, geralmente de um dia e em momentos que os sistemas estão com pouca demanda de consumo. As demandas de mercado por análise de dados evoluíram significativamente e atualmente existem aplicações que requisitam por análises com alto grau de atualização, e para suportar essa demanda, passou a ser utilizadas arquiteturas de Data Warehouse Ativo. Nessa arquitetura o dado é constantemente atualizado, e o processo de ETA é normalmente realizado por streaming de dados ou o envio constante de micro lotes, mas devido ao alto grau de atualização, isso demanda que sejam feitas consultas e inserções ao banco de dados de maneira exaustiva, o que pode acarretar uma sobrecarga dos sistemas envolvidos. Então, este trabalho tem o objetivo de propor uma melhoria a arquitetura de integração de dados com uma estratégia para definir quando é interessante realizar as inserções dos dados no sistema, e toma a escolha baseada na relevância dos dados alterados e no seu volume. Com isto, este trabalho contribui com a redução de atualizações por meio de recurso de inteligência artificial para inferir os valores de relevância e volume necessários para acionar o processo de ETA. | - |
Descrição: dc.description | Conventional Data Warehouse architectures utilize Extract, Transform, and Load (ETL) with the purpose of transferring data from a source system to the Data Warehouse. Typically, data integration via ETL occurs in long intervals, often daily, during periods of low system demand. However, market demands for data analysis have evolved significantly, and there are now applications requiring analyses with a high degree of real-time updates. To meet this demand, Active Data Warehouse architectures have emerged. In these architectures, data is continuously updated, and the ETL process is usually performed through data streaming or the constant delivery of micro-batches. However, this high level of updates necessitates frequent queries and inserts into the database, which can lead to system overload. This work aims to propose an improvement to the data integration architecture by introducing a strategy to determine when it is optimal to insert data into the system. The decision is based on the relevance of the modified data and its volume. This contribution reduces the number of updates through the use of artificial intelligence to infer the relevance and volume thresholds required to trigger the ETL process. | - |
Formato: dc.format | application/pdf | - |
Idioma: dc.language | pt_BR | - |
Publicador: dc.publisher | Universidade Estadual Paulista (UNESP) | - |
Direitos: dc.rights | info:eu-repo/semantics/openAccess | - |
Palavras-chave: dc.subject | Data Warehouse Ativo | - |
Palavras-chave: dc.subject | ETA | - |
Palavras-chave: dc.subject | Aprendizado por reforço | - |
Palavras-chave: dc.subject | Inteligência artificial | - |
Palavras-chave: dc.subject | Reinforcement learning | - |
Palavras-chave: dc.subject | Artificial inteligence | - |
Título: dc.title | Arquitetura para a extração, transformação e armazenamento em Data Warehouse ativo | - |
Título: dc.title | Architecture for extraction, transformation and storage in active Data Warehouse | - |
Tipo de arquivo: dc.type | livro digital | - |
Aparece nas coleções: | Repositório Institucional - Unesp |
O Portal eduCAPES é oferecido ao usuário, condicionado à aceitação dos termos, condições e avisos contidos aqui e sem modificações. A CAPES poderá modificar o conteúdo ou formato deste site ou acabar com a sua operação ou suas ferramentas a seu critério único e sem aviso prévio. Ao acessar este portal, você, usuário pessoa física ou jurídica, se declara compreender e aceitar as condições aqui estabelecidas, da seguinte forma: