
Atenção:
O eduCAPES é um repositório de objetos educacionais, não sendo responsável por materiais de terceiros submetidos na plataforma. O usuário assume ampla e total responsabilidade quanto à originalidade, à titularidade e ao conteúdo, citações de obras consultadas, referências e outros elementos que fazem parte do material que deseja submeter. Recomendamos que se reporte diretamente ao(s) autor(es), indicando qual parte do material foi considerada imprópria (cite página e parágrafo) e justificando sua denúncia.
Caso seja o autor original de algum material publicado indevidamente ou sem autorização, será necessário que se identifique informando nome completo, CPF e data de nascimento. Caso possua uma decisão judicial para retirada do material, solicitamos que informe o link de acesso ao documento, bem como quaisquer dados necessários ao acesso, no campo abaixo.
Todas as denúncias são sigilosas e sua identidade será preservada. Os campos nome e e-mail são de preenchimento opcional. Porém, ao deixar de informar seu e-mail, um possível retorno será inviabilizado e/ou sua denúncia poderá ser desconsiderada no caso de necessitar de informações complementares.
| Metadados | Descrição | Idioma |
|---|---|---|
| Autor(es): dc.contributor | University of Wolverhampton | - |
| Autor(es): dc.contributor | Universidade Estadual Paulista (UNESP) | - |
| Autor(es): dc.contributor | Basque Research & Technology Alliance (BRTA) | - |
| Autor(es): dc.contributor | University of the Basque Country (UPV/EHU) | - |
| Autor(es): dc.contributor | Edinburgh Napier University | - |
| Autor(es): dc.contributor | DeepCI | - |
| Autor(es): dc.creator | Passos, Leandro A. | - |
| Autor(es): dc.creator | Papa, João Paulo | - |
| Autor(es): dc.creator | Del Ser, Javier | - |
| Autor(es): dc.creator | Hussain, Amir | - |
| Autor(es): dc.creator | Adeel, Ahsan | - |
| Data de aceite: dc.date.accessioned | 2025-08-21T16:45:25Z | - |
| Data de disponibilização: dc.date.available | 2025-08-21T16:45:25Z | - |
| Data de envio: dc.date.issued | 2023-07-29 | - |
| Data de envio: dc.date.issued | 2023-07-29 | - |
| Data de envio: dc.date.issued | 2023-01-31 | - |
| Fonte completa do material: dc.identifier | http://dx.doi.org/10.1016/j.inffus.2022.09.006 | - |
| Fonte completa do material: dc.identifier | http://hdl.handle.net/11449/247622 | - |
| Fonte: dc.identifier.uri | http://educapes.capes.gov.br/handle/11449/247622 | - |
| Descrição: dc.description | This paper proposes a novel multimodal self-supervised architecture for energy-efficient audio-visual (AV) speech enhancement that integrates Graph Neural Networks with canonical correlation analysis (CCA-GNN). The proposed approach lays its foundations on a state-of-the-art CCA-GNN that learns representative embeddings by maximizing the correlation between pairs of augmented views of the same input while decorrelating disconnected features. The key idea of the conventional CCA-GNN involves discarding augmentation-variant information and preserving augmentation-invariant information while preventing capturing of redundant information. Our proposed AV CCA-GNN model deals with multimodal representation learning context. Specifically, our model improves contextual AV speech processing by maximizing canonical correlation from augmented views of the same channel and canonical correlation from audio and visual embeddings. In addition, it proposes a positional node encoding that considers a prior-frame sequence distance instead of a feature-space representation when computing the node's nearest neighbors, introducing temporal information in the embeddings through the neighborhood's connectivity. Experiments conducted on the benchmark ChiME3 dataset show that our proposed prior frame-based AV CCA-GNN ensures a better feature learning in the temporal context, leading to more energy-efficient speech reconstruction than state-of-the-art CCA-GNN and multilayer perceptron. | - |
| Descrição: dc.description | Ministerio de Ciencia e Innovación | - |
| Descrição: dc.description | Eusko Jaurlaritza | - |
| Descrição: dc.description | Engineering and Physical Sciences Research Council | - |
| Descrição: dc.description | CMI Lab School of Engineering and Informatics University of Wolverhampton, England | - |
| Descrição: dc.description | Department of Computing São Paulo State University, Bauru | - |
| Descrição: dc.description | TECNALIA Basque Research & Technology Alliance (BRTA), Bizkaia | - |
| Descrição: dc.description | University of the Basque Country (UPV/EHU), Bizkaia | - |
| Descrição: dc.description | School of Computing Edinburgh Napier University, Scotland | - |
| Descrição: dc.description | DeepCI, Scotland | - |
| Descrição: dc.description | Department of Computing São Paulo State University, Bauru | - |
| Descrição: dc.description | Engineering and Physical Sciences Research Council: EP/T021063/1 | - |
| Formato: dc.format | 1-11 | - |
| Idioma: dc.language | en | - |
| Relação: dc.relation | Information Fusion | - |
| ???dc.source???: dc.source | Scopus | - |
| Palavras-chave: dc.subject | Canonical correlation analysis | - |
| Palavras-chave: dc.subject | Graph Neural Networks | - |
| Palavras-chave: dc.subject | Multimodal learning | - |
| Palavras-chave: dc.subject | Positional encoding | - |
| Palavras-chave: dc.subject | Prior frames neighborhood | - |
| Título: dc.title | Multimodal audio-visual information fusion using canonical-correlated Graph Neural Network for energy-efficient speech enhancement | - |
| Tipo de arquivo: dc.type | livro digital | - |
| Aparece nas coleções: | Repositório Institucional - Unesp | |
O Portal eduCAPES é oferecido ao usuário, condicionado à aceitação dos termos, condições e avisos contidos aqui e sem modificações. A CAPES poderá modificar o conteúdo ou formato deste site ou acabar com a sua operação ou suas ferramentas a seu critério único e sem aviso prévio. Ao acessar este portal, você, usuário pessoa física ou jurídica, se declara compreender e aceitar as condições aqui estabelecidas, da seguinte forma: