A general algorithm for the real-time emulationof pitched musical instruments and the singing voice

Registro completo de metadados
MetadadosDescriçãoIdioma
Autor(es): dc.contributorPereira, Valdecy-
Autor(es): dc.contributorPessoa, Arthur Alves-
Autor(es): dc.contributorMota, Guilherme Lúcio Abelha-
Autor(es): dc.contributorRamírez, Miguel Arjona-
Autor(es): dc.contributorBarbosa, Vitor Acioly-
Autor(es): dc.creatorSantos, Carlos Henrique Tarjano-
Data de aceite: dc.date.accessioned2024-07-11T17:31:33Z-
Data de disponibilização: dc.date.available2024-07-11T17:31:33Z-
Data de envio: dc.date.issued2023-08-04-
Data de envio: dc.date.issued2023-08-04-
Fonte completa do material: dc.identifierhttp://app.uff.br/riuff/handle/1/29781-
Fonte: dc.identifier.urihttp://educapes.capes.gov.br/handle/capes/752078-
Descrição: dc.descriptionInstrumentos musicais digitais baseados em amostras representam o atual estado da arte da emulação de instrumentos musicais em tempo real. Embora os melhores instrumentos digitais baseados em amostras apresentem boa qualidade de som, eles apresentam várias desvantagens, como a falta de flexibilidade e as enormes bibliotecas de sons pré-gravados que demandam grandes espaços para armazenamento de arquivos digitais, por exemplo. Nos últimos anos, as abordagens baseadas em inteligência artificial vêm ganhando popularidade. Embora a qualidade e a eficiência dos modelos atuais estejam melhorando constantemente, eles tendem a consumir muitos recursos computacionais e atualmente não são capazes de competir, em termos de qualidade sonora, com instrumentos digitais baseados em amostras. No cerne deste problema está a falta de uma representação apropriada para sinais discretos com alto grau de periodicidade, formulada para aproveitar os resultados que as redes neurais estão demonstrando em áreas como processamento de linguagem natural e visão computacional, onde constituem o estado da arte. Este trabalho apresenta, portanto, tal representação e, a partir dela, desenvolve um conjunto de instrumentos musicais digitais capazes de emular instrumentos reais, além da voz cantada, em tempo real, com requisitos modestos de armazenamento e poder de processamento. Para tanto, é realizado um levantamento da literatura relacionada, especialmente no que diz respeito à área de processamento digital de sinais, e preenche as lacunas que impedem o desenvolvimento de tal representação. Especificamente, são introduzidos novos algoritmos de detecção de envelopes e de segmentação de sinais discretos, desenhado para identificar os pseudo ciclos individuais de sinais semi periódicos. Esses avanços teóricos são empregados na implementação de um framework para a emulação de instrumentos musicais em geral, onde os instrumentos digitais são treinados usando amostras pré-gravadas de instrumentos reais. A qualidade das amostras disponíveis gratuitamente para treinar o algoritmo é uma das limitações do presente trabalho. O trabalho também exemplifica como algoritmos baseados em redes neurais podem ser melhor integrados a áreas tradicionais relacionadas à síntese sonora, e como podem motivar avanços práticos e teóricos nessas áreas.-
Descrição: dc.descriptionSample-based digital musical instruments currently represent the state of the art in real-world instrument emulation. While the best sample-based digital instruments present good sound quality, they have several drawbacks, such as the lack of flexibility, and the huge libraries and storage requirements involved, to name a few. In the last few years, artificial intelligence-based approaches are gaining popularity. While the quality and efficiency of the most recent such models are constantly improving, they tend to be resource-intensive, and are not currently able to compete, quality-wise, with sample-based real-time instruments. At the heart of this problem lies the lack of an appropriate representation for quasi-periodic discrete signals, formulated to take advantage of the capabilities neural networks are demonstrating in areas such as natural language processing and computer vision, where they constitute the state of the art. This work introduces, therefore, such a representation, and develops a set of digital musical instruments capable of emulating real-world instruments and the singing voice in real-time, with modest storage and processing requirements. To do so, this work surveys the related literature, especially concerning digital signal processing, and fills the gaps that hinder the development of such a representation. Specifically, a novel envelope detection algorithm and a discrete signal segmentation algorithm, tailored to identify the individual pseudo cycles of quasi-periodic signals, are introduced. The theoretical advancements are employed in the implementation of a general algorithm for the emulation of real-world instruments, that are trained using samples from real-world instruments and the singing voice. The quality of the freely available samples used to train the algorithm is one of the limitations of the present work. The work also exemplifies how neural networks-based algorithms can be more integrated with traditional areas related to sound synthesis, and how they can motivate practical and theoretical advancements in those areas.-
Descrição: dc.description181 p.-
Formato: dc.formatapplication/pdf-
Idioma: dc.languagept_BR-
Direitos: dc.rightsOpen Access-
Direitos: dc.rightsCC-BY-SA-
Palavras-chave: dc.subjectSíntese sonora em tempo real-
Palavras-chave: dc.subjectProcessamento digital de sinais-
Palavras-chave: dc.subjectRedes neurais-
Palavras-chave: dc.subjectRepresentação discreta de sinais-
Palavras-chave: dc.subjectInstrumento musical-
Palavras-chave: dc.subjectProcessamento de som por computador-
Palavras-chave: dc.subjectInteligência artificial-
Palavras-chave: dc.subjectReal-time sound synthesis-
Palavras-chave: dc.subjectDigital Signal Processing-
Palavras-chave: dc.subjectNeural Networks-
Palavras-chave: dc.subjectDiscrete Signal Representation-
Título: dc.titleA general algorithm for the real-time emulationof pitched musical instruments and the singing voice-
Tipo de arquivo: dc.typeTese-
Aparece nas coleções:Repositório Institucional da Universidade Federal Fluminense - RiUFF

Não existem arquivos associados a este item.