Efficient execution of microscopy image analysis on distributed memory hybrid machines

Registro completo de metadados
MetadadosDescriçãoIdioma
Autor(es): dc.contributorTeodoro, George Luiz Medeiros-
Autor(es): dc.creatorBarreiros Júnior, Willian de Oliveira-
Data de aceite: dc.date.accessioned2024-10-23T16:13:34Z-
Data de disponibilização: dc.date.available2024-10-23T16:13:34Z-
Data de envio: dc.date.issued2024-08-13-
Data de envio: dc.date.issued2024-08-13-
Data de envio: dc.date.issued2024-08-13-
Data de envio: dc.date.issued2023-03-23-
Fonte completa do material: dc.identifierhttp://repositorio2.unb.br/jspui/handle/10482/49838-
Fonte: dc.identifier.urihttp://educapes.capes.gov.br/handle/capes/902963-
Descrição: dc.descriptionTese (Doutorado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2023.-
Descrição: dc.descriptionA análise de imagens de whole slide tissue image (WSIs) é uma tarefa computacionalmente cara, impactando negativamente no uso de dados de patologia em imagens em larga escala para pesquisa. Diversas soluções paralelas para otimizar tais aplicações já foram propostas, mirando no uso de dispositivos e ambientes, como CPUs, GPUs e/ou sistemas distribuídos. Porém, a execução eficiente de código paralelo em máquinas híbridas e/ou distribuídas permanece um problema em aberto para histopatologia digital. Desenvolvedores de aplicações podem precisar implementar múltiplas versões de código para diferentes dispositivos de hardware. Desenvolvedores também precisam lidar com os desafios de distribuição eficiente de carga para nós computacionais de máquinas de memória distribuída, assim como para os dispositivos de execução de cada nó. Essa tarefa pode ser particularmente difícil para análises de imagens de alta resolução com custo computacional dependente de conteúdo. Esta tese tem como objetivo propor uma solução para a simplificação do desenvolvimento de aplicações de análise de WSI, assegurando o uso eficiente de recursos distribuídos híbridos (CPU-GPU). Para esse fim foi proposto um modelo de execução de alto nível de abstração, em conjunto com um método de particionamento automático de carga. A fim de validar os métodos e algoritmos propostos, uma linguagem de processamento de imagem de alto nível de abstração (Halide) foi utilizada como solução de paralelismo local (CPU/GPU), junto com o Region Templates (RT), um sistema de gestão de coordenação de dados e tarefas entre nós distribuídos. Também foi desenvolvida uma nova estratégia cost-aware de particionamento de dados (CADP) que considera a irregularidade de custo de tarefas a fim de minimizar o desbalanceamento de carga. Para tal, dois algoritmos de particionamento foram propostos, o Expected Cost Bisection e o Background Removal Bisection. Resultados experimentais mostram melhorias significativas na performance de execução com recursos híbridos CPU-GPU, comparada com o uso de recursos homogêneos (CPU ou GPU apenas). Os algorithmos de particionamento foram comparados com uma abordagem baseline hierarquica usando KD-Trees (KDT), em ambientes multi-GPU, multi-GPU híbrido e distribuído de larga escala. Os resultados mostraram ganhos de até 2.72× para o ECB e de 4.52× para o BRB, ambos em comparação ao KDT. Em adição ao modelo simplificado de desenvolvimento de workflows por experts de domínio, a performance vista em ambos ambientes híbridos e de larga escala demonstra a eficácia do sistema proposto para uso em estudos WSI de larga escala. Ambas melhorias na performance dos algoritmos do CADP como no modelo de estimação de custo de execução são esperadas como trabalhos futuros para o sistema aqui proposto.-
Descrição: dc.descriptionThe analysis of high resolution whole slide tissue images (WSIs) is a computationally expensive task, which cost adversely impacts large scale usage of pathology imaging data in research. Parallel solutions to optimize such applications have been proposed targeting multiple devices and environments, such as CPUs, GPUs, hybrid compute nodes and distributed systems. However, the generalization of efficiently executing parallel code on hybrid and/or distributed machines remains an open challenge for digital histopathology. An application developer may have to implement multiple versions of data processing codes targeted for different compute devices. The developer also has to tackle the challenges of efficiently distributing computational load among the nodes of a distributed memory machine and among computing devices within a node. This can be particularly difficult for analysis of high-resolution images with content-dependent computing costs. This thesis aims to provide a solution for simplifying the development of WSI analysis workflows while also enabling efficient use of distributed and hybrid (CPUGPU) resources. For this end, a high-level execution model, coupled with an automatic workload partitioning method was proposed. In order to validate the proposed methods and algorithms, a high-level image processing language (Halide) was used as a local resource (CPU/GPU) parallel solution, together with Region Templates (RT), a system for managing data/tasks coordination among distributed nodes. A novel cost-aware data partitioning strategy that considers the workload irregularity to minimize load imbalance was also developed. For it, two partitioning algorithm were proposed, the Expected Cost Bisection (ECB) and the Background Removal Bisection (BRB). Experimental results show significant performance improvements on hybrid CPU-GPU machines, as compared with using a single compute device (CPU or GPU), as well as with multi-GPU systems. The partitioning algorithms were compared with a baseline hierarchical KD-Tree (KDT) approach, on multi-GPU-only, hybrid CPU-GPU and large-scale distributed CPU nodes environments. Results show speedups of up to 2.72× for ECB and 4.52× for BRB, both compared to KDT. In addition to the simpler development model for domain experts, the attained performance for both hybrid and large-scale distributed computing environments demonstrates the efficacy of the proposed system for large-scale WSI studies. Both improvements on the CADP algorithms performance and the accuracy of the execution cost estimation model are expected as future works for the proposed system.-
Descrição: dc.descriptionInstituto de Ciências Exatas (IE)-
Descrição: dc.descriptionDepartamento de Ciência da Computação (IE CIC)-
Descrição: dc.descriptionPrograma de Pós-Graduação em Informática-
Formato: dc.formatapplication/pdf-
Idioma: dc.languagept_BR-
Direitos: dc.rightsAcesso Aberto-
Direitos: dc.rightsA concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.unb.br, www.ibict.br, www.ndltd.org sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra supracitada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.-
Palavras-chave: dc.subjectHistopatologia-
Palavras-chave: dc.subjectComputação heterogênea-
Palavras-chave: dc.subjectComputação distribuida-
Palavras-chave: dc.subjectProcessamento de imagens-
Título: dc.titleEfficient execution of microscopy image analysis on distributed memory hybrid machines-
Tipo de arquivo: dc.typelivro digital-
Aparece nas coleções:Repositório Institucional – UNB

Não existem arquivos associados a este item.