Navegar por:

An empirical workflow of uncertainty quantification to evaluate agent-based simulation outputs aiming analytical confidence

Use este link compartilhar ou citar este material: http://educapes.capes.gov.br/handle/capes/629085
Registro completo de metadados
MetadadosDescriçãoIdioma
Autor(es): dc.contributorRalha, Célia Ghedini-
Autor(es): dc.creatorAbreu, Carolina Gonçalves-
Data de aceite: dc.date.accessioned2021-10-14T18:20:00Z-
Data de disponibilização: dc.date.available2021-10-14T18:20:00Z-
Data de envio: dc.date.issued2019-03-06-
Data de envio: dc.date.issued2019-03-06-
Data de envio: dc.date.issued2019-03-06-
Data de envio: dc.date.issued2018-08-23-
Fonte completa do material: dc.identifierhttp://repositorio.unb.br/handle/10482/34097-
Fonte: dc.identifier.urihttp://educapes.capes.gov.br/handle/capes/629085-
Descrição: dc.descriptionTese (doutorado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018.-
Descrição: dc.descriptionA investigação sobre a mudança de uso e cobertura da terra é importante para promover o gerenciamento criterioso do território, como meio de contenção de danos ambientais. Além disso, é um processo complexo que relaciona a interação entre sistemas ambientais, econômicos e sociais em diferentes escalas temporais e espaciais. O entendimento da dinâmica desses sistemas foca não somente nas partes, mas do comportamento que emerge da interação entre elas. Modelo Baseado em Agente (MBA) é uma boa técnica para o estudo desses fenômenos, uma vez que modela as interações entre agentes autônomos e o seu ambiente. As simulações computacionais são a técnica mais utilizada para avaliar esses modelos, para testar explicitamente os efeitos das decisões humanas em situações complexas. Conquanto os MBAs forneçam uma ferramenta poderosa para analisar fenômenos emergentes, sua utilidade é limitada por dificuldades na análise dos seus resultados, o que fomenta críticas e questionamentos sobre a contribuição real dos frameworks para o suporte à decisão. A ferramenta mais difundida para avaliação é a análise de sensibilidade, pois quantifica os efeitos das alterações nos fatores de entrada do modelo nas previsões do modelo. Entretanto, grande parte dos métodos mais difundidos de análise de sensibilidade não são adequados ou são insuficientes para lidar com as especificidades advindas da complexidade dos MBAs. Dentre elas, destacam-se a estocasticidade, não-linearidade e a parametrização ad hoc, que implicam uma considerável incerteza epistêmica. Sem uma investigação apropriada, há chances significativas de que os resultados derivados da simulação sejam a consequência de vieses. Embora reconhecendo as diferenças particulares dos inúmeros MBAs, a presente tese examina se esses desafios podem ser superados, no contexto de um estudo de caso de uso e cobertura da terra no Cerrado do Distrito Federal, usando a ferramenta multiagente MASE-BDI (Coelho et al., 2016). O objetivo dessa tese é avaliar a aplicação de várias metodologias de quantificação de incerteza e análise de sensibilidade na análise de resultados de MBAs. O foco da pesquisa é efetuar uma aplicação integrada de técnicas de análise de incerteza e sensibilidade e avaliar os impactos que as diferenças nos tamanhos de amostra, técnicas de amostragem e métodos de análise de sensibilidade podem ter na saída do modelo. Além disso, propõe-se um workflow para que essas técnicas possam ser aplicadas de forma organizada e sistemática. De modo mais abrangente, aplica-se uma metodologia geral de avaliação de MBAs, que inclui diferentes abordagens para produzir versões simplificadas do modelo que podem ser usadas para explorar os resultados ou realizar uma análise exploratória. Estas abordagens para análise, calibração e verificação do modelo requerem um grande número de execuções de simulação de cenários repetidos e com muitas combinações de parâmetros e de configurações do modelo. Para facilitar esse processo, foi implementada a integração da ferramenta de simulação MASE-BDI com o conjunto de bibliotecas estatísticas para quantificação de incerteza PSUADE. Houve a criação de um driver e de uma interface para automatizar o pré e pós-processamento de entradas e saídas para muitas execuções do modelo. Todos os experimentos foram testados em um modelo espacialmente explícito de uso e cobertura da terra. A ferramenta de simulação é o MASE-BDI, desenvolvido pela Universidade de Brasília. MASE é o acrônimo para MultiAgent System for Environmental simulation que implementa o modelo de racionalidade Belief-Desire-Intention (BDI). No BDI, os agentes possuem crenças, um conjunto de informações que se tem sobre o ambiente que habitam e que alteram tanto a percepção quanto o seu pensamento sobre o mundo. Desejos, que representam as atitudes motivacionais dos agentes que os conduzem a um curso de ação, e intenções, que são o conjunto de planos montados pelo agente para que ele atinja os seus objetivos. A função objetivo da análise dos resultados da simulação é uma métrica estatística de aptidão denominada figura de mérito (FoM), determinada pela razão entre as mudanças na terra que foram preditas corretamente sobre a soma das mudanças observadas (Pontius et al., 2008). Essa métrica quantifica se os acertos de um mapa de uso e cobertura da terra são maiores que os erros na predição da quantidade de conversão entre os diferentes usos e coberturas da terra e da alocação dessas mudanças no espaço. A metodologia utilizada na tese foi incremental e evolutiva. Inicialmente, foi realizada uma avaliação do modelo com a utilização dos métodos mais difundidos na literatura: análise de sensibilidade um-fator-de-cada-vez (OAT - One-factor-At-a-Time) para quatro fatores de entrada e um número variável de replicações. Para avaliar a qualidade da saída do modelo, a métrica de aptidão foi avaliada por meio de intervalos de confiança. Os resultados mostraram que apesar de ser possível diferenciar os fatores de entrada sensíveis e não sensíveis, a variabilidade da saída era tão grande que a incerteza impedia qualquer análise mais robusta. Percebeu-se que diferentes replicações da amostra afetavam consideravelmente os resultados. A revisão de literatura apresentou um cenário apelidado por Angus (2015) de "anarquia metodológica". Partindo da premissa que há grandes discrepâncias nas orientações provenientes da revisão de literatura, optou-se por uma investigação profunda e abrangente dos itens que eram passíveis de influenciar os resultados do modelo. Esse segundo passo da investigação propôs uma adaptação e detalhamento do workflow para análise de saída do modelo, disponíveis na literatura. A partir da proposta de (Pianosi et al, 2016) propôs-se uma metodologia com três passos: 1) projeto do experimento; 2) análise de incerteza; e 3) análise de sensibilidade. A contribuição baseia-se na inserção explícita de métodos para a definição da estabilidade da variância, ou seja, o tamanho mínimo da amostra para o estudo de caso específico. Os pesquisadores divergem consideravelmente sobre qual deve ser o tamanho mínimo de uma amostra, dado um determinado número de fatores de entrada. Postula-se que a variabilidade do parâmetro de saída sob investigação deve nortear essa escolha. Apenas quando a variância atingir um ponto de estabilidade, é possível obter o número mínimo de simulações necessárias para que as conclusões sejam válidas. Além disso, os experimentos foram projetados para investigar a eficácia e eficiência da estratégia de amostragem e do método de análise de sensibilidade. Foram avaliadas todas as possíveis combinações entre as estratégias de amostragem comuns na literatura (Monte Carlo, Hipercubo Latino, Array Ortogonal, Fourier, entre outros) e os métodos de sensibilidade (regressão, correlação, OAT, Sobol, Teste Delta, processos gaussianos, entre outros). Todas as possíveis combinações resultaram em uma miríade de simulações. Para executar esse grande número de testes, foi necessário implementar uma integração entre a modelo de simulação MASE-BDI e a ferramenta estatística de quantificação de incerteza PSUADE (Tong, 2005). Dessa forma, por meio de uma interface de usuário é possível determinar os fatores de entrada e saída, o tamanho da amostra e a técnica de amostragem. O sistema automaticamente informa esses parâmetros para a ferramenta e simula cada um desses cenários. Após esse cálculo, é possível selecionar os métodos de análise de incerteza e sensibilidade e calcular os respectivos índices. De forma surpreendente, métodos amplamente difundidos apresentaram resultados controversos quando aplicados no estudo de caso. Ademais, diferentes métodos de amostragem produziram diferentes saídas para o mesmo método de análise de sensibilidade. Em alguns casos, diferentes tamanhos de amostra indicaram resultados conflitantes para uma mesma métrica de sensibilidade. A partir dessas observações é possível afirmar que nenhum MBA pode aplicar um método sem antes questioná-lo. Uma série de investigações preliminares são obrigatórias para garantir que os métodos de incerteza e sensibilidade são adequados para o estudo de caso em questão. Para tornar os experimentos mais eficientes, uma utilização integrada de análise de incerteza e sensibilidade foi a opção metodológica escolhida. Os resultados da análise de incerteza alimentavam a análise de sensibilidade, promovendo uma análise mais completa das saídas do modelo. O workflow proposto é a ferramenta para guiar outros pesquisadores da área de MBA e evitar que erros comuns sejam cometidos. Um exemplo são os métodos de regressão-linear e correlação, amplamente difundidos em modelos ecológicos, mas que se mostraram inadequados para a avaliação do MBA em questão. Na última etapa da tese, optou-se por enquadrar os experimentos em um framework geral para avaliação de modelos inicialmente proposto por (Augusiak, 2014). "Avalidação" é a composição entre avaliação e validação que se ancora no ciclo de modelagem e propõe atividades específicas para verificar cada passo da concepção e simulação de um modelo. O foco desse trabalho concentrou-se nos métodos de verificação das saídas, análise e corroboração das saídas do modelo. Para cada item, fornece-se o passo a passo de atividades, aplicadas ao modelo MASE-BDI. Para ilustrar o potencial dessa metodologia, foram propostos dois experimentos, um exploratório e um explanatório, para gerar versões simplificadas, computacionalmente eficientes, e que exploram comportamentos específicos do sistema em questão. A simplificação baseia-se na redução da variabilidade dos fatores de entrada, de modo a aumentar a confiança nos resultados das predições. O experimento exploratório possibilitou a investigação de comportamentos extremos do sistema, mantendo a variabilidade dos fatores. O experimento explanatório reduz a variabilidade de saída. Ao refinar o fator de entrada que mais influencia o resultado, foi possível reduzir as incertezas. Ambos os experimentos mantêm a média da variável de saída constante. O resultado é uma avaliação integral do modelo, no que concerne a variável de saída de interesse. A sequência de experimentos identificou quais os métodos mais adequados e eficientes para o estudo de caso. Entretanto, a aplicação desses métodos ilustra como deveria ser uma análise integrada de incerteza e sensibilidade em um MBA. Essa iniciativa favorece a transparência e permite o escrutínio e a replicabilidade por parte da comunidade de pesquisa. O resultado é um modelo ajustado e avaliado, cuja média registrada para função objetivo é maior que 51%, melhorando significativamente os resultados iniciais obtidos com as orientações provenientes da literatura. Apesar de os testes terem sido realizados em um modelo específico, as considerações podem ser generalizadas para todo o campo de pesquisa. A integração de análise de incerteza e sensibilidade deve ser feita rotineiramente nos processos de avaliação de um modelo. Seguindo as etapas estabelecidas pelo workflow, pesquisadores podem aumentar o nível de confiança nos resultados de suas simulações e promover um uso mais racional e eficiente dos MBAs.-
Descrição: dc.descriptionResearch on land use change and land cover are essential to promote insightful management of land use to refrain environmental damage. Also, it is a complex process that relates to the interaction between environmental, economic and social systems at different temporal and spatial scales. Understanding the dynamics of these systems focuses not only on the parts but on the behavior that emerges from the interaction between them. Agent-based model (ABM) is a useful technique for studying these phenomena since ABMs model the interactions between autonomous agents and their environment. Computational simulations are the most used technique to evaluate these models, to explicitly test the effects of human decisions in complex situations. While ABMs provide a powerful tool for analyzing emerging behavior, their usefulness is limited by difficulties in analyzing their results, which encourages criticism and questioning about the actual contribution of frameworks to decision support. The most popular tool for model evaluation is sensitivity analysis, as it quantifies the effects of the changes in the input factors of the model in the predictions of the model. However, most of the sensitivity analysis methods are not adequate or are insufficient to deal with the specificities arising from the complexity of ABMs. Among these, we highlight the stochasticity, non-linearity and the ad hoc parametrization of ABMs, which imply a considerable epistemic uncertainty. Without proper investigation, there are significant chances of finding results that can be a consequence of biases. Although recognizing the particular differences of the numerous ABMs, this thesis examines whether these challenges can be overcome in the context of a case study of land use and land cover in the Cerrado of the Federal District, using the MASE-BDI multiagent tool. The objective of this thesis is to evaluate the application of several methodologies of uncertainty quantification and sensitivity analysis to analyze ABM output. We aim to perform an integrated application of uncertainty and sensitivity techniques and evaluate the impacts that differences in sample sizes, sampling techniques, and SA methods may have on model output. In addition, a workflow is proposed so that these techniques can be applied in an organized and systematic way. More broadly, a general ABM assessment methodology is applied, which includes different approaches to produce simplified versions of the model that can be used to explore the results of the model or perform exploratory analysis. These approaches for model analysis, calibration, and verification require a large number of repeated scenario simulation runs, with many combinations of model parameters and configurations. To facilitate this process, we implemented the integration of the MASE-BDI simulation tool with PSUADE, a set of statistical libraries for uncertainty quantification. A driver and an interface have been created to automate pre and post-processing of inputs and outputs for many models' runs. All experiments were performed in a spatially explicit model of land use and land cover change. The simulation tool is MASE-BDI, developed at the University of Brasilia. MASE is the acronym for MultiAgent System for Environmental simulation that implements the Belief-Desire-Intention (BDI) rationality model. In BDI, agents have beliefs, a set of information about the environment they inhabit that change both perception and thinking about the world. Desires, which represent the motivational attitudes of the agents and leading them to a course of action, and, moreover, intentions, a set of plans mounted by the agent to achieve his goals. The objective function of the output analysis is a statistical metric called figure of merit (FoM), determined by the ratio between the changes in the land use that were predicted correctly over the sum of the observed changes. This metric quantifies whether the correctness of land use and land cover map is higher than the errors in predicting the amount of conversion between the different uses and land cover and the allocation of those changes in space. The methodology used in the thesis was incremental. Initially, an evaluation of the model was performed using the most used method in the literature: one-factor-at-a-time (OAT) sensitivity analysis. We investigated four factors and sampled it within its range with a variable number of replications. To assess the quality of the output of the model, the fitness metrics were evaluated through confidence intervals. The results showed that although it is possible to differentiate between the sensitive and non-sensitive input factors, the variability of the output was so significant that the uncertainty prevented any more robust analysis. It was found that different replications of the sample affected the results considerably. The literature review performed by Angus (2015) presented a scenario of "methodological anarchy". Based on the premise that there are major discrepancies in the guidelines found in the literature, we prosecuted an in-depth and comprehensive investigation of the items that were likely to influence the results of the model. The second step of the research proposed an adaptation and detailing of the workflow for model output analysis. Based on the framework proposed by Pianosi et al. (2016), we tailored a methodology with three necessary steps: 1) design of experiment; 2) uncertainty analysis; and 3) sensitivity analysis. The contribution is the explicit insertion of methods to define the variance stability, i.e., the minimum sample size for the specific case study. Researchers diverge considerably on what is the minimum sample size, given a number of input factors. We postulate that the variability of the output parameter under investigation should guide this choice. Only when variance reaches a stability point, we can define the minimum number of simulations necessary for the conclusions to be valid. Besides, the experiments were designed to investigate the effectiveness and efficiency of the sampling strategy and the method of sensitivity analysis. We assessed all possible combinations of the sampling strategies shared in the literature (Monte Carlo, Latin Hypercube, Orthogonal Array, Fourier, among others) and methods of sensitivity (regression, correlation, OAT, Sobol, Delta test, Gaussian processes, among others). To test all these combinations resulted in a myriad of simulations. To perform this large number of tests, it was necessary to implement integration between the MASE-BDI simulation model and the statistical uncertainty quantification tool PSUADE (Tong, 2005). It is possible to determine input and output factors, sample size and sampling techniques through a user interface. The system automatically informs these parameters to the MASE-BDI tool and simulates each of these scenarios. After the simulation, it is possible to select the uncertainty and sensitivity analysis methods and calculate the respective indices. Surprisingly, some of the methods that are used continuously in ABM presented controversial results when applied in our case study. Also, different sampling methods produced different outputs for the same sensitivity analysis method. In some cases, different sample sizes indicated conflicting results for the same sensitivity metric. From these observations, it was possible to affirm that no ABM can apply a method without first questioning it. Many preliminary investigations are required to ensure that the methods chosen for uncertainty and sensitivity analyzes are reliable to the particular case. To raise the computational efficiency of these tests, we applied an integrated use of uncertainty analysis and sensitivity analysis as the baseline assessment. The results of the uncertainty analysis were the input of the sensitivity analysis, promoting a complete exploration of the model outputs. The proposed workflow is a tool to guide other ABM researchers and prevent common mistakes from being made. An example is the methods of linear regression and correlation, widely diffused in ecological models but which proved inadequate for the evaluation of the ABM under study. Finally, we chose to apply a general framework for model evaluation, initially proposed by (Augusiaket et al, 2014). "Evaludation" is the composition between model evaluation and validation. It is anchored in the modeling cycle and proposes specific activities to check and verify each step of the design and simulation of a model. We focused on the last three stages of the evaludation process: model output verification, model analysis, and model output corroboration. For each item, we provide the step-by-step of activities, applied to the MASE-BDI model. To illustrate the potential of this methodology, two experiments were proposed to generate simplified, computationally efficient versions that exploit specific behaviors of the system in question: an exploratory and an explanatory experiment. The simplification is based on the reduction of the variability of the input factors to increase confidence in the prediction results. The exploratory experiment allowed the investigation of boundary behaviors of the system while maintaining the variability of the factors. The explanatory experiment reduces output variability. By refining the input factor that most influences the result it was possible to reduce the uncertainties. Both experiments maintain the mean of the output variable of interest. The overall result is an integral evaluation of the model, regarding the output variable of interest. The sequence of experiments identified the most appropriate and efficient methods for the case study. However, the application of these methods illustrates how integrated analysis of uncertainty and sensitivity in an ABM should be. This initiative promotes transparency and allows scrutiny and replicability by the research community. The result is an adjusted and evaluated model whose average for the objective function is higher than 51%, significantly improving the initial results obtained with the literature guidelines. Although the tests have been performed in a specific model, the considerations can be generalized for the entire field of research. The integration of uncertainty and sensitivity analysis should be done routinely in the evaluation processes of a model. Following the steps established by the workflow, researchers can increase the confidence level in the results of their simulations and promote more rational and efficient use of ABMs.-
Formato: dc.formatapplication/pdf-
Direitos: dc.rightsAcesso Aberto-
Direitos: dc.rightsA concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.-
Palavras-chave: dc.subjectUso da terra-
Palavras-chave: dc.subjectIncerteza-
Palavras-chave: dc.subjectModelo Baseado em Agente (MBA)-
Palavras-chave: dc.subjectAnálise de sensibilidade-
Título: dc.titleAn empirical workflow of uncertainty quantification to evaluate agent-based simulation outputs aiming analytical confidence-
Tipo de arquivo: dc.typelivro digital-
Aparece nas coleções:Repositório Institucional – UNB

Não existem arquivos associados a este item.
Mostrar registro simples do item Visualizar estatísticas

Avaliação