Avaliação do desempenho de previsões epidemiológicas em tempo real: um estudo de caso da epidemia de Ebola 2013-16
 |
| Biorxiv ebola estudo |
As previsões em tempo real baseadas em modelos matemáticos podem informar a tomada de decisão crítica durante os surtos de doenças infecciosas. No entanto, as previsões de epidemias raramente são avaliadas durante ou após o evento, e há pouca orientação sobre quais são as melhores métricas para avaliação.
Aqui, propomos separar diferentes componentes da capacidade de previsão usando métricas que avaliam separadamente a calibragem, a nitidez e a imparcialidade das previsões. Ao fazer isso, pode-se avaliar não apenas quão próxima uma previsão era a realidade, mas também quão bem a incerteza foi quantificada.
Usamos essa abordagem para analisar o desempenho das previsões semanais geradas em tempo real na Região Ocidental, Serra Leoa, durante a epidemia de Ebola 2013-16 na África Ocidental. Descobrimos que a calibração probabilística era boa em horizontes de tempo curtos, mas deteriorada para previsões de longo prazo. Isso sugere que as previsões eram de qualidade suficientemente boa para informar de forma confiável a tomada de decisão apenas algumas semanas antes, refletindo o alto nível de incerteza nos processos que impulsionam a trajetória da epidemia.
A comparação do modelo semi-mecanicista que usamos durante a epidemia com modelos nulos mais simples mostrou que o nosso modelo teve melhor desempenho com relação à calibração probabilística, e que isso teria sido identificado desde os primeiros estágios do surto.
Como as previsões se tornam uma parte rotineira do kit de ferramentas em saúde pública, os padrões para avaliação de desempenho serão importantes para avaliar a qualidade e melhorar a credibilidade dos modelos matemáticos e para elucidar dificuldades e trade-offs quando objetivando fazer as previsões mais úteis e confiáveis.
