Waar het bij fysieke experimenten gebruikelijk is om bij de gemeten waarden foutbalken te laten zien, ontbreekt bij de voorspellingen van computermodellen vaak een mate van onzekerheid. Dit ondanks het feit dat zulke modellen onmiskenbaar onzeker zijn, en gebruikt worden bij besluitvorming op hoog niveau. Het onderzoeksteam stelt dat berekende voorspellingen zonder foutbalken een zeer onvolledig beeld kunnen schetsen. Dit hebben zij aangetoond in een recente studie met een computermodel dat wordt gebruikt voor het evalueren van COVID-19-interventiescenario's.

De studie werd uitgevoerd in het kader van het VECMA-project, een EU Horizon 2020 onderzoeks- en innovatieprogramma. CWI-onderzoeker Wouter Edeling, eerste auteur van het artikel, is specialist in het kwantificeren van modelonzekerheden. Hij maakte een deel van de software voor de VECMA toolkit. Dit werd gebruikt om een onzekerheidskwantificatietechniek (UQ) te koppelen aan het bekende epidemiologische ‘CovidSim’-model van Neil Ferguson van Imperial College in het Verenigd Koninkrijk, en aan gegevens uit het VK uit 2020. Naast Edeling waren onder anderen Daan Crommelin (CWI en UvA) en Peter Coveney (UCL en UvA) betrokken bij de studie.

'De vloek van de dimensionaliteit'

‘Voor modellen met een groot aantal parameters zoals CovidSim, is het erg moeilijk om te bestuderen welk effect onzekerheden in de inputparameters hebben op onzekerheden in de output’, legt Edeling uit. ‘Het hebben van veel parameters betekent dat de rekenkosten buitensporig hoog zullen zijn - vaak aangeduid als de ‘vloek van dimensionaliteit’. We onderzoeken hoe we de berekeningen zo efficiënt mogelijk kunnen uitvoeren, door uit te zoeken welke parameters het belangrijkst zijn voor de onzekerheden in de output. Door te focussen op deze parameters wordt het mogelijk om goede kansvoorspellingen te doen, die door overheden kunnen worden gebruikt bij hun beslissingen.’

De nieuwe methoden zijn erg effectief. Bij het testen van de robuustheid van CovidSim ontdekte het onderzoeksteam dat, hoewel de code 940 parameters bevatte, er 60 belangrijk waren, en dat er daarvan slechts 19 de variantie in de outputvoorspellingen domineerden. De helft van de totale variatie in hun resultaten was terug te voeren op slechts drie van de 940 invoerparameters: de latentietijd van de ziekte (de tijd tussen besmetting en besmettelijkheid), de tijd die een geïnfecteerde nodig heeft om zichzelf te isoleren, en de doeltreffendheid van social distancing. Terwijl de latentietijd een biologische parameter is, houden de andere twee (en nogal wat andere parameters die invloedrijk waren) verband met de interventiescenario's en het menselijk gedrag. Hoewel ze een moeilijke modelleringstaak vertegenwoordigen, kunnen deze parameters (en de verschijnselen die ze modelleren), in tegenstelling tot de biologische aspecten, worden beïnvloed door het overheidsbeleid.

Crommelin: ‘Het is belangrijk om de onzekerheden van computersimulaties en modelvoorspellingen te kennen. Niet alleen voor simulaties van de pandemie maar ook bijvoorbeeld in milieustudies, weer- en klimaatmodellering, of economie. Het kan verleidelijk zijn om je te richten op één voorspelling of één simulatie-uitkomst, maar het kan juist ook heel relevant zijn om te zien hoe breed het scala aan mogelijke uitkomsten is.’

Partners

Het onderzoek is uitgevoerd door onderzoekers verbonden aan het CWI, University College London (UCL), de Universiteit van Amsterdam, Brunel University London en het Poznan Supercomputing and Networking Centre in Polen. Het werk werd gefinancierd als onderdeel van het EU Horizon 2020 onderzoeks- en innovatieprogramma (VECMA-project # 800925, www.vecma.eu).

Publicatiegegevens

Wouter Edeling, Hamid Arabnejad, Robbie Sinclair, Diana Suleimenova, Krishnakumar Gopalakrishnan, Bartosz Bosak, Derek Groen, Imran Mahmood, Daan Crommelin en Peter V. Coveney: ‘The Impact of Uncertainty on Predictions of the CovidSim Epidemiological Code’, in: Nature Computational Science (22 februari 2021). https://doi.org/10.1038/s43588-021-00028-9