Modelgebruik door het PBL: toelichting en positionering

Modelgebruik door het PBL

Het PBL voert analyses, evaluaties en verkenningen uit, zodat beleidsmakers bij hun besluitvorming rekening kunnen houden met feiten en inzichten over de staat van de leefomgeving en de effecten van het omgevingsbeleid. Om die kennis te structureren en te integreren gebruikt het PBL modellen om “te rekenen en te tekenen” en om “te tellen en te vertellen.” Veel van die modellen worden ontwikkeld en beheerd door het PBL zelf, en ook gebruikt het PBL modellen (en data) van anderen zoals rijkskennisinstituten, universiteiten en soms private partijen.

Onze leefomgeving bestaat uit complexe systemen die niet of moeilijk te doorgronden zijn zonder modellen. Modellen beschrijven hoe we denken dat die systemen in elkaar zitten en die (onderdelen van) de werkelijkheid soms ook op verantwoorde wijze versimpelen. De kennis die nodig is om die modellen vorm te geven komt voort uit wetenschappelijke studies, die weer andere methoden en technieken gebruiken, zoals metingen, experimenten, interviews, casestudies, scenariostudies of bestuurskundige analyses. Vervolgens kunnen we met dergelijke modellen op een systematische en navolgbare manier de te verwachten effecten, kosten en baten van beleidsmaatregelen berekenen. Dat kan door bepaalde parameters te variëren, of door elementen toe te voegen die de beleidsmaatregelen of andere externe factoren beschrijven. Deze berekeningen gaan altijd met onzekerheden gepaard, die we zo goed mogelijk proberen te beschrijven.

Modellen kunnen ook een gebrek aan meetgegevens ondervangen; het is immers onmogelijk om altijd en overal alles te meten. Of ze kunnen toekomstige situaties doorrekenen, waarvan uiteraard nog geen meetgegevens beschikbaar zijn. Zo kunnen modellen ‘gedachtenexperimenten’ uitvoeren door het toekomstige effect van verschillende beleidsopties door te rekenen en te vergelijken. Het is immers ondoenlijk en kostbaar – en soms zelfs onethisch – om al die opties in de werkelijkheid uit te proberen en de effecten daarvan in de toekomst te gaan meten¹.

De modellen van het PBL zijn wetenschappelijk onderbouwd qua ontwerp, aannamen, datagebruik en onzekerheden. Het PBL streeft er bovendien naar dat modellen openbaar en transparant zijn. Er kunnen bij uitzondering gegronde redenen (of zelfs wettelijke verplichtingen) zijn voor vertrouwelijkheid van (zakelijke of persoonlijke) gegevens. Zo kunnen er ook gegronde redenen zijn voor gebruik van modellen die in het bezit zijn van private partijen. Ook in deze gevallen blijft het belangrijk dat voor ieder model heel duidelijk is – zowel voor het PBL als voor de gebruikers – wat het precies doet en berekent, waarvoor het wél en níet kan worden gebruikt, en wat de resultaten wél en níet (kunnen) zeggen.

Beperkingen van modellen

Niemand weet hoe alle aspecten van de leefomgeving precies samenhangen en niemand kan perfect de toekomst voorspellen of weten hoe beleidsmaatregelen hierop zullen inwerken. Er is dus altijd sprake van een bepaalde mate van onzekerheid en beperkte kennis. Modellen zijn een zo goed mogelijke weergave en vastlegging van die beperkte kennis, naar de huidige stand van zaken in de wetenschap. Daarbij is het belangrijk dat modelleurs en modelgebruikers de beperkingen op toegankelijke wijze expliciet maken bij het presenteren van modelonderzoek. Transparantie over het verschil tussen een model en hoe wij denken dat de werkelijkheid in elkaar zit is cruciaal, en de onzekerheid daarover moet goed worden gecommuniceerd en uiteindelijk meegewogen in beleidsbeslissingen.

Een model is per definitie een vereenvoudiging van de werkelijkheid. Eenvoud is vaak ook de kracht van een goed model, omdat eenvoud bijdraagt aan flexibiliteit, transparantie, efficiëntie en meer algemene toepasbaarheid. Het is niet zinvol om complexiteit toe te voegen aan een goed, eenvoudig model, als de relevante conclusies op grond van een complexer model niet wezenlijk veranderen. Ook niet als de toegevoegde complexiteit een correctere weergave van de werkelijkheid zou zijn. Het beste model in beleidsonderzoek is het eenvoudigste model dat toereikend is voor een goed inzicht in de consequenties van beleidsrelevante veranderingen. De mate en de manier van vereenvoudiging hangen daarbij af van de toepassing. Een goede metafoor is een routekaart, waar niet alle details van het landschap op vermeld staan maar wel datgene wat nodig en voldoende is om met behulp van de kaart van A naar B te komen. Een wandelkaart geeft daarbij meer en andere details dan een wegenkaart.

Modellen werken altijd met aannamen, bijvoorbeeld omdat meetgegevens ontbreken, of omdat de modelleur onzekere externe factoren in de toekomst op waarde heeft moeten schatten, of omdat een complexe werkelijkheid moet worden teruggebracht tot een werkbare versimpeling. Soms zijn verschillende keuzes voor de aannamen mogelijk, terwijl de effecten op de uitkomsten groot kunnen zijn. Het is daarom belangrijk om gevoeligheidsanalyses te doen die aangeven wat het effect van verschillende aannamen op de uitkomst is, en om te reflecteren op de keuzes voor bepaalde aannamen. Ook moeten modellen worden gevalideerd, waarbij de geldigheid, robuustheid en nauwkeurigheid van een model wordt bepaald door het model toe te passen op andere data dan waarmee het is ontwikkeld.

Modellen produceren cijfers. Onderzoek laat zien dat mensen in veel gevallen geneigd zijn meer vertrouwen te hebben in de validiteit van cijfers dan in die van woorden. Het gebruik van modellen, vooral wanneer de resultaten cijfermatig worden beschreven, kan daarom schijnzekerheid wekken.

Mede vanwege deze beperkingen is het belangrijk dat het PBL werkt aan het bevorderen van ‘modelwijsheid’ bij gebruikers, om bij te dragen aan goed gebruik van modellen bij besluitvorming.

Kritiek op het gebruik van modellen

Regelmatig zien we dat er vanuit politiek en maatschappij kritiek wordt geuit op het gebruik van modellen voor beleid. Bijvoorbeeld omdat modellen te weinig transparant zijn, de gemaakte aannamen en onzekerheden onduidelijk zijn, en modellen te weinig rekening zouden houden met het gedrag van mensen en de dynamiek in de leefomgeving. Of omdat modelresultaten als absoluut en objectief worden gepresenteerd, waardoor beleidsbeslissingen op technocratische wijze tot stand komen en niet door middel van een politiek-maatschappelijke afweging, zoals dat in een goed functionerende democratie zou moeten gaan. Dit alles kan leiden tot de stelling dat modellen geen goede weergave vormen van de werkelijkheid. Maar modellen zijn nooit absoluut en objectief. Want door alle keuzes en aannames, die verborgen kunnen zitten in en achter de modellen, kunnen ze nooit volledig waardenvrij zijn. Hieraan wordt aandacht gegeven bij externe wetenschappelijke reviews en visitaties bij het PBL, maar het is ook zaak hierover in gesprek te gaan met experts, beleidsmakers en belanghebbenden.

Een ander kritiekpunt is dat modellen en modeluitkomsten gemakkelijk gebruikt (of misbruikt) kunnen worden voor politiek gewin, bijvoorbeeld door modeluitkomsten selectief te gebruiken en daarbij aannamen en onzekerheden niet te vermelden. De meeste onderzoekers van het PBL zijn zich daarvan bewust, maar ze kunnen dat uiteraard niet voorkomen. Dat ligt buiten hun invloedsfeer. Maar ze kunnen daar wel voor waarschuwen en het PBL vindt dat ze dat ook horen te doen. Dit is met name belangrijk wanneer modellen op een technocratische wijze worden ingezet, waarbij modeluitkomsten leidend worden voor (beleids)beslissingen, in plaats van ondersteunend aan het beleidsproces².

Tegelijkertijd zijn modellen ook ‘performatief’. Alleen al de keuze wát te modelleren kan beleidsmakers, bedrijven en burgers aanzetten tot handelen overeenkomstig het wereldbeeld dat in het model en de metingen zit verpakt³. Ook kunnen uitkomsten van modelanalyses reacties uitlokken die de uitgangssituatie van de berekeningen ontkrachten⁴. Op dit soort effecten is moeilijk te anticiperen, maar bewustwording en stimulering van discussie over dit fenomeen – zowel aan de kant van het PBL als aan de kant van gebruikers van modelresultaten – is een goede zaak.

Ook het kabinet-Schoof toonde zich tijdens de formatie kritisch op het modelgebruik door kennisinstellingen, inclusief de planbureaus. Het pleitte in het hoofdlijnenakkoord 2024-2028 voor openbaarheid en transparantie van modellen enerzijds en voor bijsluiters bij modellen – over aannamen, onzekerheden en gebruiksvoorschriften – anderzijds. Het PBL onderschrijft deze punten en werkt continu aan verbetering op dit vlak.

‘Modelwijsheid’ bevorderen

Het PBL wil bijdragen aan goed geïnformeerde beleidsbeslissingen, onder meer met kennis uit modellen. Om daarvoor te zorgen is het belangrijk dat niet alleen onderzoekers maar ook beleidsmakers en andere geïnteresseerden begrijpen wat de zeggingskracht van modeluitkomsten is en ook dat zij daar rekening mee te houden bij het gebruik en de interpretatie. Hieronder staat een aantal aanbevelingen over hoe modellen en modelanalyses kritisch te bevragen en te gebruiken.

• Bestudeer de motivatie waarom voor een bepaald model is gekozen en welke beperkingen daarbij horen.
• Het Competence Centre on Modelling and Decision Analysis, onderdeel van het Joint Research Centre van de Europese Commissie heeft in samenwerking met Sense about Science een reeks vragen opgesteld ─ over gebruikte data, gemaakte aannames, wetenschappelijke kwaliteit, transparantie en communicatie ─ die hierbij als leidraad kunnen dienen.
• Vraag je af of het model geschikt is voor de beoogde toepassing. Overweeg bij twijfel om daarover meer informatie in te winnen bij de betrokken onderzoekers die goed weten wat de kracht en beperkingen zijn van het model. Het PBL beoogt daarom ook duidelijk te zijn over de geschikte toepassingen van een model. Idealiter kent ieder PBL-model een bijsluiter of verantwoording, waarin duidelijk wordt aangegeven waarvoor het model wél en níet is bedoeld.
• Ga na of de kwaliteit van een model goed geborgd is, bijvoorbeeld door wetenschappelijke publicaties over een model, of omdat het model regelmatig extern wordt geëvalueerd, of door validatieonderzoek van de uitkomsten. Het PBL hanteert daartoe een normenkader van kwaliteitsstandaarden waaraan alle gebruikte modellen moeten voldoen. Ook andere kennisinstituten hebben hiervoor richtlijnen.
• Verdiep je in de onzekerheden van een model. Zijn deze beschreven, kwantitatief en/of kwalitatief? Bij een onzekerheidsbandbreedte; is de bandbreedte van de uitkomsten breed of smal? Past dat bij de beoogde toepassing? Als onzekerheden groot zijn dan kan het gepast zijn om eerst meer onderzoek te doen, al is dat niet altijd mogelijk, omdat tijdige beslissingen in beleid ook van groot belang zijn. Over onzekerheden in modelanalyses wordt in beginsel altijd gerapporteerd en/of gereflecteerd in PBL-rapporten.
• Weeg onzekerheden in modeluitkomsten mee bij besluiten, bijvoorbeeld door te bespreken welke kansen op bepaalde uitkomsten wel of niet aanvaardbaar zijn. Soms wil je een bepaald doel met een bepaalde zekerheid halen, of juist bepaalde uitkomsten te allen tijde voorkomen, ook al is de berekende kans daarop klein. Het PBL probeert zulke afwegingen mogelijk te maken door – waar dat kan en relevant is – de kans op bepaalde uitkomsten te kwantificeren, of anders kwalitatief te bespreken.
• Bedenk dat sommige informatie die niet goed gekwantificeerd kan worden, mogelijk niet goed tot zijn recht komt in de uitkomsten van een model. Wanneer dat zo is, wordt dat indien relevant benoemd in PBL-rapporten. Deze kwalitatieve informatie kan dan eveneens meegewogen worden bij besluitvorming.
• Denk aan ethische aspecten. Bijvoorbeeld of (on)voldoende rekening wordt gehouden met bescherming van persoonsgegevens, of dat het gebruik van het model en de uitkomsten tot mogelijk nadelige effecten leiden voor kwetsbare groepen in de leefomgeving.
• Heb een scherp oog voor de kwaliteit en de bruikbaarheid van de gebruikte data⁵: bijvoorbeeld, zijn de data geschikt voor de beoogde toepassing en representatief voor de situatie, zijn de data voldoende actueel en nauwkeurig, en wat is de variatie en onzekerheid van de data?

1 Een voorbeeld: de KEV-modellen rekenen trends in emissies van broeikasgassen in Nederland voor de komende jaren door voor verschillende beleidsmaatregelen, en bezien of de klimaatdoelen voor 2030 binnen bereik zijn. Uiteraard gaan die berekeningen met allerlei onzekerheden gepaard. Daarvan wordt eveneens een analyse gemaakt, inclusief bandbreedtes waarbinnen die emissies zich zeer waarschijnlijk gaan bewegen, en inclusief een kansverdeling voor doelbereik door het beleid.

2 Een voorbeeld is de coronacrisis, toen maatregelen voor een belangrijk deel werden genomen op grond van modelanalyses, zonder dat duidelijk was waar deze precies op gebaseerd waren en zonder dat een goede politiek-maatschappelijke discussie plaatsvond waarin ook andere dan epidemiologische aspecten werden meegewogen.

3 Zie bijvoorbeeld de te verwachten koopkrachteffecten bij het doorrekenen van verkiezingsprogramma’s, waar politieke partijen op anticiperen met beleidsopties die gunstig uitpakken binnen die koopkrachtplaatjes maar die niet noodzakelijkerwijs representatief zijn voor de gehele bevolking.

4 Een ander voorbeeld is dat prijzen van goederen en diensten door marktpartijen worden aangepast om te profiteren van eerdere, met modellen berekende ‘optimale’ subsidie- of belastingmaatregelen.

5 Zie bijvoorbeeld ook de Guidance for Data Quality Assessment van de US Environmental Protection Agency.