Kan AI al beleid maken?

Ik kreeg de vraag, laatst, van iemand die heel veel beleidsmakers aanstuurt: kan AI al beleid maken? Het was een relevante vraag. Helemaal vanuit zijn positie. Het is bijna een existentiele vraag, als je zoals ik en mijn collega’s beleid maakt over AI*. Ik bedoel: hoe meta kun je het maken?

Het antwoord dat ik gaf was: nee. Nog niet. Voorlopig niet. Maar er zijn wel dingen die je al kunt uitbesteden aan AI-toepassingen. Of al bijna.

Met behulp van AI kun je bijvoorbeeld al vrij goed documenten vergelijken. Je kunt bijvoorbeeld wetsteksten analyseren, naast elkaar leggen en zien wat er outdated is of misschien zelfs elkaar tegenspreekt. Je kunt checks laten doen om te kijken of je alle elementen van een contract hebt gedekt. Je kunt twee documenten naast elkaar leggen en een AI-toepassing laten vertellen waar de afwijkingen zitten. Op zichzelf best handig, ook voor beleidsmakers.

Je kunt ook verder gaan. Een slim AI-model zou alle kamer (of gemeenteraads-, etc) brieven en debattranscripties van de afgelopen jaren, over een onderwerp, kunnen gebruiken als input voor de volgende die je moet schrijven. Misschien zelfs al wel patronen zien. Voorstellen doen voor verbetering van je documenten. Zeker al met tekstsuggesties komen voor het beantwoorden van vragen die de Tweede Kamer stelt (en beleidsmakers moeten beantwoorden). Je zou als politicus in het kader van democratische controle ook ChatGPT kunnen gebruiken om vragen te bedenken of formuleren.

De vraag is hoe onze democratie er uit ziet, als de politiek haar democratische controletaak invult door vragen stellen die gemaakt zijn door AI-applicaties en de ambtenaren (vaak beleidsmakers) vervolgens antwoord geven door AI-systemen om antwoorden te vragen. Maar los daarvan zie ik nog wat andere uitdagingen.

1 Realiseren mensen zich wat er nog niet kan? Of: automation bias.

Een van de grote problemen is dat gebruikers zich niet realiseren wat er al wel en wat er niet kan. En wat er wel en niet klopt. We hebben de neiging om te geloven dat klopt, eerlijk en goed is, omdat het uit een computer komt.

Er is een mooi woord voor het enorme vertrouwen dat mensen hebben in machines: automation bias.

In de woorden van Wikipedia: “Automation bias is the propensity for humans to favor suggestions from automated decision-making systems and to ignore contradictory information made without automation, even if it is correct.”

Tot mijn grote schrik raak ik sinds de introductie van ChatGPT verzeild in discussies met familieleden als ik probeer uit te leggen dat je niet zo maar af mag gaan op wat deze tool aangeeft. Dat het systeem geen kennis heeft van de wereld en alleen het volgende woord kan voorspellen – zonder link met de werkelijkheid of met feiten.

Dat niet iedereen dit weet of dat mensen een andere afweging maken, zie ik overal om me heen. In belangrijke stukken tekst, zoals nieuwsberichten. Teksten die plausibel lijken en op het eerste gezicht zelfs slim klinken, omdat ze intelligent klinkende woorden gebruiken. Maar feitelijk – bij tweede lezing – totaal nietszeggend zijn. Met alle gevolgen vandien.

2 Klopt de data waarop het AI-systeem zich baseert?

Een AI-systeem is getraind op een grote hoeveelheid data. Daarna gooi je je vraag er in en voorspelt het model wat het volgende stapje is, of de uitkomst.

Het probleem is dat de data alles bepalend is. En zolang je niet weet of de data waarmee het systeem getraind is correct was, weet je ook niet of de uitkomsten goed zijn.

Er is een bekend voorbeeld van Amazon, waarbij geprobeerd werd op basis van het bestaande personeelsbestand en/of oude sollicitaties de vele binnekomende sollicitaties te beoordelen. Maar omdat in de voorgaande jaren vooral mannen hadden gesolliciteerd op technische functies, gaf het systeem voor technische functies nog steeds de voorkeur aan mannen. Vrouwelijke kandidaten belandden onderaan de lijst en werden niet voorgesteld. Zo zijn ook wel eens patronen gevonden in soortgelijke systemen waarbij mensen met niet-Westerse achternamen uit de lijst met kandidaten gefilterd werden.

Meer recent waren er voorbeelden van tools waarmee je afbeeldingen maakt, waarbij de prompt ‘dokter’ altijd een witte man opleverde. Of een app waarmee je profielafbeeldingen kon maken op basis van een paar van je eigen foto’s, waarbij vrouwen van Aziatische afkomst altijd afgebeeld werden in bijna pornografische poses en kleding. De trainingsdata van deze systemen bevatte het halve internet aan afbeeldingen, en het internet heeft zo zijn eigen vooroordelen.

Je kunt, kortom, een systeem pas toepassen als beleidsmaker als je zeker weet dat het de juiste waarden vertegenwoordigt en daarop gecheckt is.

3 We weten niet wat er niet staat

Als je je baseert op de uitkomsten van een vraag aan een AI-tool als ChatGPT, ben je dan volledig? Het antwoord is (denk ik): nee. En als beleid maken iets makkelijks was, was dat misschien niet erg. Maar bij het maken van beleid draait het altijd om een afweging van belangen. Het gaat om het in kaart hebben van alle aspecten en de subtiele schakeringen van een standpunt. De keuze van de richting, en het belang dat wordt gehecht aan alle verschillende uitkomsten, ligt bij de politiek. Maar als beleidsmaker moet je het totaalplaatje in beeld hebben.

Stel dat ik een beleidsvraagstuk in ChatGPT zou zetten en een plausibel antwoord zou krijgen. Lekker snel, scheelt denkwerk en vooral veel tijd. Maar wat ik dan niet weet, is wat er niet in de uitkomsten zit. Ik weet niet wat het systeem heeft bedacht maar verworpen, welke keuzes het systeem heeft gemaakt en welke informatie niet is meegenomen. En erger nog: het systeem zelf kan dat ook niet uitleggen.

Tel daarbij op die automation bias: tel uit je winst.

4 Een systeem baseert zich op wat er al was

Beleid gaat vaak over de toekomst. Over scenario’s die lastig zijn te voorzien, of scenario’s die heel ver weg leken maar waar we wel op voorbereid moeten zijn.

Een systeem dat zich baseert op alles wat er al was – op historische data – zal altijd moeite houden om te voorspellen wat er zou kunnen gebeuren. Om buiten die paden te treden.

Het kan misschien nieuwe patronen ontdekken (bijvoorbeeld nieuwe medicijnen of chemische verbindingen). Maar de vraag is of het kan voorspellen wat er nodig is. Of dat je daar toch de menselijke visionairs voor nodig hebt.

5 De mens is meer dan data

Soms lijkt het alsof we alles kunnen meten en zien. Als je maar overal camera’s ophangt, kan er geen criminaliteit meer zijn. Als je je gezondheid maar doormeet, kom je niet voor verrassingen te staan. Als je maar goed meet wat mensen online doen, kun je voorspellen of en wanneer ze je wasmachine gaan kopen.

Maar is dat echt zo?

Toen ik me nog bezig hield met online marketing verbaasde ik me vaak over het bijna regligieuze geloof in cijfers. Het geloof dat de data compleet genoeg is, dat de data klopt, dat alles meetbaar is, dat niemand de data disrupt (al dan niet opzettelijk), dat menselijk gedrag altijd voorspelbaar is en data systemen begrijpen waarom mensen doen wat ze doen.

Maar mensen zijn meer dan data. Ze zijn een stukje magie. Ze worden beinvloed door hun fysieke omgeving en hun individele ervaringen, hun interactie met mensen op een fysiek niveau, alles wat ze tot nu toe hebben gezien, geroken en gehoord.

Je kunt best veel voorspellen. En je kunt beste grote lijnen zien of mensen indelen in grote groepen.

Misschien niet direct van belang bij het maken van beleid, maar misschien ook wel. De mensenlijke toets en de menselijke maat…vrij belangrijk.

Beleid maken met AI? Slimme tools zouden heerlijk zijn

Er zijn veel taken waar ik als beleidsmaker hulp bij zou kunnen gebruiken.

Het lijkt me heerlijk om tekstsuggesties te krijgen die slimmer zijn dan de spellingscheck van Word. Om een systeem te gebruiken dat makkelijk in mijn bestaande nota’s en stukken en kamerbrieven duikt om suggesties aan te reiken.

Het zou toch lekker zijn als ik tegen de computer kon roepen: “Wat hebben we in de kamerbrief van december 2024 gezegd over algoritmes?” of “Wat zei het rapport van de WRR uit 2021 over geopolitiek?” en de computer laat het me direct zien. Het is allemaal niet heel ingewikkeld werk, maar het kost veel tijd.

Ik wil graag een AI-systeem dat een lang beleidsstuk scant en komt met suggesties voor een betere structuur, een missende opsomming, aangeeft waar de logica mist. En dan ook graag een systeem dat onderzoeksdata combineert om tot goede analyses te komen of opvallende patronen uit te lichten.

Een AI-systeem dat me helpt om mijn inbox te organiseren, maar dan écht intelligent. Dat begrijpt welke emails in welke mapjes moeten, ook al bevatten ze bepaalde zoektermen niet. Waar ik tegen kan praten zodat het direct vindt wat ik zoek. Of dat stukken kan samenvatten waar ik niets van begrijp (Europese verordeningen, bijvoorbeeld, mits het echt niets belangrijkst mist).

Een systeem dat signaleert dat ik iemand vergeet uit te nodigen bij een vergadering, direct een ruimte boekt (en weet in welk gebouw en op welke etage ik graag een ruimte wil). Een hele slimme assistent lijkt me lekker.

Sowieso, het kunnen praten tegen je computer vol documenten en emails om dingen op te zoeken en vervolgens gedaan te krijgen zou heerlijk zijn.

AI-technologie kan ons mooie dingen brengen waar we ongetwijfeld al heel snel afhankelijk van gaan worden.

Maar beleid maken? Dat blijft voorlopig denk ik nog mensenwerk.

* In mijn geval gaat het om het maken van beleid vanuit de overheid

Foto bovenaan: Javier Allegue Barros