Blog Bianca van Venrooij

Bianca van Venrooij, sinds mei 2012 Interim Professional bij Vanberkel Professionals, is gefascineerd door de wijze waarop mensen een beslissing nemen. Iedereen doet dat op een andere manier. Hierover schrijft Bianca in haar blog.

                                   ‘Oordelen, bias en ruis’

Bianca van Venrooij, sinds mei 2012 Interim Professional bij Vanberkel Professionals, is gefascineerd door de wijze waarop mensen een beslissing nemen. Iedereen doet dat op een andere manier. Opvallend daarbij is dat mensen in dezelfde casus óók verschillend oordelen (ruis). Accountants en auditors nemen meerdere keren per dag een beslissing en geven regelmatig een oordeel.Dit oordeel is volgens de literatuur een ‘evaluerend oordeel’ (een oordeel over bestaande gegevens niet kijkend naar de toekomstige mogelijkheden). Als accountants en auditors mogen wij onze zo gewaardeerde ‘professional judgment’ op deze oordelen toepassen. Deze kennen veel ruis. Wat is de oorzaak, in hoeverre is dit een te groot risico, in hoeverre is dit een te accepteren situatie en hoe kun je de risico’s verkleinen. Hierover schrijft Bianca in haar blog.

“Valt het je tijdens je werk ook op dat iedereen op een andere manier een beslissing neemt en dat jij bij een bepaalde casus tot een andere uitkomst komt dan een collega? Ikzelf ben veel betrokken bij het beoordelen van verstrekte subsidies dan wel bij complexe vraagstukken die te maken hebben met subsidies. Hierbij zijn er veel overlegstructuren en uiteraard wordt er gebruik gemaakt van de welbekende vastleggingsmemo’s en werkinstructies. Toch heb ik al vaak gemerkt dat, zeker als het om de in onze ogen meer ingewikkelde zaken gaat, we tot verschillende besluiten of oordelen komen. Net als wanneer je bijvoorbeeld een taxatie laat doen van je woning, de verschillende taxateurs tot andere waardes komen, die ook nog eens best ver uit elkaar liggen! Herken je dat? Bijzonder toch?

Ik heb mijn collega’s op verschillende momenten tot verschillende conclusies zien komen, terwijl het eigenlijk soortgelijke casussen zijn. Fascinerend. Soms betreft het zelfs dezelfde casus die opnieuw voorbijkomt, omdat we er de eerste keer nog niet helemaal goed uitgekomen waren. Dit is heel storend, omdat je het gevoel hebt dat je weer helemaal opnieuw begint. Je had het idee dat je consensus bereikt had met elkaar en dan blijkt …..'jammer zeg’, toch niet.

Wat ik ook geregeld tegenkom bij het beoordelen van verstrekte subsidies (waarbij andere mensen hun oordeel hebben gegeven of een subsidie wel of niet verstrekt mag worden) is het verschil tussen de verschillende mensen die het invullen. Uiteraard ervaar ik dit vanuit mijn eigen perceptie, het is mijn blik als mens en als auditor.

Daarnaast heb je te maken met het gegeven dat mijn collega's die dezelfde beoordelingen doen, verschillende kwaliteiten hebben. Ik weet inmiddels, omdat ik hen aanstuur, wie van welke onderwerp veel verstand van zaken heeft en wie van dat specifieke onderwerp minder kennis heeft. Dat maakt ook dat zij een ander oordeel geven over dezelfde casus.

Oordelen, bias en ruis

Mensen vinden het belangrijk dat, zéker als het gaat om subsidies, in het subsidie beoordelingsproces in gelijke situaties ook gelijk gehandeld wordt en toch lijkt het niet altijd zo te zijn. Maar wáárom eigenlijk?

Ik wist het eigenlijk niet. Nou ja, eigenlijk had ik wel een (voor)gevoel maar ik had er nog nooit over gelezen, totdat mijn oog viel op een artikel In het FD van Erica Verdegaal met de titel: Leer jezelf een ander perspectief aan. Hierin wordt gerefereerd aan een recent verschenen boek van Daniel Kahneman, Olivier Sibony en Cass R. Sunstein genaamd Ruis – Waarom we verkeerde beslissingen nemen en hoe we dat kunnen voorkomen.

Een geweldig boek, écht waar. Ik ben het met veel interesse gaan lezen omdat ik het  frustrerend vind dat er blijkbaar iets bestaat als ‘ruis in onze beslissingen’ en ik daar vaak mee te maken heb.

De schrijvers van het boek geven in eerste instantie aan dat dit komt door bias en ruis.

Bias is een (bekende) term waar al veel onderzoek naar gedaan is. Er zijn verschillende vormen die ons beslissingsproces niet altijd positief beïnvloeden en dus is er aandacht voor in de literatuur.

In de bestaande literatuur is er ook wel aandacht voor ruis, maar dit is nog zeer beperkt. Dit boek geeft daar een mooie verdere invulling aan.
Ruis wordt gedefinieerd als ongewenste variabiliteit in oordelen over hetzelfde probleem. Ruis wordt vervolgens onderverdeeld in:

-        Niveau ruis (of level noise), variabiliteit in het gemiddelde beoordelingsniveau van verschillende beoordelaars;

-        Patroon ruis (of pattern noise), variabiliteit in hoe verschillende beoordelaars reageren op bepaalde zaken;

-        Gelegenheid ruis (of occasion noise), variabiliteit in de oordelen van de beoordelaar zelf in gelijke situaties.

Er worden 2 soorten oordelen beschreven:

-        Voorspellende oordelen: Wat zal er gebeuren

-        Evaluerende oordelen: Wat is er gebeurt en is dit juist/goed/nodig

Als auditor maak je vooral evaluerende oordelen. Oordelen op basis van bestaande gegevens en hierbij oordelen of deze juist zijn of dat de juiste keuze is gemaakt.  

Toepassingen

Het is voor het subsidieproces (en voor andere financiële processen) interessant om te weten hoe bias en ruis effect hebben op de keuzes die we maken. Ik ben van oorsprong opgeleid als registeraccountant en als er een term is waar registeraccountants trots op zijn dan is het de term ‘professional judgement’. Wetenschap heeft echter aangetoond dat professional judgement -door mensen- vol zit met ruis en bias. Ja dus ook die van accountants, jammer hé….

Een groot deel van het boek is verder gewijd aan de uitgebreide beschrijvingen van de soorten oordelen, de soorten bias en ruis en diverse andere onderwerpen die leiden tot de uiteindelijke mogelijk acties die men kan ondernemen om ruis te verminderen.

Ruis helemaal wegnemen is niet het uiteindelijke doel. Een deel ruis wordt zelfs als nuttig gezien. Zonder ruis ontstaat er namelijk ook geen mogelijkheid tot bijvoorbeeld nieuwe ideeën en meningen, of tot competitie. Grappig weetje toch?

Ik vroeg mij af: “Welke mogelijkheden zijn er dan om ruis te verminderen naar een acceptabel niveau?” Dit kunnen de volgende opties zijn:

1. Het verminderen van bias door gebruik te maken van een beslissingswaarnemer. Deze is real time aanwezig bij situaties waar oordelen worden geveld en dus bias kan optreden. De beslissingswaarnemer maakt hierbij gebruik van een checklist (specifiek gemaakt voor het soort oordeel). Minder bias is minder ruis!
2. Het toepassen van ‘oordeelshygiëne’ (In het boek wordt de vergelijking gemaakt met handen wassen. Je weet dat hiermee bacteriën worden vermeden, maar je weet niet welke. Het is strijden tegen een ongeziene en onbekende vijand). Belangrijk hierbij is:

o   Het doel van oordeel is nauwkeurigheid, niet individuele expressie. Dit kan bijvoorbeeld worden bereikt door het toepassen van algoritmen die oordelen i.p.v. mensen. Het is echter vooralsnog niet denkbaar dat dit echt gaat plaatsvinden. Algoritmen ondersteunen wel, maar het eindoordeel vindt nog door mensen plaats. Er kan wel verbetering optreden door duidelijke oordeelsrichtlijnen.

o   Denk statistisch en bekijk de zaak van buitenaf. Aandacht voor het brede scala aan resultaten uit het verleden en voor hun beperkte voorspelbaarheid zou besluitvormers moeten helpen hun vertrouwen in hun oordeel te ijken. Zoek dus naar (statistische) informatie die betrekking heeft op het onderwerp waarover een oordeel dient te worden gegeven.

o   Oordelen structureren in verschillende onafhankelijke taken. Het ‘verdeel en heers’ - principe. Dit verkleint het risico op overmatige samenhang (excessive coherence). Dit is het fenomeen waarbij informatie wordt genegeerd of veranderd, zodat het bij een vooraf bepaalde visie past. Voorgestelde werkwijze is het protocol voor bemiddelende vergaderingen (mediating assesments protocol).
Zie  kader verderop in deze blog.

o   Weerstaan van bestaande intuïtie. Een intuïtieve keuze die is gebaseerd op een evenwichtige en zorgvuldige overweging van het bewijs is veel beter dan een snel oordeel. Aanbeveling hierbij is om de informatie volgordelijk te maken. Professionals die een oordeel vellen, mogen geen informatie krijgen die ze niet nodig hebben en die hen kan bevooroordelen.

o   Onafhankelijke oordelen verkrijgen van meerdere beoordelaars en dan overwegen om die oordelen samen te voegen.

o   Geef de voorkeur aan relatieve oordelen en relatieve schalen.

Wat is nieuw

Nadat ik dit had gelezen en het op mij had laten inwerken dacht ik eerst: “Maar wat is hier ánders aan?” Het volgende is anders:

1. Aan het begin van het proces de beslissing structureren in de beoordelingen;
2. Ervoor zorgen dat bij de beoordelingen waar mogelijk een blik van buitenaf wordt gebruikt;
3. In de analytische fase (punt 3 in het kader) de beoordelingen zo onafhankelijk mogelijk van elkaar houden;
4. De beslisvergadering bekijkt elke beoordeling apart;
5. Zorg er bij elke beoordeling voor dat deelnemers individueel hun oordeel vellen. Gebruik van de inschatten-overleggen-inschatten methode;
6. Om de uiteindelijke beslissing te nemen stel je intuïtie uit, maar verbied je het niet.

Wanneer ruis niet verminderen

Oké, nu hebben we tools gekregen om ruis te verminderen maar we hebben ook begrepen dat ruis nuttig kan zijn. Er kunnen dus situaties zijn waarin ruis niet kan of niet mag worden verminderd. Voorbeelden van deze situaties zijn:

1. De kosten wegen niet op tegen de baten;
2. Sommige methoden om ruis te verminderen hebben ongewenste neveneffecten. Er kan bijvoorbeeld bias ontstaan en dat wil je ook niet;
3. Om mensen het gevoel te blijven geven dat ze worden behandeld met respect en waardigheid is (een beetje) ruis noodzakelijk;
4. Ruis kan essentieel zijn voor het laten ontstaan van nieuwe waarden en inzichten om zo bijvoorbeeld morele en politieke evolutie mogelijk te maken;
5. Sommige methoden om ruis te verminderen kunnen opportunistisch handelen aanmoedigen en dat wil niemand aanmoedigen;
6. In sommige processen kan ruis een afschrikmiddel zijn. Als mensen weten dat er een variatie aanwezig is in bijvoorbeeld een straf na een misdaad, zullen ze eerder nadenken voordat ze deze misdaad begaan dan wanneer de straf voor deze misdaad altijd gelijk is. De onzekerheid die ruis meebrengt zal voor veel mensen een preventieve werking hebben;
7. Mensen willen niet worden behandeld als dingen of machines. Sommige methoden om ruis te verminderen kunnen tegenstrijdig zijn met het belang van mensen om creatief te zijn. Dus eigenlijk om mens te zijn en je een mens te voelen.

Conclusie

Ik heb het boek met veel plezier gelezen. Toegegeven, soms was het wel een worsteling (voor mij), omdat het veel wetenschap en statistiek beschrijft. Ik ben zeker van plan enkele theorieën toe te gaan passen. Ikzelf ben vooral erg geïnteresseerd in de ‘oordeelshygiëne’ en de methode van het protocol voor bemiddelende vergaderingen. Deze heb ik hierboven dan ook extra aandacht gegeven.

Zo denk ik, bij een groep van ongeveer 6 experts, aan de volgende punten voor  situaties waarin we de complexe casussen bespreken:

-        De casus opdelen in enkele deelbeoordelingen. Dit zal per casus mogelijk verschillen, maar het is wel mogelijk om een basislijst te maken met onderwerpen die per casus dan specifiek kunnen worden gemaakt.

-        De deelbeoordelingen door verschillende medewerkers laten uitwerken voor zover mogelijk, want het team is klein.

-        De groep met experts verzoeken om iedere deelbeoordeling vooraf goed voor te bereiden aan de hand van de uitwerkingen.

-        In het beslisoverleg de deelbeoordelingen individueel en onafhankelijk behandelen en hierbij de experts vragen deze bij de start te voorzien van een score.

-        De deelbeoordelingen bespreken en daarna de experts opnieuw laten scoren. Hierbij een collega die géén onderdeel uitmaakt van de groep experts de scores laten verzamelen en middelen tot eindscores.

-        Als laatste een overall oordeel vellen waarbij we dan eindelijk onze intuïtie mogen gebruiken.

Ik ben benieuwd of het mij en het team nieuwe (positieve) inzichten zal brengen waarna het beoordelingsproces rondom de complexe casussen minder ruisgevoelig zal zijn. Wat gaan júllie doen?”