Het is een lome woensdagavond in Amsterdam. Het werk zit erop, mijn nieuwste boek is uit, toonladders spelen op de piano trekt me niet en met een zak M&M's op de bank naar de nieuwste serie kijken evenmin. Een mooi moment dus om wat te lezen en enkele gedachten over intelligentie op papier te zetten.

Het kunstwerk is van Manoloide. Meer werk is te zien op SuperRare.

Wie aan kunstmatige intelligentie werkt, loopt vroeg of laat tegen dezelfde vraag aan: wat bedoelen we eigenlijk met intelligentie? Wat proberen we te modelleren, en kan dat überhaupt als het begrip zelf zo lastig af te bakenen is? Tijdens de Dartmouth-workshop van 1956 vertrokken de grondleggers van het vakgebied vanuit een ambitieus idee: aspecten van leren en intelligentie zouden zo precies te beschrijven zijn dat een machine ze kon nabootsen.

In deze blogpost schets ik in vogelvlucht hoe er de afgelopen eeuw over intelligentie is gedacht. Daarbij gebruik ik Bots and Beasts van filosoof Paul Thagard als leidraad. Vervolgens kijk ik via het Dunning-Kruger-effect naar een hardnekkig probleem: onze neiging om onze eigen deskundigheid verkeerd in te schatten. Want hoe beoordelen we intelligentie als onze zelfbeoordeling zelf al feilbaar is?

In 1904 onderzocht psycholoog Charles Spearman de samenhang tussen prestaties op verschillende cognitieve taken. Mensen die op één onderdeel hoog scoorden, bleken vaak ook op andere onderdelen bovengemiddeld te presteren. Spearman vatte die gedeelde factor samen als algemene intelligentie, oftewel g. Denk aan lichamelijke fitheid: een profvoetballer is niet automatisch een goede tennisser, maar conditie en coördinatie geven wel op meerdere sporten een voorsprong. Later werd het beeld breder. Raymond Cattell maakte bijvoorbeeld onderscheid tussen vloeibare intelligentie, het vermogen om nieuwe problemen op te lossen, en gekristalliseerde intelligentie, de kennis en vaardigheden die we in de loop van ons leven opbouwen. Door ontwikkelingen in de psychologie en neurowetenschappen werd intelligentie steeds minder een enkel getal en steeds meer een verzameling samenhangende vermogens.

In Bots and Beasts: What Makes Machines, Animals and People Smart? vergelijkt Paul Thagard intelligentie bij dieren, mensen en machines. Hij bouwt daarbij voort op een eenvoudige manier van begrippen vormen die hij ontleent aan psycholoog Greg Murphy:

  • bekijk uiteenlopende voorbeelden van intelligent gedrag
  • zoek naar kenmerken die in die voorbeelden terugkeren
  • en beoordeel wat het begrip daarmee wel en niet verklaart

Volg je die route, dan kom je vanzelf uit bij een aantal herkenbare kenmerken. Neem bijvoorbeeld een van mijn helden: Esther Perel.

Wat maakt haar intelligent? Ze beschikt over diepgaande vakkennis en veel ervaring, maar weet die tijdens therapiesessies ook om te zetten in scherpe waarnemingen. Vervolgens communiceert en handelt ze op basis daarvan op een manier die begrijpelijk en herkenbaar is voor mensen zonder academische achtergrond in de psychologie.

Thagard komt via deze benadering uit op de volgende kenmerken:

  • Waarnemen
  • Problemen oplossen
  • Plannen
  • Beslissen
  • Begrijpen
  • Leren
  • Abstraheren
  • Creëren
  • Redeneren
  • Voelen
  • Communiceren
  • Handelen

Een deel van deze lijst spreekt voor zich; andere kenmerken vragen om uitleg. Een ervaren politieagent kan bijvoorbeeld uitblinken in waarneming: subtiele signalen in de omgeving opmerken, relevante details van ruis onderscheiden en snel bepalen waar aandacht nodig is.

Handelingsvermogen hoort bij mensen die aanvoelen wanneer het overleg genoeg heeft geduurd en er iets moet gebeuren. De intelligentie zit niet alleen in daadkracht, maar ook in het oordeel wanneer ingrijpen verstandig is en wanneer juist niet.

Ook emotionele intelligentie is moeilijk weg te denken. We leven en werken voortdurend met andere mensen; het vermogen om in dat sociale domein problemen op te lossen kan minstens zo belangrijk zijn als het oplossen van een wiskundepuzzel. Daarbinnen kun je weer onderscheid maken tussen sociale vaardigheid, empathie en zelfregulering. Het zijn stuk voor stuk vermogens die in één algemene IQ-score nauwelijks tot hun recht komen.

Daar komt collectieve intelligentie bij: het vermogen van een groep om samen meer te zien of op te lossen dan ieder afzonderlijk. Zwermgedrag bij bijen en vogels is daar een fascinerend voorbeeld van. Ook in menselijke teams kan gezamenlijk denken buitengewoon krachtig zijn. Ik werk dat hier niet verder uit, maar samenwerken met AI-modellen zou je eveneens als een vorm van collectieve intelligentie kunnen beschouwen.

Intelligentie laat zich dus moeilijk vastpinnen. En de beoordeling ervan kent nog een extra zwakke plek: cognitieve vertekeningen.

Een bekend voorbeeld is het Dunning-Kruger-effect. Kort gezegd gaat het over de moeite die mensen kunnen hebben om hun eigen bekwaamheid goed in te schatten. Het verhaal dat de onderzoekers op het idee bracht, begint met citroensap.

In 1995 beroofde McArthur Wheeler op klaarlichte dag twee banken in Pittsburgh. Hij droeg geen masker en keek recht in de beveiligingscamera's. Toen de politie hem later op basis van de beelden arresteerde, reageerde hij verbaasd: hij had immers citroensap op zijn gezicht gesmeerd.

Wheeler redeneerde dat citroensap als onzichtbare inkt kon werken en hem daarom ook onzichtbaar zou maken voor camera's. Volgens de anekdote had hij zijn idee zelfs met een polaroidcamera getest, zonder te beseffen dat de mislukte foto waarschijnlijk een andere oorzaak had. Het verhaal zette David Dunning aan het denken: kan een gebrek aan kennis er tegelijk voor zorgen dat iemand zijn eigen fouten niet herkent?

Dunning en Justin Kruger onderzochten die vraag met tests op het gebied van humor, grammatica en logisch redeneren. De laagst scorende deelnemers overschatten hun relatieve prestaties sterk. Dat is de bekende 'dubbele last': je mist een vaardigheid én de kennis die nodig is om dat gebrek bij jezelf te herkennen. De best presterende deelnemers onderschatten juist vaker hun positie ten opzichte van anderen, mogelijk omdat zij aannamen dat een gemakkelijke taak voor iedereen gemakkelijk was. Daaruit volgen twee praktische lessen:

We zien onze eigen blinde vlekken niet altijd. Als we niet weten wat we missen, kan zelfvertrouwen de plaats innemen van kennis.

Zelfbeoordeling alleen is onvoldoende. Feedback, meetbare resultaten en het oordeel van docenten, collega's, managers of mentoren helpen om ons beeld van onze eigen bekwaamheid te kalibreren.

Het Dunning-Kruger-effect is sindsdien in uiteenlopende domeinen onderzocht. De kernbevinding is invloedrijk, maar niet onomstreden: een deel van het bekende patroon kan ook door statistische effecten en de opzet van zelfbeoordelingstests ontstaan. Het is daarom verstandiger om het effect als onderzoeksmodel te zien dan als etiket voor ieder zelfverzekerd persoon dat iets niet weet.

West en Eaton onderzochten in 2019 of het model ook iets kan zeggen over raciale en gendergerelateerde vooroordelen. In twee studies met in totaal 307 deelnemers vonden zij gedeeltelijke steun voor hun hypothese: juist deelnemers die lager scoorden op egalitaire kennis en houding overschatten vaker hoe onbevooroordeeld zij waren. Dat is geen bewijs dat ieder vooroordeel een Dunning-Kruger-effect is, maar het laat wel zien hoe lastig het kan zijn om de eigen blinde vlekken zonder feedback te herkennen.

Jansen, Rafferty en Griffiths brachten daar in 2021 meer nuance in aan met A Rational Model of the Dunning-Kruger Effect Supports Insensitivity to Evidence in Low Performers. Hun model laat zien dat het patroon uit twee mechanismen kan voortkomen: eerdere overtuigingen over de eigen vaardigheid en het vermogen om per vraag te herkennen of een antwoord klopt. In twee grootschalige replicaties vonden zij steun voor de tweede verklaring bij grammatica en logisch redeneren: laag presterende deelnemers konden minder goed inschatten wanneer hun eigen antwoord juist was.

Muller, Sirianni en Addante bekeken in het European Journal of Neuroscience-artikel Neural Correlates of the Dunning-Kruger Effect vervolgens welke geheugenprocessen met zulke zelfbeoordelingen samenhangen. Deelnemers deden een herkenningstaak, schatten hun positie ten opzichte van anderen in en droegen daarbij een EEG-cap. Overschatters vertoonden sterker het middenfrontale FN400-signaal dat vaak met vertrouwdheid wordt geassocieerd; onderschatters sterker de latere pariëtale component die met bewuste herinnering samenhangt. Dat past bij de mogelijkheid dat de ene groep meer op een algemeen gevoel van bekendheid leunt en de andere meer op concrete herinneringen aan antwoorden. De auteurs waarschuwen terecht dat hersensignalen niet één-op-één een denkproces bewijzen: het onderzoek wijst op een samenhang, niet op een definitieve neurologische verklaring.

Geheugen hoort dus eveneens thuis in onze lijst van intelligentievermogens en speelt een rol in de manier waarop we onszelf beoordelen. Maar wat zegt dat over kunstmatige intelligentie? Misschien vooral dat menselijke en machine-intelligentie zich niet netjes langs één meetlat laten leggen. Mensen combineren waarneming, geheugen, gevoel, sociale ervaring en handelen op een manier die sterk verschilt van een taalmodel. Beide kunnen vertekeningen vertonen, maar niet om dezelfde redenen. Juist daarom zie ik AI liever als uitbreiding van menselijk vermogen dan als een zelfstandige, denkende entiteit: gereedschap dat pas waarde krijgt door de kennis, het oordeel en de verantwoordelijkheid van de persoon die het gebruikt. We staan nog maar aan het begin van deze technologische omwenteling. Des te belangrijker is het dat we helder blijven over wat de technologie wel en niet kan.

Bedankt voor het lezen.

Kai