De mensen
McCulloch bracht neurofysiologie. Pitts bracht wiskundige logica. Het model had beide nodig.
Een baanbrekende verbinding tussen hersenen en logica.
Neurofysioloog Warren McCulloch en wiskundig logicus Walter Pitts brachten neurale signalen, logische proposities en berekeningen samen. Hun artikel uit 1943 vroeg of netwerken van geïdealiseerde neuronen logische bewerkingen in de tijd konden uitvoeren.
De stap
Stel een neurale gebeurtenis voor als een propositie: een neuron vuurt, wat 1 betekent, of blijft stil, wat 0 betekent.
De grotere claim
Netwerken konden temporele logica realiseren. Met een geheugenband, scanmechanismen en geschikte invoer- en uitvoermechanismen kon zo'n systeem volgens hen dezelfde berekeningen uitvoeren als een Turingmachine.
Stemmen, een drempel en een veto.
Actieve exciterende signalen tellen mee voor activering. De drempel bepaalt hoeveel signalen nodig zijn. Elk actief remmend signaal voorkomt dat het neuron vuurt.
y(t + 1) = 1 als stemmen ≥ θ en veto = 0; anders
0
Dit is een leesbare versie van de oorspronkelijke tel-en-vetoregel. Remming behandelen als een gewoon negatief gewicht is een latere vereenvoudiging.
Invoer
Elk binnenkomend signaal is binair: actief of stil.
Stemmen
Actieve exciterende contacten tellen mee voor een vaste drempel.
Veto
Eén actief remmend contact blokkeert op dat moment het vuren.
Volgende tijdstap
Het resultaat verschijnt na één geïdealiseerde synaptische vertraging.
Een model, geen miniatuurbrein. De binaire, synchrone regel negeert bewust het grootste deel van de elektrische, chemische en structurele complexiteit.
Interactief logicalab
Verander de regel en de uitkomst verandert mee.
Kies een logische regel en schakel daarna A en B in of uit. Het circuit en de waarheidstabel veranderen tegelijk.
AND heeft beide nodig.
Het neuron vuurt alleen wanneer A en B tegelijk actief zijn.
A + B ≥ 2
Zoals een slot dat alleen opengaat wanneer zowel de pas als de pincode klopt.
0 van 2 benodigde stemmen
STIL · 0
Waarheidstabel
| A | B | Uitvoer |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 0 | 0 |
| 1 | 1 | 1 |
AND gebruikt twee exciterende invoeren en een drempel van 2.
Eén neuron loopt tegen een harde grens aan.
XOR betekent dat precies één invoer actief is. Probeer beide mogelijke drempels. Geen van beide neuronen krijgt elke rij goed.
Kan één drempel XOR oplossen?
Kies hoeveel actieve invoeren nodig zijn om te vuren.
| A | B | XOR | Neuron |
|---|---|---|---|
| 0 | 0 | 0 | 0 |
| 0 | 1 | 1 | 1 |
| 1 | 0 | 1 | 1 |
| 1 | 1 | 0 | 1 |
Drempel 1 gedraagt zich als OR. Die faalt wanneer A en B allebei 1 zijn.
De beperking maakt diepte noodzakelijk.
Eén drempel trekt een rechte grens tussen ja- en neegevallen. XOR heeft twee tussenliggende feiten nodig en daarna één laatste beslissing.
Drie eenvoudige beslissingen vormen samen XOR.
Eén eenheid vindt OR. Een andere vindt AND. Een laatste veto-eenheid vuurt voor OR, tenzij AND ook waar is. Dit is de kiem van een verborgen laag.
Schakel de invoer van het netwerk in of uit.
A = 0, B = 0, XOR = 0
Een geselecteerde ontwikkellijn
Van handbedrade logica naar geleerde representaties.
Het pad liep niet recht, maar elke stap veranderde wat een neuraal netwerk kon ontdekken, representeren of opschalen.
1943
Logica komt het neuron binnen
McCulloch en Pitts formaliseren binaire neurale gebeurtenissen, drempels, remming en tijd. Artikel
1958
Een systeem dat leert
Rosenblatt plaatst aanpasbare verbindingen en bekrachtiging in het hart van de perceptron. Artikel
1986
Invloed door de lagen heen
Rumelhart, Hinton en Williams publiceren een invloedrijke beschrijving van backpropagation voor verborgen eenheden. Artikel
2012
Diepte ontmoet schaal
AlexNet combineert diepe convolutionele netwerken, grote hoeveelheden data en GPU's en verandert daarmee beeldherkenning. Artikel
2017
Attention combineert context
Transformers voegen self-attention toe en behouden geleerde niet-lineaire feedforwardlagen. Artikel
Dit is een geselecteerde ontwikkellijn, geen rechte stamboom. Veel onderzoekers, ideeën, hardwareontwikkelingen en parallelle tradities hebben moderne AI gevormd.
Het basisprincipe bleef; de uitvoering veranderde ingrijpend.
Beide modellen combineren invoer, passen een niet-lineaire regel toe en geven een resultaat door. Moderne eenheden leren continue, hoogdimensionale transformaties uit data.
Idee uit 1943
binaire invoer → vaste drempel → binaire uitvoer
Moderne neurale eenheid
h = φ(Wx + b)
McCulloch-Pitts
Moderne neurale netwerken
Binaire invoer
Reële vectoren en embeddings
Vaste exciterende aantallen en veto's
Geleerde positieve en negatieve parameters
Harde drempel
ReLU, GELU, sigmoid en andere niet-lineariteiten
Binaire uitvoer
Meestal continue activaties
Bedrading ontworpen door een persoon
Representaties geleerd uit voorbeelden
Geen datagedreven trainingsregel
Optimalisatie past parameters aan om fouten te verkleinen
De doorbraak was combineerbaarheid.
McCulloch en Pitts lieten zien dat complexe berekeningen konden worden opgebouwd uit veel eenvoudige, verbonden beslissingen. Leren en schaal veranderden bijna alles, maar dat basisidee is nog steeds herkenbaar in moderne AI.
representeer
→
combineer
→
transformeer
→
geef door
Lees de oorspronkelijke ideeën.
De historische claims en moderne vergelijking in deze gids zijn gebaseerd op deze primaire publicaties.
1943
A Logical Calculus of the Ideas Immanent in Nervous Activity
Warren S. McCulloch en Walter Pitts
Open DOI
1958
The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain
Frank Rosenblatt
Open DOI
1986
Learning Representations by Back-Propagating Errors
David E. Rumelhart, Geoffrey E. Hinton en Ronald J. Williams
Open DOI
2012
ImageNet Classification with Deep Convolutional Neural Networks
Alex Krizhevsky, Ilya Sutskever en Geoffrey E. Hinton
Open artikel
2017
Attention Is All You Need
Ashish Vaswani en medewerkers
Open artikel
De historische formulering is bewust zorgvuldig. De eenheid uit 1943 leerde niet uit data, de remming werkte als een absoluut veto en de vergelijking met Turing in het artikel vereiste extra band- en scanmechanismen.