De persoon
Rosenblatt studeerde psychologie en gebruikte machines om te onderzoeken wat een zenuwstelsel minimaal nodig heeft om patronen te herkennen.
Rosenblatt gaf de drempel een manier om te leren.
Psycholoog Frank Rosenblatt beschreef de perceptron in een rapport uit 1957 van het Cornell Aeronautical Laboratory. Zijn artikel uit 1958 beschreef Rosenblatt het perceptron als een model van waarneming, geheugen en gedrag. De beslissende stap was aanpassing: ervaring kon de sterkte van verbindingen veranderen in plaats van elke regel vooraf vast te leggen.
Het apparaat
De Mark I combineerde een retina van 20 bij 20 fotocellen met sensorische, associatie- en responsfasen. Vaste bedrading verzamelde informatie, terwijl motoraangedreven potentiometers de leerbare verbindingen aanpasten.
Historische nuance
De kaartdemonstratie met links tegenover rechts uit juli 1958 draaide als een IBM 704-simulatie. De fysieke Mark I was een afzonderlijke uitwerking van het bredere perceptronprogramma.
Het historische perceptron was meer dan het compacte classificatiemodel uit moderne leerboeken. Rosenblatt beschreef een familie van door het brein geïnspireerde systemen. De formule met één eenheid hieronder is een heldere, moderne didactische abstractie en geen letterlijke weergave van iedere historische machine.
Invoer, gewichten, een score en een beslissing.
Elk gewicht bepaalt hoe sterk één invoer meetelt. De perceptron telt dat bewijs op, voegt een bias toe en controleert vervolgens aan welke kant van nul de score uitkomt.
ŷ = step(w·x + b)
In twee dimensies is w₁x₁ + w₂x₂ + b = 0 de rechte grens tussen de twee voorspelde klassen.
Invoer
Metingen of kenmerken beschrijven het voorbeeld dat wordt geclassificeerd.
Gewichten
Positieve en negatieve sterktes bepalen hoeveel elk kenmerk meetelt.
Score
Het inwendig product en de bias plaatsen het voorbeeld aan één kant van een grens.
Drempel
Een harde stapfunctie verandert de score in een positief of negatief antwoord.
Interactief leerlab
Zie hoe een grens leert.
Verwerk telkens één gelabeld voorbeeld. Een juiste voorspelling verandert niets. Bij een fout worden de gewichten bijgesteld en verschuift de lijn.
Twee duidelijke groepen
Leer door correctie.
Dezelfde acht voorbeelden worden in een vaste volgorde herhaald. De leersnelheid staat vast op η = 1.
Ronde
1
Volgende
A
Correcties
0
w ← w + η y x
Verplaats de gewichten na een fout naar de juiste klasse. Werk ook b bij met ηy.
Nog geen grens
ONGETRAIND
Trainingsverslag
w₁0
w₂0
b0
Klaar voor punt A.
Het onaangeroerde model voorspelt negatief wanneer de score precies nul is.
Een score van precies nul geldt als negatief. De grafiek toont na elke correctie altijd de nieuwe grens.
| Punt | x₁, x₂ | Doel | Resultaat |
|---|---|---|---|
| A | (-2, 1) | + | Nog niet verwerkt |
| B | (-2, -2) | − | Nog niet verwerkt |
| C | (-1, 2) | + | Nog niet verwerkt |
| D | (-1, -1) | − | Nog niet verwerkt |
| E | (0, 2) | + | Nog niet verwerkt |
| F | (1, 0) | − | Nog niet verwerkt |
| G | (1, 3) | + | Nog niet verwerkt |
| H | (2, 1) | − | Nog niet verwerkt |
Eén lijn kan niet elk patroon oplossen.
XOR plaatst dezelfde labels op tegenoverliggende hoeken. Draai en verschuif de lijn zo veel je wilt. Er blijft altijd minstens één punt aan de verkeerde kant.
Probeer XOR te scheiden.
De gestippelde ring markeert elk punt dat je lijn verkeerd classificeert.
Blijf de lijn verplaatsen.
Fouten: 2 / 4
De grens is geometrisch.
Een perceptron kan alleen een lineaire grens leren wanneer de aangeleverde kenmerken de klassen lineair scheidbaar maken. Meer training kan één rechte lijn niet veranderen in een kromme of twee losse gebieden.
Een verborgen laag kan het probleem hervormen.
Tussenliggende eenheden kunnen bruikbare deelpatronen herkennen. Een latere eenheid scheidt de getransformeerde representatie vervolgens met een eenvoudige grens.
In de oorspronkelijke ruimte
Elke klasse strekt zich uit over hetzelfde middelpunt.
Na verborgen beslissingen
OR en AND worden kenmerken die een laatste eenheid kan combineren.
De beperking hoort bij één lineaire drempeleenheid. Dit betekent niet dat elk historisch perceptronsysteem of elk neuraal netwerk met meerdere lagen beperkt is tot één lijn.
Een geselecteerd pad van correctie naar deep learning.
De perceptron maakt deel uit van een bredere geschiedenis van neurale modellen, statistisch leren, optimalisatie, hardware en veranderende onderzoeksgemeenschappen.
1943
Een vast logisch neuron
McCulloch en Pitts laten zien hoe netwerken van geïdealiseerde drempeleenheden logica kunnen uitdrukken.
1957
De perceptron leert
Rosenblatt beschrijft een adaptieve automaat die waarneemt en herkent. In 1958 volgt een belangrijk artikel.
1969
De beperkingen worden formeel aangetoond
Minsky en Papert analyseren beperkte perceptrons en verduidelijken wat bepaalde systemen met één laag niet kunnen berekenen.
1986
Fouten reizen terug
Een invloedrijke beschrijving van backpropagation laat zien hoe het foutsignaal aan verborgen lagen kan worden toegerekend.
Nu
Representaties stapelen zich diep op
Moderne netwerken leren veel transformaties met gradiëntoptimalisatie, hardwareversnellers en zeer grote datasets.
Dit is een geselecteerde ontwikkellijn, geen rechte stamboom. De claim dat één boek uit 1969 in zijn eentje een AI-winter veroorzaakte, is te eenvoudig voor het historische beeld.
De leerlus bleef. De schaal nam explosief toe.
Moderne neurale netwerken vormen nog steeds gewogen combinaties en verbeteren door foutsignalen. Bijna alles rondom die lus is rijker, dieper en groter geworden.
Perceptron uit een leerboek
ŷ = step(w·x + b)
Moderne laag
h = φ(Wx + b)
Perceptron
Modern neuraal netwerk
Eén geleerde lineaire grens
Veel geleerde transformaties, samengesteld over meerdere lagen
Harde ja-of-neestap
Meestal differentieerbare niet-lineaire activaties
Corrigeert de uitvoereenheid rechtstreeks
Stuurt fouten terug door veel geparametriseerde bewerkingen
Kenmerken worden aan het leersysteem geleverd
Kenmerken en embeddings worden vaak in het model geleerd
Een kleine set gewichten
Vaak miljoenen of miljarden geleerde parameters
De doorbraak was correctie.
Vaste logica kon beslissen. Het perceptron kon zijn beslisregel herzien en gelabelde voorbeelden omzetten in veranderingen van de modelparameters.
voorbeeld
→
voorspelling
→
fout
→
bijwerken
→
herhalen
Volg het oorspronkelijke spoor.
De historische nuances, leerregel, beperking en moderne vergelijking in deze gids zijn gebaseerd op deze primaire en institutionele bronnen.
1957
The Perceptron: A Perceiving and Recognizing Automaton
Frank Rosenblatt, rapport van het Cornell Aeronautical Laboratory
Open rapport
1958
The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain
Frank Rosenblatt
Open DOI
1958
Electronic Neural Network, Mark I Perceptron
Objectregistratie van het Smithsonian National Museum of American History
Open registratie
1962
On Convergence Proofs for Perceptrons
Albert B. J. Novikoff
Open artikel
1969
Perceptrons: An Introduction to Computational Geometry
Marvin Minsky en Seymour A. Papert
Open registratie
1986
Learning Representations by Back-Propagating Errors
David E. Rumelhart, Geoffrey E. Hinton en Ronald J. Williams
Open DOI
De historische formulering is bewust zorgvuldig. De oorspronkelijke perceptron was breder dan één eenheid uit een leerboek, de IBM-demonstratie uit 1958 was een simulatie en convergentie vereist lineair scheidbare voorbeelden.