De synthese
Convolutionele, recurrente en meerlagige netwerken deelden één centraal idee: bruikbare representaties konden worden geleerd.
Diepe neurale netwerken werden praktisch toepasbaar.
In hun overzichtsartikel in Nature uit 2015 beschreven Yann LeCun, Yoshua Bengio en Geoffrey Hinton deep learning als representatieleren via meerdere verwerkingslagen. Het artikel verbond tientallen jaren onderzoek naar neurale netwerken met vooruitgang in spraak, beeld en taal.
De verandering was systemisch. Grotere datasets, snellere versnellers, trainbare architecturen, regularisatie en backpropagation begonnen op bruikbare schaal samen te werken. In 2012 combineerde AlexNet deze ingrediënten en bereikte het een top-5-fout van 15,3% op ImageNet, tegenover 26,2% voor de nummer twee.
De ingrediënten
Data, versnellers, architecturen, regularisatie en leren op basis van gradiënten werden één werkend systeem.
Het bewijs
Resultaten in spraak- en beeldherkenning lieten zien dat dieper aangeleerde kenmerken ook op grote, realistische datasets werkten.
2015 was een belangrijke synthese, geen uitvindingsdatum. Convolutionele netwerken, backpropagation, recurrente netwerken, benchmarkdatasets en representatieleren hadden allemaal een lange voorgeschiedenis.
Een diep netwerk leert een hiërarchie van representaties.
Elke laag transformeert de representatie ervoor. Door diepte kunnen eenvoudige kenmerken opnieuw worden gebruikt en tot rijkere kenmerken worden samengevoegd.
ruw signaal
x
pixels, geluid of tokens
verborgen 1
lokale patronen
kleine regelmatigheden
verborgen 2
motieven
hergebruikte combinaties
verborgen 3
onderdelen en context
taakrelevante structuur
uitlezing
voorspelling
ŷ
vergelijken
verlies
L
gradiënten keren terug door de volledige stapel
h(ℓ) = f(W(ℓ)h(ℓ-1) + b(ℓ))
De representatie in laag ℓ is gelijk aan een aangeleerde niet-lineaire transformatie van de laag ervoor.
Kijk lokaal
Vroege lagen herkennen lokale patronen.
Voeg samen
Latere eenheden combineren eerdere kenmerken.
Gebruik opnieuw
Eén kenmerk kan veel latere patronen ondersteunen.
Beslis
De uiteindelijke representatie ondersteunt een taakvoorspelling.
Diepte is capaciteit, geen magie. Bruikbare hiërarchieën blijven afhankelijk van data, doelstellingen, architectuur, optimalisatie en inductieve bias. Backpropagation berekent de gradiënten die de stapel op elkaar afstemmen.
Interactief representatielab
Zie hoe een netwerk het probleem opnieuw tekent.
De punten bewegen niet in de wereld. Hun coördinaten bewegen binnen het netwerk.
Trainingsmoment
Representatiediepte
Invoercoördinaten
iteratie 0
Bovenste maan
Onderste maan
Gevolgd punt
Trainingsnauwkeurigheid
50.0%
Gemiddeld verlies
0.684
Lineaire scheidbaarheid
87.5%
Aangeleerde parameters
21
De ruwe coördinaten bevatten het patroon, maar geen enkele rechte lijn kan het perfect scheiden.
Bij iteratie 0 zijn de verborgen transformaties willekeurig en gokt het netwerk.
Volg één voorbeeld
Bovenste maan, punt 12
Dit lab2 getallen → verborgen weergaven → label
Beeldpixels → visuele kenmerken → voorspelling
Taaltokens → contextuele representaties → voorspelling
Wat je ziet: een deterministisch tanh-netwerk van 2→2→2→2→1, getraind op 48 synthetische voorbeelden. De trainingsmomenten zijn voor deze gids berekend en niet uit het artikel van 2015 gehaald. Alle nauwkeurigheidscijfers beschrijven deze trainingsvoorbeelden.
Dit speelgoedprobleem heeft geen drie verborgen lagen nodig. De extra diepte maakt het mechanisme inzichtelijk. Echte problemen met beeld, spraak en taal vragen veel rijkere representaties met veel dimensies.
Het model ging zelf relevante kenmerken leren.
Bij deep learning worden de extractie van kenmerken en de uiteindelijke beslissing samen op één taakdoel getraind.
Eerder patroon
invoerruwe data
door mensen ontworpenbeschrijvingen en kenmerken
aangeleerdclassificator
Deep learning
invoerruwe data
aangeleerdkenmerkhiërarchie
aangeleerdclassificator
Representatie en beslissing kunnen samen voor de taak worden geoptimaliseerd.
Menselijke keuzes verdwenen niet. Onderzoekers kiezen nog steeds de data, doelstelling, architectuur, augmentatie, optimalisatie en evaluatie. Aangeleerde kenmerken worden door al die keuzes gevormd.
Diepte was een samenkomst, geen enkel moment.
Neurale netwerken, optimalisatie, datasets, hardware en wetenschappelijke gemeenschappen vormden samen het vakgebied.
1986
De fout bereikt verborgen lagen
Backpropagation maakt het praktisch om verantwoordelijkheid door meerdere trainbare lagen toe te wijzen.
1989
Convolutie leert van pixels
Vroege convolutionele netwerken leren kenmerken voor de herkenning van handschrift.
2006
Laaggewijze pretraining maakt diepe netwerken weer trainbaar
Laag voor laag leren biedt een praktische route naar diepere modellen.
2009
ImageNet vergroot de schaal
Een grote gelabelde beelddatabase vormt een veeleisende gezamenlijke benchmark.
2012
Diepte wint ImageNet
Een convolutioneel netwerk dat op GPU's is getraind verbetert herkenning op grote schaal sterk.
2015
Het vakgebied komt scherp in beeld
LeCun, Bengio en Hinton verbinden de mechanismen, het bewijs en de onderzoeksrichting.
2017→
Transformers schalen representatieleren verder op
Transformers en zelfgesuperviseerde pretraining maken representatieleren op veel grotere schaal mogelijk.
Moderne AI stapelt nog steeds representaties.
Transformers veranderden hoe lagen informatie combineren. Bij zelfsupervisie worden trainingsdoelen uit de data zelf afgeleid. Een veel grotere schaal verbreedde wat de representaties kunnen ondersteunen.
Dimensie
Vakgebied in 2015
Moderne basismodellen
Trainingsbereik
Taakspecifieke gesuperviseerde systemen
Brede pretraining gevolgd door aanpassing
Centrale architectuur
Convolutie en recurrentie
Attention speelt vaak de centrale rol
Doelen
Labels vaak door mensen aangeleverd
Doelen vaak uit de data zelf afgeleid
Domein
Sterke modellen voor één domein
Multimodale modellen voor algemeen gebruik
Rekenkracht
Eén versneller of kleine clusters
Grote gedistribueerde trainingssystemen
De doorbraak was het leren van hiërarchieën.
Het netwerk kon zelf een opeenvolging van representaties leren, van ruwe data tot bruikbare abstracties, één herbruikbare transformatie tegelijk.
signaal
→
kenmerk
→
samenstelling
→
representatie
→
vermogen
Lees het vakgebied terwijl het vorm kreeg.
De historische nuances, voorbeelden, vergelijkingen en moderne context in deze gids zijn gebaseerd op deze primaire publicaties.
1989
Backpropagation Applied to Handwritten Zip Code Recognition
Yann LeCun en collega's
Open artikel
2006
A Fast Learning Algorithm for Deep Belief Nets
Geoffrey Hinton, Simon Osindero en Yee-Whye Teh
Open artikel
2009
ImageNet: A Large-Scale Hierarchical Image Database
Jia Deng en collega's
Open artikel
2012
ImageNet Classification with Deep Convolutional Neural Networks
Alex Krizhevsky, Ilya Sutskever en Geoffrey Hinton
Open artikel
2013
Representation Learning: A Review and New Perspectives
Yoshua Bengio, Aaron Courville en Pascal Vincent
Open DOI
2015
Deep Learning
Yann LeCun, Yoshua Bengio en Geoffrey Hinton
Open Nature
2017
Attention Is All You Need
Ashish Vaswani en collega's
Open artikel
Het artikel uit 2015 is een overzicht en synthese. Deze gids presenteert het niet als de uitvinding van deep learning. De gekozen historische lijn is bewust compact en kan niet iedere bijdragende onderzoeker, instelling, dataset of hardwareontwikkeling vertegenwoordigen.