Het probleem
Een verkeerde uitvoer laat zien dat er eerder in het netwerk iets moet veranderen. Maar daaruit blijkt niet welk verborgen gewicht verantwoordelijk was of in welke mate.
Ook verborgen lagen konden nu leren.
Voor de uitvoer is een gewenst antwoord bekend; voor verborgen eenheden niet. In hun korte publicatie in Nature van oktober 1986 lieten David Rumelhart, Geoffrey Hinton en Ronald Williams zien hoe de kettingregel een uitvoerfout kon omzetten in een trainingssignaal voor elke eerdere verbinding. Hun uitgebreidere PDP-hoofdstuk maakte de procedure en de aangeleerde interne representaties concreet.
De methode
Backpropagation hergebruikt afgeleiden uit latere lagen. Met de kettingregel berekent het voor iedere parameter een gradiënt, inclusief de richting waarin die parameter het verlies beïnvloedt.
Het resultaat
Verborgen activiteitspatronen worden bruikbare interne kenmerken. De trainingsdata leveren het doelantwoord, terwijl het netwerk zelf tussenliggende structuur ontdekt.
1986 was een mijlpaal, niet het beginpunt. Achterwaartse differentiatie had al voorlopers in numerieke methoden en neuraal leren. Dit werk bracht de methode naar het centrum van connectionistisch onderzoek, bewees de praktische waarde en maakte representatieleren tot een centraal thema.
Reken vooruit. Verdeel het foutsignaal terug door het netwerk.
Backpropagation is de efficiënte berekening van de gradiënt tussen een verlies en elk eerder gewicht. Een optimizer gebruikt die gradiënten vervolgens om het model bij te werken.
gradiënt = later signaal × lokale gevoeligheid
Eén voorbeeld van de kettingregel: ∂L/∂W₁ = (∂L/∂h)(∂h/∂W₁)
Vooruit
Bereken verborgen activaties en een voorspelling vanuit de huidige gewichten.
Vergelijk
Zet het verschil tussen voorspelling en doel om in één scalair verlies.
Differentieer
Volg hoe sterk elke parameter dat verlies heeft beïnvloed.
Werk bij
Verplaats elke parameter een kleine afstand in de tegengestelde richting van de gradiënt.
Een nuttig onderscheid. Backpropagation berekent gradiënten. Gradient descent, momentum, Adam of een andere optimizer bepaalt hoe die gradiënten de parameters veranderen.
Interactief lab: invloed toerekenen
Leer een verborgen laag XOR.
De vorige gids eindigde waar één rechte grens tekortschiet. Pauzeer de leerlus nu na iedere stap: de voorwaartse voorspelling, de teruggestuurde gradiënten en het bijwerken van de gewichten.
Kies één voorbeeld
XOR · vaste volgorde 11, 01, 10, 00
Bijwerkingen
0
Epoch
0
Nauwkeurigheid
50%
gewichtsverandering = -η × gradiënt
Dit lab gebruikt η = 1,5 en binaire kruis-entropie. Elke bijwerking wordt vanuit één bevroren momentopname berekend.
Voorwaartse waarde
Achterwaartse afgeleide
doorgetrokken + / gestreept - gewicht
Doel0
Voorspellingniet uitgevoerd
Verliesniet uitgevoerd
Leerlogboek
Klaar voor de voorwaartse stap.
Het startnetwerk gokt voordat het weet welke verborgen kenmerken XOR nodig heeft.
| Invoer | Doel | p(1) | Gok |
|---|
Open het gradiëntenoverzicht
| Parameter | Gradiënt | Verandering |
|---|
Zichtbare waarden zijn afgerond op drie decimalen. De simulatie behoudt de volledige precisie. Biases zijn ook trainbare parameters, ook al zijn ze niet afhankelijk van een invoerkenmerk.
Verborgen lagen tekenen het probleem opnieuw.
XOR wordt in zijn oorspronkelijke coördinaten niet scheidbaar. De verborgen laag leert een nieuw coördinatenstelsel waarin één uiteindelijke grens wel werkt.
Invoerruimte
De ruwe XOR-hoeken bewegen nooit. Gelijke doelen liggen op tegenovergestelde diagonalen.
Verborgen ruimte
De startkenmerken laten de gevallen nog steeds verstrengeld.
De verborgen eenheden leren kenmerken, geen afzonderlijke grenslijn. In dit kleine model kunnen de twee kenmerken worden getekend. Moderne representaties zijn meestal verdeeld over honderden of duizenden dimensies en zijn zelden zo gemakkelijk te benoemen.
Een geselecteerd pad naar aangeleerde representaties.
Backpropagation hoort bij verschillende overlappende geschiedenissen: differentiatie, optimalisatie, neurale netwerken, cognitiewetenschap, computerhardware en data.
1958
Eén grens leert
Rosenblatts perceptron past uitvoergewichten na fouten aan.
1970
Achterwaartse differentiatie
Seppo Linnainmaa beschrijft een algemene achterwaartse accumulatie door een reeks berekeningen.
1974
Geordende afgeleiden
Paul Werbos ontwikkelt achterwaartse afgeleiden voor niet-lineaire systemen en bespreekt adaptieve netwerken.
1986
Verborgen kenmerken leren
Rumelhart, Hinton en Williams maken het toerekenen van fouten en het leren van interne representaties breed invloedrijk.
2012→
Diepte ontmoet schaal
Grote datasets, versnellers, betere architecturen en robuuste software zetten gradiënten om in moderne deep learning.
Dit is een geselecteerde ontwikkelingslijn, geen verhaal over één uitvinder. Nauw verwante neurale leerprocedures werden in 1985 ook onafhankelijk beschreven door David Parker en Yann LeCun.
De wiskunde bleef. De machinerie schaalde op.
De modellen van nu gebruiken rijkere bewerkingen en optimizers, maar hun trainingslus evalueert nog steeds een berekening, meet een verlies en differentieert dat verlies achterwaarts.
Leerstap uit 1986
W ← W - η ∂L/∂W
Moderne training
θ ← optimizer(θ, ∇θL)
Demonstraties uit 1986
Moderne deep learning
Kleine sigmoidnetwerken
Diepe berekeningsgrafen met aandacht, normalisatie, restpaden en routering
Zorgvuldig voorbereide oefendomeinen
Grote tekst-, beeld-, audio-, video-, wetenschappelijke en multimodale datasets
Handmatig afgeleide achterwaartse vergelijkingen
Systemen voor automatische differentiatie bouwen de achterwaartse berekening
Gradient descent met momentum
Optimizers uit de Adam-familie, schema's, clipping, regularisatie en gedistribueerde training
Inzichtelijke kleine verborgen codes
Hoogdimensionale gedistribueerde representaties die over veel lagen zijn aangeleerd
De doorbraak was het toerekenen van invloed.
Een fout aan de uitvoer werd een verdeeld correctiesignaal voor alle eerdere verbindingen. Netwerken konden niet alleen een beslissing leren, maar ook de tussenliggende kenmerken die daarvoor nodig zijn.
voorspel
→
vergelijk
→
volg invloed
→
pas aan
→
representeer beter
Volg het oorspronkelijke spoor.
De historische inkadering, vergelijkingen, voorbeelden en moderne vergelijking in deze gids zijn gebaseerd op deze primaire publicaties en kopieën die de auteurs zelf beschikbaar stelden.
1970/76
Taylor Expansion of the Accumulated Rounding Error
Seppo Linnainmaa, achterwaartse accumulatie in 1976 in het Engels gepubliceerd
Open DOI
1974
Beyond Regression
Paul J. Werbos, proefschrift aan Harvard
Open proefschrift
1986
Learning Representations by Back-Propagating Errors
David E. Rumelhart, Geoffrey E. Hinton en Ronald J. Williams
Open Nature
1986
Learning Internal Representations by Error Propagation
Uitgebreid hoofdstuk in Parallel Distributed Processing, deel 1
Open hoofdstuk
2015
Deep Learning
Yann LeCun, Yoshua Bengio en Geoffrey Hinton
Open overzicht
2017
Attention Is All You Need
Ashish Vaswani en collega's
Open publicatie
De historische formulering is bewust zorgvuldig. Backpropagation berekent gradiënten; een optimizer verandert de gewichten. De publicaties uit 1986 waren baanbrekende demonstraties en uitleg, niet de eerste verschijning van achterwaartse differentiatie.