Djupinlärning

Schematisk översikt över lagervis inlärning av funktionshierarkier. Allt mer komplexa egenskaper bestäms från input med hjälp av oövervakat lärande. Funktionerna kan användas för övervakad uppgiftsinlärning.

Djupinlärning (engelska: Deep Learning) är en underkategori till maskinlärning och artificiell intelligens som använder sig av neurala nätverk med flera lager för att lära och generalisera mönster i data. Djupinlärning är en av de mest framgångsrika tillämpningarna av artificiell intelligens i modern tid och har haft en stor påverkan på områden som bildigenkänning, taligenkänning, textanalys och spel.

Historik

Djupinlärning har sina rötter i 1940-talet och 1950-talet när forskare som Warren McCulloch och Walter Pitts, och senare David Marr, började utveckla de första modellerna för neurala nätverk.[1] På 1960-talet utvecklade David Rumelhart och James McClelland de första algoritmerna för träning av neurala nätverk. Men det var inte förrän i början av 2000-talet som djupinlärning började få fart, tack vare utvecklingen av stora datamängder, kraftfulla datorer och öppen källkod-bibliotek.[2]

Typiska egenskaper

Djupinlärning har flera typiska egenskaper som skiljer den från traditionell maskinlärning:

  • Flerskiktiga neurala nätverk: Djupinlärning använder sig av neurala nätverk med flera lager (ofta hundratals) för att lära och generalisera mönster i data.[3]
  • Lär av sig själva: Djupinlärningsmodeller kan lära av sig själva genom att utnyttja stora mängder data och generera representativa funktioner.
  • Automatiskt urval av funktioner: Djupinlärning kan automatiskt urvälja funktioner (eller mönster) i data, vilket förbättrar den generella prestandan på modellen.[4]
  • Parallelisering: Djupinlärning kan utföras parallellt på flera CPU-kärnor eller GPU-enheter, vilket möjliggör snabbare tränings- och testtid.

Applikationer

Djupinlärning har haft stor framgång i en mängd olika applikationer, bland annat:

  • Bildigenkänning: Djupinlärning har använts för att utveckla modeller som kan igenkänna objekt och klassificera bilder.
  • Taligenkänning: Djupinlärning har använts för att utveckla modeller som kan igenkänna och transkribera tal.
  • Textanalys: Djupinlärning har använts för att utveckla modeller som kan analysera och klassificera text.
  • Spel: Djupinlärning har använts för att utveckla modeller som kan spela och vinna på spel som schack och Go.

Kritik och begränsningar

Djupinlärning har också vissa begränsningar och kritik, bland annat:

  • Databeroende: Djupinlärning är starkt beroende av tillgång till stora mängder data för att träna modeller.
  • Beräkningsintensitet: Djupinlärning kräver ofta enorma beräkningsresurser för att träna och köra modeller.
  • Svårigheter vid tolkning: Djupinlärningsmodeller kan vara svåra att tolka och förstå, vilket kan göra dem mindre öppna och transparenta.

Se även

Referenser

  1. ^ Goodfellow, I., Bengio, Y. & Courville, A. (2016). *Deep Learning*. MIT Press.
  2. ^ LeCun, Y., Bengio, Y. & Hinton, G. (2015). Deep Learning. *Nature*, 521(7553), 436-444.
  3. ^ LeCun, Y., Bengio, Y. & Hinton, G. (2015). Deep Learning. *Nature*, 521(7553), 436-444.
  4. ^ Schmidhuber, J. (2015). Deep Learning. *Scholarpedia*, 10(11), 7220.

Externa länkar

Differentierbar datoranvändning
General
Differentierbar programmering • Neural Turing maskin • Differentierbar neural dator • Automatisk differentiering • Neuromorf ingenjörskonst • Cable theory • Mönsterigenkänning • Beräkningslärandeteori • Tensorkalkyl
Begrepp
Gradient descent • SGD • Klusteranalys • Regression • Overfitting • Adversary • Attention • Faltning • Förlustfunktioner • Backpropagation • Normalization • Activation • Softmax • Sigmoid • Rectifier • Regularization • Datasets • Augmentation
Programmeringsspråk
Applikationer
Hårdvara
IPU • TPU • VPU • Memristor • SpiNNaker
Mjukvarubibliotek
TensorFlow • PyTorch • Keras • Theano
Implementation
Audiovisuellt
Verbal
Word2vec • Transformator • BERT • NMT • Project Debater • Watson • GPT-2 • GPT-3 • GPT-4
Beslutande
Alphago • AlphaZero • Q-learning • SARSA • OpenAI Five • Självkörande bil • MuZero • Action selection • Robot control
Personer
Alex Graves • Ian Goodfellow • Yoshua Bengio • Geoffrey Hinton • Yann LeCun • Andrew Ng • Demis Hassabis • David Silver • Fei-Fei Li
Organisationer
Deepmind • Hi! PARIS • Openai • MIT CSAIL • Mila • Google Brain

Media som används på denna webbplats

Deep Learning.jpg
Författare/Upphovsman: Sven Behnke, Licens: CC BY-SA 4.0
Schematic overview of layer-wise learning of

feature hierarchies. Increasingly complex features are determined from input using unsupervised learning. The

features can be used for supervised task learning.