Grunder för maskininlärning

Question 1

Data delas upp i tre dataset:

Answer 1

• Träningsdata
• Valideringsdata
• Testdata

Question 2

Träningsdata

Answer 2

Den data som modellen tränar på
- Hitta mönster och generalisera

Question 3

Valideringsdata

Answer 3

Används under träningens gång, ofta efter epoch. För att se om generaliseringen är bra eller lutar mot overfitting

Question 4

Testdata

Answer 4

Den data som används när träningen är klar
- Data som modellen aldrig tidigare sett
- Testar generaliseringsförmåga

Question 5

Generaliserbarhet

Answer 5

Modellens förmåga att prestera bra på ny osedd data
- För at undvika overfitting

Question 6

Overfitting

Answer 6

När modellen lär sig brus och detaljer
- Anpassad efter specifika träningsdatan
- Inte lärt sig mönstret
- Kan inte prestera på osedd data
- Kan inte generalisera

Question 7

Optimering

Answer 7

Process där modellens parametrar justerar för att minska loss function

Question 8

Vad är målet med träningen?

Answer 8

Få modellen att hitta underliggande mönster och kunna generalisera

Question 9

Optimerare

Answer 9

Algoritmer som används för att justera vikterna under träningens gång

• Gradient Descent
• Stochastic Gradient Descent
• ADAM

Question 10

Gradient Descent

Answer 10

Beräknar derivatan över hela träningsdatan

Question 11

Stochastic Gradient Descent

Answer 11

Beräknar derivatan, men justerar vikt efter varje enskild data, inte för hela datasetet

Question 12

ADAM

Answer 12

Avancerad och dynamisk för varje parameter

Question 13

Outliers

Answer 13

Avvikande värden på data

Datapunkterna är inte optimala och ger en missvisande träning, påverkar underliggande mönstret fel
- Vilket leder till overfitting

Question 14

Noise

Answer 14

Brusig data

• Slumpmässiga variationer som inte är relaterade till det verkliga mönstret.
• Kan användas för att skapa data

Question 15

Underfitting

Answer 15

När en modell är för enkel eller otränad
- Inte lyckats fånga det underliggande mönstret

Question 16

The manifold hypothesis

Answer 16

Att man kan få högdimensionell data till lägre dimensioner utan att förlora viktig information

-Beskriver hur en bild som är högdimensionell och kanske har 1000 pixlar kan beskrivas med någora få parametrar som färg och ljusstyrka

Question 17

Interpolering

Answer 17

Matematisk metod för att uppskatta värden inom ett intervall baserat på kända värden.

Ex skapa en funktion som ligger mellan en handskriven 6 och 0. För att sedan kunna sätta en gräns när de övergår

Question 18

K-fold validation

Answer 18

Metod för att utvärdera modellen under pågående träning
Delar upp data för att testa prestation efter varje iteration

Question 19

Batchstorlek

Answer 19

Hur många datapunkter som används för varje iteration

Question 20

Iteration

Answer 20

Ett steg i träningen där en batch används

Question 21

Epoch

Answer 21

När all data passerat genom modellen en gång

Question 22

Learning rate

Answer 22

Bestämmer hur mycket modellen ska justera sina vikter för varje iteration

Question 23

Vad är det som producerar en output i en perceptron?

Answer 23

Aktiveringsfunktionen

Question 24

Hur gör man för att hantera med komplexa klassificeringsproblem med en perceptron?

Answer 24

Man sätter ihop flera perceptroner
- Multi layer perceptron

Question 25

Vilka logiska funktioner kan man hantera med single layer perceptron?

Answer 25

AND - två villkor som måste uppfyllas för aktivering OR - något eller båda villkor måste uppfyllas för aktivering

Question 26

Varför kan single layer perceptron klassificera AND och OR?

Answer 26

Eftersom det är linjärt separerbart

Question 27

Vad innebär det att OR är inklusiv?

Answer 27

Att funktionen inkluderar både fallen som orsak till aktivering

Question 28

Vad menas med att en funktion är exklusiv?

Answer 28

Att båda fallen INTE får vara sanna samtidigt för en output på 1. Det är exklusivt/enbart en enda indata som får vara 1 Detta är icke-linjärt separerbart

Question 29

Är XOR separerbart eller inte

Answer 29

ICKE-separerbart Vi behöver multilayer perceptron för detta

Question 30

Multi-layer perceptron

Answer 30

En perceptron där man lägger till hidden layer. Ger indirekt ett nätverk med flera perceptroner som arbetar parallellt. - AND - OR - XOR

Question 31

Brukar man behöva flest neuroner i ingångslager eller hidden layer?

Answer 31

Hidden layer

Question 32

Credit assignment problem

Answer 32

När man inte vet vilka vikter det är som orsakar problemet, i vilket lager?!

Question 33

Vilken är vanligaste formen av backpropagation?

Answer 33

Gradient Descent