Week 5 Flashcards

1
Q

M

A

The size of the hypothesis set H

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

What does sample complexity denote?

A

Denotes how many training examples N are needed to achieve a certain generalization performance.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

What does the parameter epsilon denote?

A

the error tolerance, determines the allowed generalization error.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

What does the parameter delta denote?

A

the confidence parameter, determines how often the error tolerance (epsilon) is violated.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Als dvc eindig is, dan is mH(N)…

A

mH(N) <_ N^(dvc + 1)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Bij een kleine dvc en een grote N is de kans groot dat…

A

Eout ~~ Ein

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Kunnen verschillende hypothesen dezelfde dichotomie geven?

A

Ja, vaak zelfs.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wat denoteert de VC-dimensie dvc?

A

Het is de grootste N zodat mH(N) = 2^N. Meet de complexiteit van hypotheseruimte H.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Wat is de formule voor het kleinste breekpunt van een hypotheseruimte H?

A

dvc+1

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Wat is de Bias-variance analyse voor iets?

A

Een andere manier om naar het effect van model-complexiteit te kijken.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

g(D)

A

de hypothese g die het algoritme zou kiezen bij data D.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Bias

A

Het kwadraat van de afstand tussen de gemiddelde hypothese -g- en de target functie f.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Waar kun je de groeifunctie en de VC-dimensie voor gebruiken?

A

Om te laten zien dat bij kleine dvc en grote N, de kans groot is dat E.in ~~ E.out.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Waar is de bias-variance analyse vooral goed voor?

A

Regressie met kwadratische fout.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Wat is de manier om E.out(g) op te splitsen in bias-variance analysis?

A

De afstand tussen f en de gemiddelde g, en de afstand tussen de gemiddelde g en g.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Wat is g(D) in bias-variance analysis?

A

De hypothese die ons algorithme zou kiezen bij dataset D.

17
Q

Geef de formule voor de out-of-sample error bij kwadratische ruis:

A

E.out ( g(D) ) = E.x ( g(D)*x - f(x) ) ^2

18
Q

Variance

A

Maat voor de gemiddelde afstand tussen hypothese g en de gemiddelde hypothese.

19
Q

Wat is de bias-variance trade-off bij grotere hypotheseklasse?

A

Kleinere bias, maar grotere variance.

20
Q

Welke twee eigneschappen tel je op als je wordt gevraagd: welke is beter in termen van kwadratische error?

A

Error = Bias + variance.

21
Q

What is B(N,k) for k=1?

A

1

22
Q

What is B(N,k) for N=1 and k>2?

A

2

23
Q

What is a popular rule of thumb for the size of N in order to get a decent generalization?

A

N = 10 x dvc