Introduction to ANNs

Question 1

Jak dziala backpropagation?

Answer 1

Przechodzi do przodu i do tylu, oblicza gradient bledu ze wzgledu na wszystkie parametry. Potem po prostu dziala Gradient Descent, az do osiagniecia rozwiazania

Szczegolowo:

1. Dzieli dane na batche ( male porcje np po 32)
2. kazdy batch jest przesylany do input layer
3. algorytm wylicza output kazdej warstwy, az do output, kazdy posredni wynik zostaje zachowany
4. mierzymy error
5. mierzymy jak kazde polaczenie OUTPUTU wplynelo na wynik - chain rule (pochodna zlozona)
6. schodzimy nizej i dalej obliczamy wplyw na blad – pomiar gradientu
7. Gradient descent i poprawa wag polaczen

Poczatkowe wartosci wag sa wybrane RANDOMOWO, inaczej moze wgl nie dzialac

Question 2

TLU

Answer 2

_

Question 3

Rodzaje funkcji aktywacyjnych

Answer 3

hyperbolic tangent
logistic function
relu

Question 4

Dlaczego funkcje aktywacyjne zastapily step?

Answer 4

Zastapily proste step functions -step functions zawieraly tylko plaskie odcinki, na ktorych gradient nie moze dzialac, a te maja ciagle pochodne _

Question 5

Po co funkcje aktywacyjne?

Answer 5

Polaczenie transformacji liniowych daje transormacje liniowa

Gdybysmy mieli liniowa zaleznosc miedzy warstwami, wszystkie bylyby rownowazne 1 warstwie, wypadkowej

Question 6

Czym jest huber loss?

Answer 6

Kombincja MSE i MAE

Question 7

Zaleta funkcji softmax i gdzie uzyc

Answer 7

Zwraca wartosci z przedzialu 0,1 ktore sumuja sie do 1. Uzyc klasyfikacji na pare klas

Question 8

Cross-entropy function

Answer 8

_

Question 9

Co jesli nasz model osiaga duzo lepsze wyniki niz na validation set?

Answer 9

_

Question 10

Co jesli nasze dane sa bardzo skosne?

Answer 10

Mozna zwiekszyc wagi mniejszych klas

Question 11

Po co nam sample_weight?

Answer 11

np jakby niektore instancje byly ocenione przez ekspertow

Question 12

Po co multiple outputs?

Answer 12

_

Question 13

Po co wiele loss functions przy multiple outputs?

Answer 13

moga opisywac rozne problemy, mozna im nadac wagi, poniewaz na koncu sie sumuja do lacznego kosztu

Question 14

Jak dziala wide and deep network?

Answer 14

_

Question 15

Po co robic dynamiczne modele?

Answer 15

umozliwiaja tworzenie wlasnych modyfikacji, petli, warunkow

Question 16

Do czego sluza callbacks?

Answer 16

mozna ustalic co model ma robic na starcie, koncu trenowania czy kazdego epocha

Question 17

Jak wprowadzic early stopping?

Answer 17

albo za pomoca ModelCheckPoint - save_best_only

albo za pomoca EarlyStopping

Question 18

Po co i jak korzystac z Tensorboard?

Answer 18

Do wizualizacji trenowania naszego modelu.

Output musi byc zapisywany do binarnych - event files

Question 19

Co trzeba zrobic zeby wykorzystac GridSearch albo Randomized?

Answer 19

trzeba opakowac nasz model w Scikit i uzyc

keras_reg = keras.wrappers.scikit_learn.KerasRegressor(build_model)

Question 20

Jakie sa przykladowe biblioteki do optymalizacji hyperparametrow i na jakiej zasadzie dzialaja?

Answer 20

Dzialaja na zasadzie zoomingu - obiecujace przestrzenie parametrow powinny byc bardziej sprawdzane

np:
Hyperopt
Hyperas
scikit-optimize

Question 21

Dlaczego warto uzyc wiekszej ilosci warstw?

Answer 21

Glebokie sieci maja wyzszy parameter efficiency - moga modelowac skomplikowane rzeczy z duza mniejsza iloscia neuronow niz 1 warstwa - zasada rysowania lasu

lower hidden layers model low-level struc‐
tures (e.g., line segments of various shapes and orientations), intermediate hidden
layers combine these low-level structures to model intermediate-level structures (e.g.,
squares, circles), and the highest hidden layers and the output layer combine these
intermediate structures to model high-level structures (e.g., faces).

Question 22

Jaka powinna byc ilosc neuronow inputu?

Answer 22

taka jaka ilosc cech kazdej instancji

Question 23

strech pants approach

Answer 23

wybieramy model ze zbyt duza iloscia warstw i neuronow -> early stopping zeby zapobiec overfittingowi

Question 24

optymalna learning rate

Answer 24

okolo polowa maksymalnej learning rate –> lepiej zaczac od duzej i dzielic przez 3

Question 25

optymalny rozmiar batch size

Answer 25

generalnie mniej niz 32