Custom models and training with tensorflow

Question 1

konwersja w tensorflow

Answer 1

nie jest automatyczna,
zeby ograniczyc bledy i przyspieszyc

trzeba uzyc tf.cast()

Question 2

zmienne

Answer 2

tf.contant

albo tf.Variable`

Question 3

assing()

Answer 3

sluzy do modyfikacji w miejscu\

Question 4

scatter_update

Answer 4

sluzy do zmian w miejscu indywidualnych komorek

v.scatter_nd_update(indices=[[0, 0], [1, 2]], updates=[100., 200.])

Question 5

jak uzyc wlasnej funkcji kosztu?

Answer 5

model.compile(loss=huber_fn, optimizer

przy wczytywaniu gotowego modelu trzeba zmapowac nazwe funckcji do funkcji

Question 6

tf.where()

Answer 6

zwraca te elementy ktore spelniaja warunek

Question 7

metryki

Answer 7

powinny miec latwo intepretowalne,
nie musza byc rozniczkowalne i miec gradient rozny od 0
sluza do oceny modelu

mozna zrobic wlasna klase, ktora dziedziczy po keras.metrics.Metric

Question 8

tworzenie wlasnych warstw

Answer 8

warstwa bez zadnych wag : keras.layers.Lambda()

customowa warstwa -> dziedziczenie po keras.layers.Layer

build() -> tworzenie zmiennych dla warstwy: wykoprzystanie add_weight()

call->wykonuje operacje

Question 9

jak stworzyc layer z wieloma inputami?

Answer 9

call powinien przyjmowac tuple z inputami

Question 10

jak stworzyc layer ktory zachowuje sie inaczej podczas treningu i testowania?

Answer 10

trzeba dodac argument training do call()

Question 11

autodif - do czego i jak dziala?

Answer 11

zeby nie liczyc przyblizonej pochodnej w punkcie dla kazdego parametru osobno

nalezy wykorzystac tf.GradientTape contex i uzyc f(parametry)

automatycznie sie usuwa po zakonczeniu, mozna wykorzystac tylko raz

jesli trzeba wiecej razy -> parametr persistent

Question 12

jak zatrzymac backpropagation niektorych czesci sieci?

Answer 12

tf.stop_gradient

Question 13

niestabilnosc numeryczna gradientu

Answer 13

czasami z powodu bledow prezycji funkcja moze dzielic nieskonczonosc przez nieskonczonosc,

mozna wtedy analitycznie obliczyc funkcje i ustawic ja w zamian -> dekorator @tf.custom_gradient

Question 14

jak przeksztalcic funkcje z pythona w funkcje tensorflow>

Answer 14

albo dekorator albo tf.function(funkcja)

bedzie dzialac szybciej i zrobi nam graf