Convolutional Networks

Question 1

local receptove field

Answer 1

neurony reaguja tylko na niektore bodzce w ograniczonych rejonach pola widzenia

nakladajace sie na siebie receptive fields moga na siebie nachodzic, zajmujac cale pole

Question 2

LeNet-5

Answer 2

architektura lecun z 1998

Question 3

convolutional layer

Answer 3

neurony w 1 warstwie nie lacza sie ze wszystkimi poprzednimi, ale tylko z tymi w receptive fields

kolejna warstwa laczy sie tylko z tymi neuronami - w efekcie z jakims malym obszarem

nie trzeba zamieniac inputu na 1d

Question 4

zero padding

Answer 4

dodawanie zer na krawedziach w celu stalego rozmiaru warstw

Question 5

stride

Answer 5

przeskok z jednego receptive field do 2, rozmiar warstw sie zmniejsza, mozna wykorzystac dla bardzo duzych danych

Question 6

filters

Answer 6

convolutional kernels
wagi neuronow, reprezentowane jako male obrazy

sa macierzami, ktore uwidaczniaja pewne obszary, np wetykalna linia

Question 7

feature map

Answer 7

efekt zastosowania filtra,
na kazdy pixel przypada 1 neuron,

wszystkie neurony w danej mapie maja te same parametry, co drastycznie redukuje liczbe obliczen

Once the CNN has learned to
recognize a pattern in one location, it can recognize it in any other location

neuron w wyzszej warstwie jest polaczony z wszystkimi neuronami kazdej mapy w danym obszarze

Question 8

pooling layer

Answer 8

probkuje input
nie ma wag
uzywa jakies funkcji agregujacej, np max czy avegrahe
moze byc na glebokosc - rotacje

Question 9

global average pooling layer

Answer 9

oblicza srednia calej mapy, moze byc wykorzystane jako output layer

Question 10

lepsze wieksze czy mniejsze warstwy?

Answer 10

lepsze mniejsze ale nalozone na siebie, oprocz input layer

Question 11

dlaczego ilosc filtrow rosnie?

Answer 11

poniewaz na poczatku ilosc low-level features jest raczej mala, potem jest bardzo duzo mozliwosci polaczenia ich w zaawansowane ksztalty

Question 12

data augmentation

Answer 12

zwiekszanie zbioru danych poprzez dodatkowe transformacje, np translacje, rotacje, cieniowanie itd.

Question 13

local response normalization

Answer 13

metoda nornalizacyjna, najbardziej aktywowane neurony ograniczaja neurony lezace na tej samej pozycji, w pobliskich feature mapach. Zwieksza to roznice miedzy mapami

Question 14

inception modules

Answer 14

subnetworks, wymyslone dla GoogLeNet,

jeden z wymiarow ma dlugosc 1, przez co wylapuja pojedyncze pixele

wylapuja zwiazki na glebokosci,

redukuja wymiary

Question 15

skip connection

Answer 15

signal dochodzacy do warstwy jest przekazywany do warstwy troche wyzej

When training a neural network, the goal is to make it model a target
function h(x). If you add the input x to the output of the network (i.e., you add a skip connection), then the network will be forced to model f(x) =h(x) – x 
rather than h(x). This is called residual learning

umozliwiaj tez nauke nawet jesli niektore warstwy jeszcze nie zaczely

Question 16

tf.image.resize

Answer 16

funkcja do resizu inputu,
nie utrzymuje proporcji

mozna uzyc
tf.image.crop_and_resize()

Question 17

Intersection over

Union (IoU)

Answer 17

funkcja kosztu wykorzystywana do lokalizowania obiektow,

mierzy pole wspolne przewidzianej ramki i faktycznej, dzieli przez ich laczne pole - union

Question 18

jak kiedys dzialala detekcja obiektow?

Answer 18

kiedys: trenowano CNN, siec przesuwala sie po zdjeciu, uzywajac jakiegos prostokata i szukala obiektow, wielkosci prostokata mogly byc rozne - minus: wykrywanie tego samego obiektu pare razy

Question 19

non-max supression

Answer 19

dodajemy objectness output do cnn -prawdopodobienstwo ze obiekt znajduje sie na zdjeciu: sigmoid i binary-cross entropy

potem usuwamy wszystkie ramki z niskim prawdopodobienstwem

znajdujemy bouding box z najwiekszym prawdopodobienstwem i usuwanie innych ramek ktore bardzo sie z nim lacza, powtarzamy az zostanie tylko 1 ramka

Question 20

Fully convolutional networks (FCN)

Answer 20

Zastepujemy dense layers convolucyjnymi

Potrzebne valid padding - wtedy filtr jest rozmiaru inputu -> 1 output

Efektem bedzie taka sama liczba outputow jak w przypadku standardowej dense layer, ktora obliczalaby wazone sumy

W przeciwienstwie do dense layer, moze przetwarzac inputy o dowolnym rozmiarze -> rozne rozmiary zdjec

Efekt bedzie taki sam jak dla dense layer -> mozna skopiowac wagi z dense layer

Przetwrz dane zdjexie tylko raz

Question 21

YOLOv3

Answer 21

You only look once

5 bounding boxes na kazda komorke, dla kazdego liczymy objectness

20 class probabilities na komorke

zamiast wyliczac absolutne wspolrzedne na zdjeciu, wylicza je w dla kazdej komorki 0-1

przed trenowaniem, znajduje 5 wzorcowych bounding box dimensions - anchor boxes, za pomoca algorytmu K-means - > dobre rozmiary bounding boxes

siec jest trenowana za pomoca zdjec o roznych rozmiarach

Question 22

Semantic segmentation

Answer 22

Klasyfikuje sie kazdy pixel do jakiejs klasy,

Nie odroznia sie instancji obiektow

Prpblem wynika ze zmiany rozmiaru zdjecia przechodzacefo przez filtry, siec moze wiedziec ze jest tam obiket ale nie wie gdzie dokladnie

Question 23

bottleneck layer

Answer 23

ostatnia konwolucyjna warstwa przed output layer