Deep Learning

Question 1

Czym jest neck?

Answer 1

Neck, czyli “szyja”, to element architektury sieci neuronowej, który łączy główny model z głową. W złożonych modelach wykorzystywanych do analizy obrazów, neck często pełni rolę przekształcania cech ekstrahowanych przez “backbone” w formę bardziej odpowiednią dla finalnych predykcji.

Question 2

Czym jest backbone?

Answer 2

Backbone, czyli “rdzeń”, to główna część sieci neuronowej odpowiedzialna za wykrywanie i ekstrakcję cech z obrazu. To zazwyczaj konwolucyjna struktura, często oparta na sieciach takich jak VGG, ResNet czy Inception, wykorzystywana do zapewnienia modelowi początkowych informacji o obrazie.

Question 3

Czym jest head?

Answer 3

Head, czyli “głowa”, to ostatnia część sieci neuronowej, która przetwarza wyekstrahowane cechy w ostateczne wyniki. To w głowie znajdują się warstwy wyjściowe, które generują predykcje na podstawie cech przekształconych przez neck i backbone.

Question 4

Czym jest CNN?

Answer 4

CNN (Convolutional Neural Network) to rodzaj sieci neuronowej specjalizujący się w przetwarzaniu obrazów poprzez wykorzystanie warstw konwolucyjnych. Te warstwy potrafią wyodrębniać hierarchiczne cechy z obrazu, umożliwiając modelom uczenie się istotnych wzorców.

Question 5

Co to underfitting? Jak zaradzić mu?

Answer 5

Underfitting to sytuacja, w której model jest zbyt prosty i nie jest w stanie dobrze uchwycić złożoności danych treningowych ani generalizować na nowe dane. Można temu zaradzić poprzez zwiększenie złożoności modelu, dostarczenie bardziej zróżnicowanych danych treningowych lub poprawę procesu uczenia, na przykład poprzez dostosowanie hiperparametrów.

Question 6

Co to overfitting? Jak zaradzić mu?

Answer 6

Overfitting to sytuacja, w której model jest zbyt dokładnie dopasowany do danych treningowych i nie generalizuje dobrze na nowe dane. Można mu zaradzić poprzez zastosowanie technik regularyzacji, takich jak dropout czy L2-norm, a także dostarczenie większej ilości różnorodnych danych treningowych.

Question 7

Czym jest problem martwego neurona i gdzie występuje?

Answer 7

Problem martwego neurona występuje w przypadku funkcji aktywacji ReLU, gdzie dla ujemnych wejść gradient funkcji wynosi 0, co może prowadzić do zatrzymania uczenia dla tych neuronów. To zjawisko może wpływać na wydajność sieci, ale można mu zaradzić poprzez stosowanie wariantów ReLU, takich jak Leaky ReLU.

Question 8

Wymień różnice pomiędzy R-CNN, Fast R-CNN, Faster R-CNN, SSD, YOLO

Answer 8

R-CNN: Wykrywanie w dwóch krokach, kosztowne obliczeniowo.
Fast R-CNN: Efektywniejsze wykrywanie, wspólne cechy dla regionów.
Faster R-CNN: Integracja wykrywania z siecią region proposal network (RPN), bardziej efektywne.
SSD: Wykrywanie w wielu skalach poprzez różne warstwy.
YOLO: Wykrywanie w czasie rzeczywistym, podział obrazu na siatkę.

Question 9

Wymień funkcje straty

Answer 9

MSE (Mean Squared Error), Cross-Entropy, KL-Divergence, Hinge Loss.

Question 10

Wymień funkcje aktywacji

Answer 10

ReLU, Sigmoid, Tanh, Leaky ReLU.

Question 11

Jaki problem ma standardowa implementacja funckji aktywacji ReLU?

Answer 11

Dla ujemnych wejść gradient wynosi 0, co może prowadzić do martwych neuronów.

Question 12

Czym jest softmax?

Answer 12

Softmax to funkcja normalizująca wyniki sieci na postaci rozkładu prawdopodobieństwa, używana głównie w zastosowaniach klasyfikacyjnych.

Question 13

Jakiej funkcji straty użyjemy w przypadku multiclass classification?

Answer 13

Cross-Entropy Loss

Question 14

Czym jest IoU?

Answer 14

IoU (Intersection over Union) to wskaźnik, który mierzy pokrycie między dwoma obszarami, często używany do oceny dokładności w zadaniach detekcji.

Question 15

Czym są augmentacje i jakie znasz augmentacje?

Answer 15

Augmentacje to techniki zmiany danych treningowych w celu zwiększenia różnorodności. Przykłady to: obrót, odbicie lustrzane, zmiana jasności, przycinanie, zmiana kontrastu.

Question 16

Jak radzić sobie z nierównymi zbiorami danych pomiędzy klasami?

Answer 16

Możemy zastosować techniki takie jak oversampling, undersampling, generowanie sztucznych przykładów (augmentacje) dla mniej licznych klas, lub użyć ważonych funkcji straty.

Question 17

Jakie znasz hiperparametry modelu?

Answer 17

Przykłady to learning rate, liczba warstw, liczba neuronów, batch size, współczynnik regularyzacji, funkcje aktywacji.

Question 18

Kiedy wybierzemy precision, a kiedy recall?

Answer 18

Precision jest wybierane, gdy zależy nam na minimalizacji fałszywych pozytywów. Recall jest wybierane, gdy zależy nam na minimalizacji fałszywych negatywów.

Question 19

Czym jest F1 score?

Answer 19

F1 score to miara równowagi pomiędzy precision a recall, dobrze reprezentująca jakość klasyfikacji.

Question 20

Dlaczego nie powinniśmy używać tylko warstwy Dense do rozpoznawania obiektów z obrazów

Answer 20

Warstwy Dense nie zachowują struktury przestrzennej obrazu. Warstwy konwolucyjne są bardziej odpowiednie, ponieważ ekstrahują lokalne wzorce.

Question 21

Co charakteryzuje modele ResNet?

Answer 21

Modele ResNet wykorzystują skip connections, pozwalając na efektywniejsze uczenie głębokich sieci i przeciwdziałanie zanikającym gradientom.

Question 22

Co oznacza końcowa liczba w architekturach ResNet (ResNet-50, ResNet-101 itd.)

Answer 22

To liczba warstw w modelu, 50 oznacza 50 warstw, 101 oznacza 101 warstw, a tak dalej.

Question 23

Jak różni się ResNet od YOLO i kiedy wybierzemy jedno ponad drugie?

Answer 23

ResNet to model głębokiej klasyfikacji lub segmentacji. YOLO to model wykrywania obiektów w czasie rzeczywistym. Wybieramy w zależności od głównego zadania: klasyfikacja/segmentacja vs. wykrywanie.

Question 24

Czym jest normalizacja danych?

Answer 24

Normalizacja to przekształcenie danych w taki sposób, żeby miały określony zakres, np. [0, 1] lub [-1, 1]. Jest przydatna, gdy chcesz zachować relatywne proporcje między wartościami. Jeśli zakres danych nie ma znaczenia, ale ważne są relacje między wartościami, normalizacja może być bardziej odpowiednia niż standaryzacja.

Question 25

Czym jest standaryzacja danych?

Answer 25

Standaryzacja polega na przekształceniu danych w taki sposób, żeby miały średnią równą 0 i odchylenie standardowe równa 1. Jest to szczególnie przydatne, gdy algorytmy uczenia maszynowego lub statystyczne są wrażliwe na różnice w skali między zmiennymi. Przykładowo, algorytmy oparte na odległościach (np. k-means, SVM) oraz algorytmy gradientowe (np. regresja liniowa, sieci neuronowe) mogą skorzystać z danych standaryzowanych, aby uniknąć dominacji jednej zmiennej nad innymi ze względu na jej większy zakres.

Question 26

Czym jest TFLOPS i jak się ma w odniesieniu do modeli deep learningowych?

Answer 26

TFLOPS (Tera Floating Point Operations Per Second) to miara wydajności obliczeń zmiennoprzecinkowych na sekundę. W odniesieniu do modeli deep learningowych, oznacza, ile operacji zmiennoprzecinkowych może wykonać model w ciągu sekundy.

Question 27

Czym różni się instance segmentation od semantic segmentation?

Answer 27

Instance segmentation identyfikuje każdy obiekt na obrazie osobno, przypisując unikalne etykiety. Semantic segmentation przypisuje ogólną kategorię (np. “pies”, “samochód”) do każdego piksela bez rozróżniania konkretnych instancji.

Question 28

Co charakterystycznego w swojej architekturze zawierają modele instance segmentation?

Question 29

Co charakterystycznego w swojej architekturze zawierają modele Faster RCNN?

Answer 29

Modele Faster RCNN zawierają dwa etapy: Region Proposal Network (RPN) i klasyfikator. RPN wykrywa regiony, które mogą zawierać obiekty, a klasyfikator klasyfikuje te regiony jako obiekty lub tło.

Question 30

Czym jest RPN?

Answer 30

RPN to sieć neuronowa, która wykrywa regiony, które mogą zawierać obiekty.

Question 31

Opisz krótko jak działa konwolucja

Answer 31

Konwolucja to operacja matematyczna, która przetwarza sygnał wejściowy przez maskę. Maska określa, które wartości sygnału wejściowego zostaną zachowane, a które zostaną odrzucone.

Question 32

Czym jest stride i padding w warstwach konwolucyjnych?

Answer 32

Stride to liczba pikseli, o jaką maska jest przesuwana w każdym kroku. Padding to liczba pikseli, o jaką maska jest rozszerzana na każdym brzegu.

Question 33

Czym jest rozmiar jądra konwolucji? (kernel size)

Answer 33

Rozmiar jądra konwolucji to liczba pikseli, które są jednocześnie przetwarzane przez warstwę konwolucyjną. Rozmiar jądra ma wpływ na poziom abstrakcji reprezentowanej przez warstwę konwolucyjną. Małe jądra reprezentują niski poziom abstrakcji, podczas gdy duże jądra reprezentują wysoki poziom abstrakcji.

Question 34

Jaki problem ma sigmoid?

Answer 34

Główny problem sigmoidu to zjawisko zanikającego gradientu. Wartości sigmoidalne są ograniczone do zakresu (0, 1), co oznacza, że pochodna funkcji w tych wartościach jest mała. W praktyce, podczas propagacji wstecznej błąd może maleć eksponencjalnie w miarę oddalania się od wartości 0 i 1, co prowadzi do bardzo małych gradientów i utrudnia efektywną aktualizację wag w procesie uczenia. To z kolei może prowadzić do bardzo wolnego lub utrudnionego uczenia się modelu.

Question 35

Po co stosujemy i jak działa dropout?

Answer 35

Dropout to technika regularyzacji stosowana w sieciach neuronowych w celu poprawy ogólnej zdolności uogólniania modelu oraz zapobieżenia przeuczeniu (overfitting). Głównym celem dropout jest zmniejszenie zależności pomiędzy neuronami w sieci poprzez losowe ignorowanie niektórych z nich podczas każdej iteracji uczenia. To pomaga wzmocnić zdolność modelu do ogólnego uogólniania poprzez uniemożliwienie przekształcenia się poszczególnych neuronów w sieć zbyt wyspecjalizowaną dla konkretnego zestawu danych treningowych.

Question 36

Po co stosujemy i jak działa batch normalization?

Answer 36

Batch Normalization (normalizacja wsadowa) to technika stosowana w sieciach neuronowych w celu poprawy procesu uczenia oraz przyspieszenia zbieżności modelu. Głównym celem batch normalization jest normalizacja wartości aktywacji wewnątrz sieci neuronowej poprzez standaryzację tych wartości w każdej miniwsadzie (batch) danych treningowych.

Question 37

Co to sieć neuronowa?

Answer 37

Sieć neuronowa, znana również jako sztuczna sieć neuronowa, to model matematyczny inspirowany działaniem ludzkiego mózgu, który służy do rozwiązywania problemów poprzez analizę danych. Składa się z połączonych ze sobą neuronów, które przetwarzają informacje i uczą się rozpoznawać wzorce w danych. Sieci neuronowe są podstawowym elementem uczenia maszynowego i głębokiego uczenia.

Question 38

Jakie elementy zawiera sieć neuronowa?

Answer 38

Neurony, wagi, funkcje aktywacji, warstwy, funkcje straty, algorytm optymalizacji

Question 39

Co jest wykonywane najpierw? Backpropagation czy Gradient Descent?

Answer 39

Gradient Descent jest wykonywany jako pierwszy krok, aby obliczyć kierunek aktualizacji wag na podstawie gradientów funkcji straty. Następnie Backpropagation jest używany do obliczenia tych gradientów, a konkretnie do przekazywania gradientów wstecz przez sieć w celu aktualizacji wag. Oba te kroki są kluczowe dla procesu uczenia sieci neuronowej.