U6 Flashcards
Co to perceptron?
Jeden z pierwszych modeli neuronu zastosowany w sztucznych sieciach neuronowych. Jest najprostszym elementem decyzyjnym, obliczającym decyzje na podstawie ważonej sumy zmiennych wejściowych.
Co to Perceptron wielowartwowy(MLP)?
Zbiór perceptronów, ułożonych w przynajmniej dwie warstwy. Pierwsza warstwa, wejściowa pobiera sygnały wejściowe, ostatnia warstwa nazywana wyjściową, zwraca sygnały wyjściowe. Pomiędzy tymi warstwami może być wiele dodatkowych warstw, które nazywamy ukrytymi. MLP zamiast od razu podejmować decyzję, rozkłada pomiędzy warstwami rozpoznanie pewnych elementarnych cech sygnału wejściowego, przez co warstwy wyjściowe podejmują decyzję na podstawie bardziej istotnych kategorii niż zmienne wejściowe.
Jakie są rodzaje funkcji aktywacji (σ) neuronu?
- Funkcja krokowa
- Funkcja sigmoidalna (krzywa logistyczna)
Czym są sieci jednokierunkowe?
Sieci jednokierunkowe, zwane także sieciami jednokierunkowymi (feedforward networks), są jednym z podstawowych typów architektur sieci neuronowych. Charakteryzują się tym, że dane przetwarzane są tylko w jednym kierunku – od warstwy wejściowej, przez ukryte warstwy, aż do warstwy wyjściowej, bez cykli wstecznych.
Jakie są efekty regularyzacji?
- unikanie przeuczenia
- szybsza zbieżność do większej dokładności obliczeń
- mniejsza czułość na wybór wartości początkowych i unikanie minimów lokalnych funkcji kosztu
Co to Regularyzacja?
Technika polegająca na takiej modyfikacji funkcji kosztu, aby zmusić sieć do uczenia się w bardziej pożądany
sposób(aby funkcja sieci była bardziej regularna)
Na czym polega metoda dropout?
Metoda regularyzacji zupełnie inna od poprzednich. Polega na wielokrotnym usuwaniu losowo wybranych neuronów w trakcie uczenia (tymczasowo). Po zakończeniu fazy uczenia z usuniętymi neuronami, są one przywracane a następnie inny losowy zestaw neuronów usuwany, i uczenie kontynuowane. Ostatecznie wytrenowana sieć pracuje z wszystkimi oryginalnymi neuronami.
Jakie są główne parametry sieci neuronowej?
- liczba i rodzaj neuronów
- liczba warstw i podział między warstwami ukrytymi
- zestaw wag i biasów
Jakie są hiper-parametry sieci neuronowej związana z procesem uczenia?
- współczynnik uczenia η
- współczynnik regularyzacji λ
- wielkość mini serii
Jaka jest strategia prowadzenia projektu z siecią neuronową?
Pierwszym celem powinno być osiągnięcie efektu uczenia lepszego niż przypadkowy, co oznacza, że model zaczyna uczyć się w sposób sensowny.
Po uzyskaniu pierwszych wskazówek, że sieć uczy się pożądanych właściwości, można eksperymentować z parametrami i hiper-parametrami procesu uczenia
Czym jest wczesne zatrzymywanie?
Polega na monitorowaniu postępu uczenia na zbiorze walidacyjnym. Kiedy dokładność uczenia obliczona na zbiorze walidacyjnym przestaje się poprawiać, zatrzymujemy uczenia, pomimo iż poprawa dokładności nadal byłaby możliwa na zbiorze treningowym.
Na czym polega dostrajanie współczynnika uczenia η?
Usprawnienie tego współczynnika polega na zmniejszeniu go w miarę postępu optymalizacji sieci. Po zatrzymaniu uczenia współczynnik η należy kilkukrotnie zmniejszyć i ponowić próbę uczenia. Można powtarzać wielokrotnie, dopóki wykrywamy poprawę kryterium uczenia.
Czym są sieci głębokie?
Sieć głębokie posiadają wiele warstw ukrytych. Zamiast generować końcowe wyniki w jednym kroku, tworzone są warstwy abstrakcji do analizy problemu. Ma to wielkie znaczenie w erze big data, ponieważ podejmowane są coraz bardziej złożone zagadnienia.
Sieć z gęstymi połączeniami, a sieć
konwolucyjna?
- Warstwy gęste uczą się cech parametrów globalnych, a warstwy konwolucyjne uczą się lokalnych wzorców
- Wzorce rozpoznawane przez sieć konwolucyjną są niezależne od przesunięcia
- Sieci konowulcyjne mogą się uczyć hierarchii przestrzennej wzorców
Dlaczego nie możemy stosować
standardowej głębokiej sieci zawierającej w
pełni połączone warstwy?
Nie nadają się do większych obrazów z powodu olbrzymiej liczby
parametrów
