WY1 - Sieci neuronowe z radialnymi funkcjami bazowymi Flashcards
Czym są funkcje radialne?
funkcje radialne mapują relacje lokalne, gdzie perceptrony
(np. neurony sigmoidalne) mapują relacje globalne
Przykłady funkcji radialnych
liniowa
gaussowska
multiquadratic (wielokwadratowa)
inverse multiquadratic
thin-plate spline (cienkiej płytki)
wielomianowa
RBF jako problem aproksymacji
dla radialnych f. bazowych macierz interpolacji H dodatnio
określona (Light 1992)
dla wąskich f. Gaussowskich (gdy H ≈ I ) istnieje rozwiązanie
w = y o niskiej generalizacji
problem źle określony, przewymiarowanie
hiperpłaszczyzna interpolacji nie jest gładka większe dyspersje σ i mniej funkcji (K < N) → lepsza generalizacja
Sieć GRBF (Generalized RBF)
gdy K < N liczba funkcji radialnych jest mniejsza niż liczba wzorców
Jak trenować RBF
2 etapy:
Ustawienie funkcji bazowych.
Rozwiązanie układu równań (pseudoinwersja).
Jednoczesne uczenie: Centra, dyspersje i wagi metodami gradientowymi (np. wsteczna propagacja).
Inicjalizacja centrów: Losowa, klasteryzacja, samoorganizacja, probabilistyczna.
Inicjalizacja dyspersji: Stała, zależna od gęstości danych, średnie odległości od innych klas.
Ustalanie centrów sieci RBF
Aproksymacja: Centra w minimum i maksimum, usuwanie wzorców z otoczenia, reszta równomiernie.
Klasyfikacja: Centra blisko granic decyzyjnych lub w centrach klas.
Losowy wybór: Prosta i skuteczna metoda.
Douczanie centrów: Klasteryzacja, samoorganizacja, LVQ.
Ustalanie dyspresji sieci RBF
wymagane gładkie odwzorowanie, rozmycie pełni rolę
regularyzacji
„pola recepcyjne” wszystkich funkcji bazowych powinny
pokrywać cały obszar danych wejściowych
pola recepcyjne sąsiadujących funkcji bazowych powinny
nakrywać się w niewielkim stopniu
Konstruktywny RBF
GAL (Growing and Learning)
GrRBF (Growing Radial Basis Function)
FEN (Function Estimation Networks)
RAN (Resource Allocation Networks)
Klasyfikatory Gaussowskie, sieci probabilistyczne
