ANN Flashcards
Cos’è una rete neurale artificiale?
Le reti neurali artificiali (ANN) sono un modello di ML ispirato al funzionamento del cervello umano. Sono composte ad unità di elaborazione (neuroni artificiali) organizzati in strati successivi.
La struttura è un insieme di neuroni artificiali interconnessi tra loro organizzati in strati successivi.
Gli strati possono essere di 3 tipi:
- Input: dove vengono presi gli input e trasmessi ai neuroni successivi
- Hidden: strato intermedio dove vengono elaborati gli input e estraggono informazioni
- Output: viene prodotto l’output
Ogni connessione tra gli strati rappresenta le interazioni tra essi, e hanno un peso associato che indica l’importanza della relazione.
Ogni neurone applica una funzione di attivazione alla somma pesata dei suoi input, consentendo di apprendere relazioni complesse nei dati.
Il percettrone è l’architettura più semplice di ANN, Linear threshold unit (LTU).
È un neurone artificiale che prende in input vari numeri effettua la somma pesati di essi, aggiungendo il termine di bias, è applica una funzione di attivazione sulla somma, il risultato verrà poi passato agli strati successivi.
La funzione di attivazione predice una probabilità in output.
Neurone biologico
I neuroni biologici sono le cellule del sistema nervoso negli organismi viventi, inclusi gli esseri umani. Ogni neurone biologico è composto da un corpo cellulare, dendriti (che ricevono segnali da altri neuroni), un assone (che trasmette segnali ad altri neuroni o cellule) e sinapsi (connessioni tra neuroni).
Funzione: I neuroni biologici ricevono segnali elettrici e chimici attraverso le sinapsi dai neuroni vicini. Quando il segnale raggiunge una certa soglia, il neurone produce un potenziale d’azione che si propaga lungo l’assone e viene trasmesso ad altri neuroni attraverso le sinapsi.
Funzione sigmoid
Ritorna un valore tra 0 e 1. È differenziabile ed monotona. Può causare un blocco durante la fase di training.
Come allenare il percettrone?
Viene usato un algoritmo basato sulla regola di HEBB che tiene conto dell’errore commesso. Il percettrone viene allenato con un’istanza di training alla volta, e per ogni istanza fa una previsione. Per ogni neurone di output che ha predetto in modo sbagliato, rafforza i pesi delle connessioni dagli input che avrebbero contribuito alla previsione corretta.
Teorema di HEBB
La regola di HEBB afferma che il peso delle connessioni tra due neuroni aumenta ogni volta che hanno lo stesso output.
Teorema della convergenza del percettrone
Se le istanze di training sono linearmente separabili, allora questo algoritmo converge ad una soluzione.
Backpropagation
è un algoritmo per il training delle reti neurali, adatta i pesi in modo da minimizzare la funzione di costo:
- Per ogni istanza di training si effettua una previsione, calcola l’output di ogni neurone in ogni strato consecutivo. Misura l’errore di output della rete come la differenza tra output desiderato e previsto. Passa attraverso ogni livello all’indietro per misurare il contributo di errore di ciascuna connessione e infine modifica i pesi delle connessioni per ridurre l’errore utilizzando il gradient descent. Usa la funzione logistica.
