Ia Flashcards
Che cos’è l’intelligenza?
Capacità di un agente di affrontare e risolvere con successo situazioni e problemi nuovi o sconosciuti
Chi ha introdotto l’idea di creare macchine intelligenti e in quale anno?
Turing nel 1950
Definisci intelligenza artificiale (IA)
Studio di agenti intelligenti che percepiscono il loro ambiente e producono azioni volte a massimizzare la probabilità di successo nel raggiungere i loro scopi
Che cos’è l’IA debole (narrow)?
Intelligenza artificiale in grado di eguagliare o superare un essere umano in un compito strettamente definito e strutturato
Che cos’è l’IA forte (general)?
Consente alle macchine di applicare conoscenze e abilità in diversi contesti, anche di tipo nuovo
Qual è l’obiettivo della prospettiva ingegneristica nell’AI?
Imitare l’intelligenza umana, raggiungendo o superando i benchmark umani
Qual è l’obiettivo della prospettiva delle scienze cognitive nell’AI?
Avvicinarsi il più possibile al comportamento umano anche quando questo non è ottimale
Cos’è il test di Turing?
Serve a stabilire se una macchina è intelligente, in quanto un osservatore umano non deve riuscire a discriminare un testo scritto da un umano da uno scritto dalla macchina
Cosa significa machine learning?
Metodi e algoritmi che permettono ad un software di apprendere dai dati
Cosa significa deep learning?
Algoritmi di apprendimento basati su reti neurali artificiali
Quali sono le due vie verso l’AI?
- La mente come un computer
- La mente emerge dalle dinamiche di reti neurali complesse in interazione con l’ambiente
Definisci approccio logico-simbolico nell’AI
Pensare = manipolare, attraverso regole, strutture simboliche di rappresentazione
Quali sono le limitazioni dell’AI simbolica?
- Conoscenza sul dominio deve essere trasmessa da un esperto umano
- Difficoltà a trasmettere conoscenze empiriche (implicite)
Cos’è l’approccio neurale (connessionismo)?
Pensare = attività di neuroni che formano complesse reti neurali
Cosa afferma la regola di Hebb?
Se due neuroni scaricano in contemporanea si rafforza il legame tra loro
Cosa rappresenta un neurone biologico?
Rilevatore di condizioni attraverso la frequenza di scarica
Quali sono gli elementi di base di una rete neurale?
- Neuroni (unità di elaborazione)
- Reti neurali
- Apprendimento
Che cos’è un neurone formale?
Un modello matematico che cerca di catturare gli aspetti fondamentali del funzionamento neuronale
Quali sono i tre tipi di schema di connettività in una rete neurale?
- Reti feed-forward
- Reti ricorrenti
- Reti interamente ricorrenti
Cosa manca nel tipico neurone artificiale rispetto a quello biologico?
- Organizzazione spaziale dei contatti sinaptici
- Differenziazione tra neuroni eccitatori ed inibitori
Quali sono gli elementi fondamentali della teoria dei grafi?
- Nodi (vertici o unità)
- Archi (connessioni o spigoli)
- Pesi
Che cos’è una variabile casuale?
Variabile il cui valore è definito in base ad una qualche funzione di probabilità
Definisci probabilità condizionata
Probabilità di osservare un certo comportamento di una o più variabili casuali dato il valore di altre variabili
Qual è l’obiettivo principale degli algoritmi di apprendimento automatico?
Fare in modo che l’algoritmo stesso possa modificare la propria struttura con l’esperienza
Cosa si intende per apprendimento e memoria nelle reti?
Il sistema modifica la forza delle connessioni sinaptiche in base alle informazioni rilevate in un particolare insieme di esempi di addestramento
Cosa significa che un algoritmo può modificare la propria struttura con l’esperienza?
Il comportamento dell’algoritmo dipende dal valore di alcuni suoi stati interni e l’algoritmo può modificare autonomamente tali stati in base all’esperienza ricevuta.
Qual è la funzione delle reti neurali artificiali nel machine learning?
Modificano la forza delle connessioni sinaptiche in base alle informazioni di un insieme di esempi di addestramento.
Quali sono i tre tipi di apprendimento nel machine learning?
- Apprendimento supervisionato
- Apprendimento non supervisionato
- Apprendimento per rinforzo
Cosa si intende per apprendimento supervisionato?
Viene fornito anche l’output desiderato e lo scopo è imparare a produrre l’output corretto dato un nuovo input.
Qual è la differenza tra apprendimento supervisionato e non supervisionato?
Nel supervisionato si fornisce l’output desiderato, mentre nel non supervisionato non c’è uno scopo specifico ma si costruiscono rappresentazioni.
Cosa è il machine learning?
Un campo dell’intelligenza artificiale che comprende algoritmi che apprendono dai dati.
Cosa implica l’apprendimento per rinforzo?
Il sistema produce azioni e riceve rinforzi per imparare ad agire in modo da massimizzare il rinforzo nel lungo termine.
Cosa si intende per classificazione nel contesto dell’apprendimento?
Previsioni binarie (si/no).
Cosa è la regressione nel machine learning?
Previsioni non binarie che sono continue.
Cosa rappresenta la riduzione della dimensionalità?
Ridurre il numero di variabili in un dataset mantenendo le informazioni più significative.
Qual è la regola di Hebb?
Se due neuroni collegati sono attivi simultaneamente, l’efficacia sinaptica della connessione aumenta.
Cosa si intende per ‘interferenza catastrofica’ nelle reti neurali?
Un fenomeno in cui l’apprendimento di nuove informazioni interferisce con la memoria di informazioni precedentemente apprese.
Quali sono i due sistemi di apprendimento nel cervello umano?
- Ippocampo: apprendimento rapido, rappresentazioni sparse
- Neocorteccia: apprende lentamente, rappresentazioni distribuite
Cosa è il training set?
Insieme di esempi su cui addestrare la rete, comprendente input, output e target.
Cosa è il test set?
Verifica delle prestazioni della rete su dati non utilizzati per l’addestramento.
Qual è il primo modello di rete neurale sviluppato?
Il percettrone, sviluppato da Frank Rosenblatt nel 1958.
Cosa implica la regola delta nel contesto delle reti neurali?
Modifica i pesi sinaptici in base all’errore tra output e target.
Cosa sono le reti multistrato?
Reti neurali con strati intermedi che utilizzano funzioni di attivazione non lineari per risolvere problemi di inseparabilità lineare.
Qual è la differenza tra apprendimento batch e apprendimento online?
- Apprendimento batch: cambiamento dei pesi dopo aver testato tutti i pattern
- Apprendimento online: cambiamento dei pesi dopo ogni esempio
Cosa significa generalizzazione nel machine learning?
La capacità di utilizzare la conoscenza appresa su nuovi esempi del problema.
Qual è la funzione di errore o di costo?
Una misura globale di errore che l’apprendimento cerca di minimizzare.
Cosa rappresenta la ‘soglia del neurone’ nel percettrone?
Il valore che determina se il neurone si attiva in base al valore combinato degli input.
Qual è il teorema di convergenza del percettrone?
Per qualunque problema linearmente separabile verrà trovata una soluzione in un numero finito di passi.
Cosa si intende per ‘minimo locale’ nel contesto dell’apprendimento?
Punti in cui l’errore non può diminuire ulteriormente, ma non rappresentano il punto più basso della funzione di errore.
Cosa è il Momentum nel contesto dell’aggiornamento dei pesi?
Una frazione del precedente cambiamento di valore che amplifica o riduce i cambiamenti a seconda della direzione.
Che cosa rappresenta il Momentum nell’aggiornamento del peso sinaptico?
Una frazione del precedente cambiamento di valore che amplifica i cambiamenti se mantengono lo stesso orientamento e li riduce se cambiano direzione.
Cos’è la generalizzazione in un modello di apprendimento?
La capacità di utilizzare in modo appropriato la conoscenza sul dominio quando si incontrano nuovi esempi del problema.
Quali sono le condizioni necessarie per una buona generalizzazione?
- Variabili di input contengono informazioni sufficienti relative al target
- Esempi di addestramento in numero sufficientemente grande e rappresentativi
Cosa si intende per interpolazione nel contesto dell’apprendimento?
Valori di test vicini a quelli usati durante l’addestramento, più facili da apprendere.
Cosa si intende per estrapolazione nel contesto dell’apprendimento?
Valori di test lontani da quelli usati durante l’addestramento, molto più difficili da apprendere.
Cos’è l’overfitting?
Quando la generalizzazione risulta non buona, nonostante una buona performance durante l’addestramento.
Quali sono alcune tecniche per evitare l’overfitting?
- Limitare il numero di unità nascoste
- Utilizzare il decadimento dei pesi
- Early stopping
Qual è la differenza tra training set, validation set e test set?
- Training set: insieme di pattern per l’addestramento
- Validation set: per ottimizzare parametri di apprendimento
- Test set: per valutare la performance finale del modello
Cos’è la cross-validazione e come viene eseguita?
Tecnica usata quando i dati non sono sufficienti, spesso k-fold cross-validation divide il dataset in k parti.
Qual è la differenza tra compito di regressione e compito di classificazione?
- Regressione: output continui, valutati in termini di distanza
- Classificazione: output binari, valutati tramite matrice di confusione
Cosa rappresentano le metriche di performance come Accuratezza e Precision?
- Accuratezza = (TP + TN) / (TP + TN + FP + FN)
- Precision = TP / (TP + FP)
Che cosa è la curva ROC e cosa rappresenta l’AUC?
La curva ROC rappresenta il True Positive rate rispetto al False Positive rate. AUC misura la performance del classificatore.
Quali sono i fattori importanti per il successo del deep learning?
- Big data
- GPU computing
Qual è il problema del vanishing gradient nel deep learning?
Il segnale d’errore svanisce nel passare attraverso molti strati, specialmente con la funzione di attivazione sigmoide.
Quali sono alcune soluzioni per il problema del vanishing gradient?
- Inizializzazione dei pesi più furba
- Learning rate adattivo
- Utilizzo di architetture convoluzionali
Cosa sono le Reti Neurali Convoluzionali?
Reti profonde con almeno uno strato convoluzionale e uno strato di pooling per ridurre la dimensionalità.
Quali sono gli iperparametri decisionali nelle reti neurali convoluzionali?
- Numero di neuroni nascosti
- Dimensione kernel
- Stride
- Padding
Qual è la funzione dello strato di pooling?
Ridurre la dimensione dell’immagine e controllare l’overfitting.
Cosa sono le Reti Ricorrenti?
Reti che possono apprendere dipendenze temporali grazie a connessioni ricorrenti.
Cosa sono le Reti Long-Short Term Memory (LSTM)?
Reti che hanno una memoria più lunga e utilizzano gate per gestire l’informazione nella memoria temporanea.
Cosa è il Word Embedding?
Rappresentazione di parole in forma di un vettore numerico che codifica il significato della parola.
Cosa significa ‘self-supervised learning’?
Apprendimento in cui input e target hanno la stessa natura, come predire la lettera successiva in una parola.
Cosa è il Word Embedding?
Termine usato per la rappresentazione di parole in forma di un vettore numerico che codifica il significato della parola.
Qual è la caratteristica principale del Word Embedding?
Preservano relazioni semantiche: parole vicine nello spazio vettoriale hanno un significato simile.
Cosa si intende per composizionalità nel contesto degli embedding?
Operazioni lineari sui vettori danno risultati coerenti (es: “brother” - “man” + “woman” = “sister”).
Che cosa sono i Transformers?
Architettura di rete neurale che si basa su meccanismi di self-attention per trasformare una sequenza di elementi in input in una sequenza di elementi in output.
Cos’è il self-attention?
Foco dell’attenzione, per ogni token, rispetto a tutti gli altri tokens di input.
Quali sono i due blocchi principali dell’architettura Transformer?
- Encoder
- Decoder
Qual è la funzione dell’Encoder nei Transformers?
Costruisce una rappresentazione interna della sequenza utilizzando come contesto per ogni token sia gli elementi precedenti che i successivi.
Qual è la funzione del Decoder nei Transformers?
Genera una sequenza di tokens utilizzando solo i tokens precedenti come contesto.
Cosa sono i Large Language Models (LLM)?
Basati sull’architettura Transformer e addestrati su enormi quantità di testo scaricato da Internet.
Come vengono addestrati i LLM?
Con apprendimento self-supervised e successivamente raffinato su compiti specifici con apprendimento supervisionato.
Cosa sono i tokens in un LLM?
Possono essere parole, parti di parole, punteggiatura.
Qual è l’obiettivo principale dell’apprendimento non supervisionato?
Scoprire la struttura latente (regolarità statistiche) nei dati.
Quali sono i principali paradigmi di apprendimento automatico?
- Supervisionato
- Non supervisionato
- Con rinforzo
Quali sono i vantaggi dell’apprendimento non supervisionato?
- Non richiede etichette
- Transfer learning
- Sfruttato dagli animali durante lo sviluppo
Quali sono gli svantaggi dell’apprendimento non supervisionato?
- Non chiaro quali features siano utili
- Richiede molte risorse computazionali
- Non inferisce relazioni causali
Che cosa è la Principal Component Analysis (PCA)?
Tecnica statistica che cerca di trovare la direzione di massima variabilità di un insieme di dati.
Come funziona un Autoencoder?
Riduce la dimensionalità dei dati ricostruendo in output il pattern presentato in input.
Cosa rappresenta la funzione di errore in un Autoencoder?
Errore di ricostruzione.
Cosa sono le reti di Hopfield?
Reti ricorrenti basate sull’energia, usate per memorizzare e recuperare pattern.
Qual è il meccanismo di apprendimento nelle reti di Hopfield?
Aggiornamento dei pesi delle connessioni per creare attrattori in corrispondenza ai pattern di training.
Cosa è la regola di Hebb?
Scopre correlazioni nei dati.
Cosa è un modello generativo nelle reti neurali?
Cerca di scoprire la struttura latente dei dati in input creando un modello interno dell’ambiente.
Cosa sono le Macchine di Boltzmann?
Una variante stocastica delle reti di Hopfield che sfruttano unità nascoste per estrarre correlazioni di ordine superiore.
Cosa rappresenta la Divergenza Contrastiva?
Minimizzare la discrepanza fra la distribuzione empirica dei dati e la distribuzione generata dal modello.
Cosa è Simulated Annealing?
Procedura ispirata dal metodo di ricottura dei metalli per trovare il miglior minimo di energia.
Qual è la funzione dei neuroni nascosti nelle reti neurali?
Scoprire rappresentazioni interne e correlazioni più sofisticate.
Cosa accade ai pesi delle connessioni di un neurone prima e dopo il training?
Prima del training i pesi sono casuali, dopo il training il neurone si concentra su connessioni eccitatorie e inibitorie relative a specifiche aree dell’immagine.
Questo processo evidenzia come i neuroni estraggano features dall’immagine.
Qual è la somiglianza tra le zone di attivazione/inibizione dei neuroni delle reti e quelle dei neuroni biologici?
Assomigliano molto a quelle dei neuroni biologici, suggerendo che i primi stadi di processamento visivo possono essere appresi in modo non supervisionato.
Questa osservazione supporta l’idea che il processamento visivo iniziale possa avvenire senza supervisione.
Cosa si intende per ‘read-out’ multipli nelle reti neurali?
Permette il transfer learning combinando vari RBMs per apprendere modelli interni più complessi.
Questo processo implica l’uso dello strato nascosto di una RBM come input per la successiva.
Cosa imparano le Generative Adversarial Networks (GAN)?
Imparano a ricostruire numeri, non a riconoscerli.
Le GAN sono utilizzate per generare dati simili a quelli di addestramento.
Qual è la funzione dei modelli di diffusione?
Aggiungono rumore a un’immagine e poi lo rimuovono tramite un processo stocastico inverso.
Questi modelli possono anche mappare un testo a un’immagine e viceversa.
Cosa implica l’apprendimento con rinforzo?
Scoprire relazioni causali manipolando attivamente l’ambiente.
Questo approccio è ispirato dalle teorie psicologiche sull’apprendimento animale.
Qual è l’obiettivo principale dell’apprendimento con rinforzo?
Massimizzare i guadagni futuri e minimizzare le punizioni.
Questo obiettivo porta a complicazioni come la predizione delle conseguenze a lungo termine.
Qual è il problema del ‘credit assignment’ nell’apprendimento con rinforzo?
Difficoltà nel determinare quale azione ha portato a una ricompensa.
Questo è evidente in contesti complessi come i giochi di strategia.
Cosa si intende per ‘ritorno’ (G) nell’apprendimento con rinforzo?
La somma delle ricompense accumulate.
Questo concetto è centrale per la valutazione delle strategie di apprendimento.
Cosa rappresenta la funzione di utilità in un contesto di apprendimento temporale-differenziale?
Il ritorno atteso (medio) partendo da uno stato specifico.
Viene aggiornata dopo ogni azione per migliorare le predizioni.
Qual è il ruolo dei neuroni dopaminergici nell’apprendimento con rinforzo?
Codificano l’aspettativa della ricompensa e la discrepanza tra ricompensa attesa e ricevuta.
Questi neuroni sono fondamentali nel modellare il comportamento motivato.
Quali sono i due tipi di modelli quantitativi nelle scienze cognitive?
Modelli descrittivi e modelli computazionali.
I modelli descrittivi riassumono i dati, mentre i modelli computazionali fanno assunzioni sui processi sottostanti.
Quali sono i tre livelli di analisi di Marr?
- Livello computazionale (why, problem)
- Livello algoritmico (what, rules)
- Livello dell’implementazione (how, physical)
Questi livelli aiutano a comprendere come risolvere problemi cognitivi.
Cosa implica la valutazione dell’adeguatezza descrittiva di un modello?
- Qualitativa: il modello cattura i fenomeni di interesse?
- Quantitativa: quanto è buono il fit ai dati empirici?
Queste valutazioni aiutano a determinare l’efficacia di un modello.
Cosa caratterizza i modelli connessionisti PDP?
- Enfasi sull’apprendimento
- Rappresentazioni distribuite
- Livelli emergenti di rappresentazione
Questi modelli sono più simili alla cognizione umana rispetto ai modelli localistici.
Qual è il limite principale del modello Pandemonium?
Non può spiegare gli effetti del contesto nel riconoscimento di lettere.
Gli esseri umani possono interpretare lettere in modi diversi a seconda del contesto.
Cosa distingue l’Interactive Activation Model (IAM) dagli altri modelli?
Utilizza connessioni laterali inibitorie e feedback tra livelli di parole e lettere.
Questo modello è progettato per spiegare gli effetti contestuali nella percezione.
Cosa rappresenta l’apprendimento generativo?
Un approccio non supervisionato fondamentale per modelli plausibili della percezione e della cognizione umana.
È essenziale per costruire modelli su larga scala.
Che cos’è l’apprendimento discriminativo?
Apprendimento supervisionato che assume la presenza di un insegnante esterno anche quando psicologicamente implausibile.
Quali sono le caratteristiche che non si applicano ai modelli basati su deep learning generativo?
Input non realistico e/o su piccola scala (toy models).
Cos’è l’apprendimento generativo?
Apprendimento non supervisionato fondamentale per modelli plausibili e su larga scala della percezione e della cognizione umana.
Qual è il primo passo dell’apprendimento per osservazione?
Costruisce un modello interno dell’informazione sensoriale.
L’apprendimento generativo richiede supervisione o rinforzo?
No, non serve supervisione o rinforzo.
Cosa implica l’approccio probabilistico nell’apprendimento generativo?
Formulazione di ipotesi date le variabili osservate.
Cosa richiede l’elaborazione gerarchica e ricorrente nell’apprendimento generativo?
Elaborazione ricorrente (connessioni a feedback) e organizzazione gerarchica dei neuroni.
Che cos’è un Deep Belief Network (DBN)?
Rete profonda con più strati nascosti che apprende un modello generativo gerarchico.
Qual è il compito del DBN nella rappresentazione dei dati?
Apprende livelli multipli di rappresentazione e proprietà statistiche dell’input di ordine superiore.
Perché il riconoscimento di lettere è studiato nel contesto del deep learning?
È un esempio circoscritto di riconoscimento di oggetti, che implica invarianza a notevoli cambiamenti nell’input visivo.
Come viene addestrato un classificatore per il riconoscimento di lettere?
Alleno lo strato nascosto con apprendimento non supervisionato e il classificatore con apprendimento supervisionato.
Qual è l’accuratezza del modello di riconoscimento lettere rispetto a un modello lineare?
È migliore rispetto a quella di un modello lineare allenato direttamente dai pixel.
Le matrici di confusione della rete e degli umani sono simili?
Sì, matrici di confusione molto simili.
Qual è l’obiettivo attuale delle aziende di IA?
Ottenere un’IA generale a livello umano.
Che cos’è l’Artificial General Intelligence (AGI)?
Sistema IA con capacità simili a quelle umane in un’ampia gamma di compiti.
Qual è una delle sfide etiche per l’IA?
Spiegabilità dell’IA.
Cosa implica l’assenza di pregiudizio nell’IA?
Controllare e prevenire bias nelle risposte/decisioni dell’IA.
Cosa significa allineamento al giudizio morale umano nell’IA?
Scelte e decisioni devono essere moralmente accettabili.
Qual è l’approccio per affrontare le problematiche etiche nell’IA?
Human-centered AI.
Cosa si intende per responsabilità attiva nell’IA?
Cercare un impatto positivo ed agire in modo proattivo per prevenire effetti negativi.
Quando i sistemi IA sono considerati a rischio inaccettabile?
Quando costituiscono una minaccia per le persone.
Che tipo di IA deve essere sottoposta a valutazione di conformità?
IA ad alto rischio.
Qual è l’obbligo per l’IA a rischio limitato?
Assicurare la trasparenza e consenso all’uso di dati personali a scopo di profilazione.
