I. Amministrazione Digitale Algoritmica. Il Quadro Costituzionale Flashcards
Andrea Simoncini
Qual’è il ruolo del diritto costituzionale moderno?
Quello di porre un fondamento giuridico, e dunque un limite giustiziabile, all’esercizio dei poteri sovrani, capaci potenzialmente di conformare o restringere la sfera di libertà delle persone.
Il diritto costituzionale ha sempre seguito l’evoluzione del tipo di potere sovrano esistente, modellandosi il primo sulle forme concrete del secondo.
Cos’è la c.d. era digitale?
La nuova era del costituzionalismo, che succede alla prima (XVIII-XIX), in cui il potere da limitare era il potere del sovrano attraverso la legge e lo Stato, e alla seconda (XX), in cui il potere da limitare era la degenerazione totalitaria dello Stato e della legge attraverso le costituzioni rigide.
Nella nuova era del costituzionalismo non si è di fronte a un potere pubblico o privato, personale o collettivo, ma essenzialmente tecnico, che può presentarsi sia in forma pubblica che privata.
Il sovrano del XXI secolo - superiorem non recognoscen - assume le vesti delle tecnologie emergenti di comunicazione ed informazione, intese come fattore di liberazione della persona e quindi come ben irrinunciabili.
L’era digitale, che si fonda sui mezzi di comunicazione tecnologica (ICT) segna, come per gli altri mezzi di comunicazione, non solo un avanzamento settoriale, ma un turning point che produce una rivoluzione antropologica-cognitiva, su cui tale potere si fonda.
Codice della Amministrazione Digitale
In materia di amministrazione pubblica digitale, il d.lgs. 82/2005 è stato tra i primi a disciplinare, così come comunicato dalla Comm. Europea, “il ruolo dell’e-government per il futuro dell’Europa.”, in cui va auspicato “l’uso delle tecnologie dell’informazione e della comunicazione nelle pubbliche amministrazioni, coniugato a modifiche organizzative ed all’acquisizione di nuove competenze al fin di migliorare i servizi pubblici ed i processi democratici e di rafforzare il sostegno alle politiche pubbliche”
Il testo legislativo ha quindi disciplinato l’impiego della tecnologia informatica come modalità di documentazione, conservazione e comunicazione dell’atto amministrativo (artt. ss. 20) garantendo al documento informatico la soddisfazione del requisito della forma scritta e l’efficacia prevista dall’art. 2702 (Efficacia della scrittura privata)
L’obiettivo era quello di semplificare i rapporti PA-cittadino e rendere l’azione della stessa PA più efficiente con gli strumenti di ICT, giungendo a sancire un nuovo diritto, il diritto all’uso delle tecnologie, a fondamento della cittadinanza digitale (artt. ss. 3).
Cos’è l’amministrazione algoritmica?
L’amministrazione algoritmica costituisce una species del genus amministrazione digitale.
Tale definizione nasce dalla trasformazione che è avvenuta dall’Internet of Things all’Internet of Everything, ovvero con la produzione massiva di vastissime quantità di dati generati dalla diffusione capillare di dispositivi di uso comune (“Big data”), che ha aperto le porte ad una nuova dimensione tecnologica, in grado di elaborare queste informazioni secondo modelli e sistemi di nuova generazione, detti anche algoritmici o di intelligenza artificiale.
La caratteristica principale dei sistemi algoritmici o di IA è che essi sulla base dei dati da cui apprendono (machine learning) sono in grado di determinare misure, effettuare valutazioni e, quindi, prendere decisioni.
Il dato significativo è che, nella prospettiva algoritmica, la tecnologia digitale non redige solo l’atto amministrativo, per conservarlo o trasmetterlo, ma ne determina il contratto.
In che modo gli algoritmi decisionali sono usati nel settore privato? E nel pubblico?
Mediante quel fenomeno in crescita travolgente che prende il nome di capitalismo di sorveglianza attraverso la tecnica della profilazione, con la quale si predicono le preferenze e gli stili di vita delle persone sulla base dei dati reperibili sulla rete, in campi come quello bancario, assicurativo, marketing ,e-commerce ecc.
Tuttavia, il settore che ha reso più visibile questa tecnologia fino ad allora nascosta/oscura è stato quello governato dalle c.d. Big Tech: sono algoritmi quelli che trovano le risposte alle nostre domande, quelli che gestiscono la visualizzazione di un post sui social media …
Nel pubblico, conosciamo lo US Internal Revenue Service (IRS) che ricerca aree emergenti di evasione fiscale tramite ingenti investimenti (39 mln USD) nel machine learning, o il Robodebt australiano, che funziona da sistema di recupero automatico nel caso in cui un soggetto percepisca più prestazioni sociali di quelle a cui abbia effettivamente diritto, confrontando guadagni effettivi con quelli comunicati dal datore di lavoro e, in caso di difformità, mandando automaticamente ingiunzioni di pagamento.
[Ma sono anche usati dalla FDA, dalla MIT University e, soprattutto in Cina, per i sistemi di law enforcement e social credit scoring]
L’impiego degli algoritmi nel settore giudiziario: caso Compas
Il caso “Compas” (Correctional Offender Management Profiling for Alternative Sanctions) riguarda l’uso di un software di intelligenza artificiale negli Stati Uniti per valutare il rischio di recidiva dei condannati. In questo caso specifico, il software Compas è stato utilizzato per suggerire al giudice una valutazione del rischio che un imputato potesse commettere nuovi reati in futuro.
Questo sistema ha sollevato significative questioni legali ed etiche, in particolare riguardo alla trasparenza, all’accuratezza e ai possibili bias (preconcetti) nelle sue valutazioni. Il caso ha attirato l’attenzione sull’impiego dell’intelligenza artificiale nel sistema giudiziario, sollevando interrogativi sulla giustizia e l’equità delle decisioni basate su tali sistemi, specialmente in relazione ai diritti dei singoli e alla possibile discriminazione sistematica.
Quali sono i campi in cui sono nati più contenziosi rispetto all’amministrazione algoritmica, in Italia?
La nascita di casi del genere è scaturita dal dibattito pubblico creatosi a seguito di:
- provvedimenti amministrativi di esclusione adottati in via automatica dalle procedure “robotiche” responsabili per accettazione di domande per concorsi, appalti, selezioni, che però subiscono malfunzionamenti
- l. 107/2015 “buona scuola”, che ha affidato l’assegnazione delle sedi di servizio agli insegnanti o le decisioni di mobilità a un software che tenuto conto di disponibilità, risultati e normativa stilasse automaticamente le graduatorie
Da casi del genere deriva adesso un grande corpus giurisprudenziale in merito alla PA digitale-algoritmica
Giurisprudenza di PA digitale-algoritmica in Italia: esclusione automatica da gare e concorsi
Tipo di contenzioso: soggetto escluso automaticamente da una procedura amministrativa a seguito di un malfunzionamento del sistema informatico di accettazione delle domande.
Legge 241/1990 sul procedimento amministrativo
-> Nei casi in cui la tardività o mancata prestazione derivi da causa non imputabile ai richiedenti, si attribuisce alla PA la responsabilità per le sue scelte organizzative (di avvalersi di un sistema telematico). Pertanto, il privato non può subire le conseguenze negative di malfunzionamenti che non dipendano dalla sua negligenza.
[Una volta che le tecnologie informatiche vengono adottate dalla PA, entrano a far parte di questa, che a sua volta è responsabile del corretto funzionamento di tali tecnologie]
Il TAR Lazio ha evidenziato nella sent. 7406/2020 la manifesta irragionevolezza, ingiustizia ed irrazionalità dei sistemi delle domande di partecipazione ad un concorso che “a causa di meri malfunzionamenti tecnici, giungano ad esercitare impersonalmente attività amministrativa sostanziale, disponendo esclusioni de facto riconducibili a mere anomalie informatiche”
Si sottolinea che nell’ambito di un procedimento telematico la scadenza del termine non può essere considerata alla stregua dell’ambito di quella di un tradizionale procedimento cartaceo. Il rispetto del termine nel procedimento telematico dipende da variabili assolutamente imprevedibili e non “quantificabili” in termini di tempo, quanto più nelle concrete modalità di configurazione del sistema informatico.
Nella sent. 3148/2020 del Cons. Stato, si ribadisce il principio generale per cui “le procedure informatiche applicate ai procedimenti amministrativi devono collocarsi in una posizione necessariamente servante rispetto agli stessi”, perciò, la giurisprudenza ammonisce che deve essere sempre prevista una possibilità mediante procedure amministrative parallele di tipo tradizionale e attivabili in via emergenziale.
In questa direzione, si desume l’impossibilità di affidare un procedimento esclusivamente ad uyn algoritmo decisionale giacché questo, nella sua rigidità impersonale, non potrebbe esercitare il principio di soccorso procedimentale.
Giurisprudenza di PA digitale-algoritmica in Italia: decisioni algoritmiche sul personale della scuola
Le decisioni prodotte dall’algoritmo del software privato, che il MIUR ha usato nella redazione delle graduatorie per le assegnazioni alle sedi di servizio degli insegnanti, sono state contestate perché accusate di essere oscure, impazzite, errate e incomprensibili
Pertanto, un sindacato di insegnanti ha chiesto di effettuare l’accesso al codice sorgente dell’algoritmo di assegnazione, sulla base dell’art. 22 della legge 241/1990 sul procedimento amministrativo, ma una volta rigettata tale richiesta dal Ministero, il sindacato ha impugnato il diniego dinanzi al TAR Lazio.
La difesa del Ministero dinanzi al TAR si è fondata su due elementi:
1- il codice sorgente, in quanto scritto in linguaggio di programmazione e contenuto in supporto immateriale, non sarebbe stato in realtà un documento amministrativo per la legge 241/1990, ne un atto amministrativo informatico (per l’art. 22)
2- il software, essendo stato prodotto da una società privata, sarebbe stato protetto dalla legislazione sulla tutela dei software come opera dell’ingegno
Il TAR, con la sent. 3769/2017, si è pronunciato sulla questione:
1- l’algoritmo, determinando de facto il contenuto dell’atto di assegnazione/trasferimento dell’insegnante, sostanzia il procedimento che da vita all’atto amministrativo e da diritto all’interessato di prenderne visione ed estrarne copia, come stabilito dalla legge 241/1990 sul procedimento amministrativo. La circostanza che sia compilato mediante linguaggi di programmazione solitamente incomprensibili per il destinatario non appare come impedimento per il destinatario dell’atto di avvalersi legittimamente di un informatico competente in materia. Non è neanche sufficiente avere una trasposizione in lingua italiana del codice, che il TAR ha dichiarato “elusiva”.
2- Il TAR, non negando la natura di opera dell’ingegno del software prodotto per conto del MIUR, afferma che tale qualificazione non assume rilevanza direttamente in quanto, in materia di accesso agli atti della PA, ai sensi della legge 241/1990 (art. 24), la natura di opera dell’ingegno dei documenti di cui si chiede l’ostensione non rappresenta una causa di giustificato diniego dell’accesso di per se.
Il TAR ha in definitiva emesso un obiter dictum di grande rilievo teoriche che verrà anche ripreso come ratio decidendi in altre controversie successive: L’uso di un algoritmo decisionale è ammissibile solo in quanto coinvolto un potere amministrativo vincolato (diverso sarebbe stato se fosse pot. amm. DISCREZIONALE)
In modo più deciso, il TAR è tornato sull’argomento, affermando che gli istituti di partecipazione, trasparenza, accesso, sintesi, relazione del privato con i pubblici poteri, non possono essere legittimamente mortificati e compromessi, soppiantando l’attività umana con quella impersonale dell’algoritmo. Se ciò accadesse, verrebbe meno, oltre al canone di trasparenza, anche l’obbligo di motivazione delle decisioni amministrative.
Con tale pronuncia il TAR sembra chiudere la porta all’impiego degli algoritmi nelle decisioni amministrative, anche se questo orientamento restrittivo verrà superato dal Consiglio di Stato.
In che modo il Consiglio di Stato ha ribaltato l’orientamento del TAR rispetto all’impiego di algoritmi nell’amministrazione pubblica?
I giudici del Consiglio di Stato hanno affermato che, in linea generale, l’impiego di procedure informatiche nell’azione amministrativa è una scelta che deve essere incoraggiata, in quanto rispondente ai principi generali di efficienza ed economicità, consentendo di accelerare i procedimenti amministrativi seriali e standardizzati, garantendo al contempo maggiore imparzialità.
Tuttavia è chiaro che la questione dell’amministrazione digitale si rivolge alla tecnologia come mezzo per portare a termine azioni decisionali (sempre non discrezionali), e allora il Cons. di Stato si spinge a ricostruire la nozione di regola algoritmica intesa come regola amministrativa generale espressa in forma di algoritmo.
La regola algoritmica ha alcuni corollari:
(i). Ha piena natura giuridica, con conseguente soggezione ai principi di pubblicità, trasparenza, ragionevolezza e proporzionalità
(ii). non può lasciare spazi applicativi discrezionali , ma deve prevedere soluzioni definite per tutti i casi possibili, anche più improbabili
(iii). deve rispondere agli interessi individuati, mediati e composti ex ante dalla legge o dalla stessa PA durante tutto il suo impiego [Il che impiega monitoraggio continuo della PA rispetto ad algoritmi di deep learning - apprendimento continuo]
(iv). deve contemplare la possibilità che il giudice valuti e accerti la correttezza del processo automatizzato
Si enucleano due dottrine:
1) LEGALITÀ ALGORITMICA: implica che il provvedimento concreto automatizzato debba essere conforme all’astratta disposizione algoritmica.
2) TRASPARENZA ALGORITMICA: implica che il principio di trasparenza, nelle decisioni automatizzate, deve essere declinato in una versione rafforzata in almeno tre aspetti:
a) conoscibilità-comprensibile: traducibilità dal linguaggio della macchina al linguaggio umano, che va garantita dai suoi autori nei confronti dei cittadini e del giudice
b) correttezza: soggetta alla piena cognizione e sindacato del giudice amministrativo e logica, ragionevole e valida nella gestione dei dati, dei componenti
c) imputabilità: della decisione all’organo titolare del potere
Da RULE OF LAW (legalità dell’amministrazione) alla (CONSTITUTIONAL) RULE OF TECHNOLOGY (legalità della tecnologia, ovvero i principi posti a garanzia dell’amministrazione digitale algoritmica)
In che modo è messo in crisi il principio iura novit curia
“Il tribunale è a conoscenza delle leggi” è un principio che viene messo in crisi qualora si accetti che il sindacato degli algoritmi nella PA possa essere mediato, dal giudice, mediante consulenza tecnica esterna.
In che modo l’IA mette in crisi la regola algoritmica?
Nel senso che i nuovi sistemi di Intelligenza artificiale, sono in grado di andare oltre la regola algoritmica, potendo mettere in atto vere e proprie scelte discrezionali, al pari di un essere umano, con la differenza che le valutazioni sarebbero basate su una logica statistico-probabilistica e non, come quella umana, scientifico-determinata, o ancora, come per la regola algoritmica, frutto di mere istruzioni determinate ex ante.
Gli atti di amministrazione digitale algoritmica sono davvero atti giuridici?
Non si può negare che l’idea di un atto deciso da una macchina, quindi non meramente trascritto, tradotto, conservato, consultato, trasmesso, sfidi alla radice gli stessi fondamenti dell’atto pubblico e la stessa giurisprudenza amministrativa in materia di amministrazione digitale.
In alcune sentenze del TAR Lazio, si è visto come alcuni giudici siano restii ad affiancare l’attività “impersonale” delle regole algoritmiche all’attività intesa come prodotto delle azioni dell’uomo, ravvisandovi invero una prospettiva orwelliana fosse questo il caso.
Sappiamo che un atto giuridico si caratterizza per il fatto che è espressione di una volontà umana, che altro non è che un’attività psichica.
Ma è possibile immaginare un atto che non sia espressione di una volontà umana? Il nostro ordinamento conosce alcuni esempi, come l’atto delle persone giuridiche, come la responsabilità penale degli enti, o anche la teoria dell’interpretazione degli atti, dove non si ricerca mai la volontà soggettiva del legislatore, quanto si ricostruisce interpretativamente la sua intentio.
Tuttavia, la volontà rimane centrale nel diritto, si pensi al fatto che, ove risulti mancante, l’atto è automaticamente viziato
Il Consiglio di Stato però ha preso una decisione molto interessante: l’atto informatico può essere tale qualora riguardi decisioni vincolate, in cui “la regola tecnica che governa ciascun algoritmo resta pur sempre una regola amministrativa generale, costruita dall’uomo e non dalla macchina”. La volontà sarebbe quindi espressa in toto nella regola, e il provvedimento algoritmico ne rappresenterebbe una mera deduzione.
Certamente, la posizione giurisprudenziale che pone un divieto assoluto a tali “atti senza volontà” è anacronistica e difficilmente attuabile.
[Soluzione alternativa, qualora non si volesse riconoscere la natura di atto, sarebbe quella di fatto giuridico, e in caso di lesione ai terzi, l’Amministrazione risponderebbe civilmente, penalmente ed amministrazione per fatto antigiuridico.]
Cos’è un fatto giuridico? E come si distingue dall’atto?
Un fatto giuridico per la manualistica è “ogni accadimento, naturale o umano, al verificarsi del quale l’ordinamento giuridico ricollega un qualsiasi effetto giuridico”
All’interno dei fatti giuridici, distinguiamo i fatti giuridici umani/atti giuridici, “in cui la costituzione, modificazione o estinzione del rapporto giuridico si produce solo come effetto di un consapevole e volontario comportamento dell’uomo”.
L’elemento qualificante è la manifestazione di volontà, che altro non è che un’attività psichica.
Quale regime giuridico si applica ad oggi agli atti di amministrazione digitale?
IN GENERALE: PRINCIPIO DI NON ESCLUSIVITÀ DELLA DECISIONE AUTOMATIZZATA (Primo pilastro Constitutional Rule of Technology)
Ad oggi, un primo principio di constitutional rule of technology che si è affacciato nella più recente giurisprudenza amministrativa è quello del divieto di atti di amministrazione digitale esclusivamente algoritmica da parte del Consiglio di Stato.
In base a tale principio, confermato in ambito europeo, la tecnologia non può mai sostituire l’intero procedimento decisionale quando questo incida su diritti o interessi rilevanti.
Può esprimersi anche come dovere, verso i programmatori di tali atti di amm. dig. alg. di HITL (Human In The Loop): dovrà essere sempre previsto un intervento umano nel procedimento decisionale, se la PA vorrà avvalersi di questi strumenti.
Sempre il Consiglio di Stato auspicia de jure condendo a procedure amministrative parallele di tipo tradizionale ed attivabili in via emergenziale, in caso di non-corretto funzionamento dei sistemi informatici predisposti per il fisiologico inoltro della domanda.
