XAI Flashcards
Comprehensibility
Om beslutet går att förstå för människan
Tekniska spelar ingen roll
Interpretability
hur bra modellens processer kan tolkas. Om man kan analysera nätverkets struktur och parametrar för att förstå dess prediktioner
Det tekniska spelar roll
Model explainability
handlar om att förstå och förklara hur själva modellen fungerar och varför det gör de förutsägelser som den gör. Det handlar om att förklara vad som händer inne i modellen - i själva “black box”. Black box är allt det som sker i nätverket som vi inte ser. Vi ser ju bara input och output.
Data explainability
handlar om att förstå och förklara hur de data som används för att träna modellen påverkar modellens beteende och beslut. Det handlar om att undersöka ingångsdatan och vilka mönster som modellen har lärt sig från detta.
Intrinsic teknik
naturligt transparanta
lite förklarar sig själva
beslutsträd
De har en inbyggd förklarbarhet.
Posthoc teknik
förklarar beslut EFTER att modellen har tränats och använts.
komplexa modeller.
Global explainability
förklara hur modellen fungerar som helhet,
förklarar hela modellens beteende.
Local explainability
förklara ett specifikt beslut som modellen har gjort.
Man förklarar ett enskilt exempel på modellens beteende.
Viss data som ska förklaras.
Model agnostic
Vilken modell som helst
kallas de tekniker som kan tillämpas på alla typer av modeller oavsett deras struktur.
Model specific
anpassade för att förklara en viss specifik typ av modell.
Detta gör de mer effektiva för modellen i fråga
DeepDream
är en algoritm som skapar surrealistiska och drömlika bilder.
Den är baserad på CNN.
Syftet är att förstärka specifika mönster och detaljer för att visualisera vad nätverket lär sig när det tränas.
Posthoc teknik
Global
Model specific
SHAP
används framför allt för att förklara resultat från maskininlärningsmodeller, framförallt från black boxes.
Detta bygger på spelteori och går ut på att fördela ansvaret för en output på inputsen.
Posthoc teknik
Local och Global
Model-agnostic
Layerwise Relevance Propagation
Local explainability
Model specific
Posthoc
Surrogate models
Lime
SHAP
Efterliknar riktiga modellen och tränas samtidigt. Fast en enklare version man kan förstå
