Ethics & Fairness

Question 1

Nenne Teilbereiche des Gebiets Ethics & Moral in AI

Ethics & Moral

Answer 1

• Transparency
• Data Privacy
• Accountability / Trustworthyness (funktioniert nur zusammen)
• Fairness & Bias

Question 2

Beschreibe das Problem für Ethics & Bias in AI. Was sind die Gründe dafür?

Ethics & Bias in AI

Answer 2

Es gibt zahlreiche Fälle von AI-Components, die gewisse Segmente der Menschen anders behandelt haben als den Rest.

Die Welt ist auch (leider) biased und unfair. Daten repräsentieren die Welt und trainieren dann das ebenso biased Model.

Es ist wichtig, diesen Bias für alle geschützten Attribute auszugleichen.

Question 3

Definiere Ethik

Ethics & Moral

Answer 3

Ethik befasst sich mit dem “Was ist gut für Menschen und Gesellschaft”.

Ziel ist es, moralische Prinzipien abzuleiten, welche Menschen helfen sollen, Entscheidungen zu treffen und ihr Leben zu leben.

Question 4

Nenne drei verschiedene Kategorien innerhalb der Ethik

Ethics & Moral

Answer 4

Meta-Ethics:
- Natur der moralischen Beurteilung
- Bedeutung und Ursprung ethischer Prinzipien

Normative Ethics:
- Studiert was richtig ist und was falsch ist
- Warum machen wir manchmal das kontraintuitive?

Applied Ethics:
- untersucht die Anwendung von ethischen Theorien in kontroversen Themen (Krieg, Tierrechte, …)

Question 5

Nenne zwei ethische Theorien und erkläre eine kurz

Ethics & Moral

Answer 5

Utilitaristische Ethik:
Die Mehrheit profitiert.

Nachteile: Die Minderheit wird geschädigt, während die Mehrheit profitiert

Ergebnisvorhersage ist erforderlich

Deontologische Ethik:
Menschen sollten mit Würde und Respekt behandelt werden.

Nachteile: Meinungsverschiedenheiten über Prinzipien, die zu einer Entscheidung führen

die richtige Wahl kann zu schlechten Konsequenzen führen
mögliche Konflikte in einer Pflicht

Question 6

Die EU hat Richtlinien für AI erstellt. Nenne diese 7 Key-Requirements für KI

Ethics & Moral

Answer 6

7 key requirements for AI:

• Human agency and oversight
• Technical robustness and safety
• Privacy and data governance
• Transparency
• Diversity, non-discrimination and fairness
• Societal and environmental well-being
• Accountability

Question 7

Definiere den Begriff “Bias”

Ethics & Bias

Answer 7

Bias == Voreingenommenheit

Bias ist eine unverhältnismäßige Befürwortung oder Ablehnung einer Idee oder Sache, normalerweise in einer engstirnigen, voreingenommenen oder unfairen Weise.

Voreingenommenheit kann angeboren oder erlernt sein.

Menschen können Vorurteile für oder gegen eine Person, eine Gruppe oder einen Glauben entwickeln.

Question 8

Was bedeutet Stereotyping im Kontext von Bias?

Ethics & Bias

Answer 8

Stereotyping ist eine Form von Bias, bei der Vorurteile oder Bevorzugungen gegenüber bestimmten Dingen, Menschen oder Gruppen gegenüber anderen bestehen.

Question 9

Was bedeutet Systematic Error im Kontext von Bias?

Ethics & Bias

Answer 9

Systematic Error ist ein systematischer Fehler, der durch eine unsachgemäße Stichproben- oder Berichtsstrategie eingeführt wird und zu Verzerrungen in den Ergebnissen führt.

Question 10

Was ist Automation Bias?

Ethics & Moral

Answer 10

Automation Bias ist die Tendenz, Entscheidungen oder Vorschläge von automatisierten Systemen ohne kritische Prüfung zu bevorzugen, auch wenn sie möglicherweise fehlerhaft sind.

Question 11

Was ist Confirmation Bias?

Ethics & Bias

Answer 11

Confirmation Bias ist die Neigung, Informationen zu bevorzugen, die bestehende Überzeugungen oder Hypothesen bestätigen, während widersprüchliche Informationen ignoriert werden.

Question 12

Was ist Experimenter’s Bias?

Ethics & Bias

Answer 12

Experimenter’s Bias tritt auf, wenn Forscher unbewusst ihre eigenen Erwartungen oder Überzeugungen auf das Experiment übertragen, was die Ergebnisse verzerren kann.

Question 13

Was ist Group Attribution Bias?

Ethics & Bias

Answer 13

Group Attribution Bias ist die Tendenz, das Verhalten eines Einzelnen auf die Eigenschaften der gesamten Gruppe zurückzuführen, zu der er gehört.

Question 14

Was ist Implicit Bias?

Ethics & Bias

Answer 14

Implicit Bias bezieht sich auf unbewusste Vorurteile oder Einstellungen, die unser Verhalten und unsere Entscheidungen beeinflussen, ohne dass wir uns dessen bewusst sind.

Question 15

Was ist In-Group Bias?

Ethics & Bias

Answer 15

In-Group Bias ist die Tendenz, Menschen, die zur eigenen Gruppe gehören, zu bevorzugen oder positiver zu bewerten als Menschen aus anderen Gruppen.

Question 16

Was ist Out-Group Homogeneity Bias?

Ethics & Bias

Answer 16

Out-Group Homogeneity Bias ist die Wahrnehmung, dass Mitglieder einer fremden Gruppe homogener sind (d.h. sich ähnlicher sind), als sie tatsächlich sind, während die eigene Gruppe als vielfältiger wahrgenommen wird.

Question 17

Was ist Coverage Bias?

Ethics & Bias

Answer 17

Coverage Bias tritt auf, wenn bestimmte Gruppen oder Merkmale in der Stichproben- oder Berichterstattungsphase über- oder unterrepräsentiert sind, was die Ergebnisse verzerrt.

Question 18

Was ist Non-Response Bias?

Ethics & Bias

Answer 18

Non-Response Bias tritt auf, wenn die Personen, die an einer Umfrage oder Studie nicht teilnehmen, sich systematisch von den Teilnehmern unterscheiden, was zu verzerrten Ergebnissen führt.

Question 19

Was ist Participation Bias?

Ethics & Bias

Answer 19

Participation Bias tritt auf, wenn Personen, die sich entscheiden, an einer Studie teilzunehmen, nicht repräsentativ für die Gesamtbevölkerung sind, was zu einer Verzerrung der Ergebnisse führt.

Question 20

Was ist Reporting Bias?

Ethics & Bias

Answer 20

Reporting Bias entsteht, wenn bestimmte Ergebnisse oder Daten systematisch überbetont oder unterdrückt werden, wodurch ein verzerrtes Bild der tatsächlichen Ergebnisse entsteht.

Question 21

Was ist Sampling Bias?

Ethics & Bias

Answer 21

Sampling Bias tritt auf, wenn die Stichprobe nicht repräsentativ für die Gesamtpopulation ist, was dazu führt, dass die Ergebnisse nicht verallgemeinerbar sind.

Question 22

Nenne 4 Gründe für Bias in der Data Collection

Ethics & Bias

Answer 22

• Reporting Bias
• Selection Bias
• Overgeneralization
• Unconscious Bias from Real World

Question 23

Beschreibe Reporting Bias und nenne Beispiele / Gründe

Ethics & Bias

Answer 23

Die Stichprobe (Trainingsdaten) hat andere Eigenschaften, Häufigkeiten, Ergebnisse als die reale-Welt Daten.

Es werden nur Daten reported, welche einen Teil, der Daten ausmachen, wie gute, interessante, schlechte Dinge.

Question 24

Beschreibe Selection Bias und nenne 3 verschiedene Formen davon

Ethics & Bias

Answer 24

Selection Bias beschreibt, dass eine Stichprobe in eine bestimmte Richtung verzerrt ist.

Formen:
- Coverage Bias
- Sampling Bias
- Non-Response Bias

Question 25

Beschreibe Coverage Bias

Ethics & Bias

Answer 25

Die Stichprobe repräsentiert nicht die Daten in der Produktion

Question 26

Beschreibe Sampling Bias

Ethics & Bias

Answer 26

keine zufällige Auswahl von Daten der Zielgruppe.
(Die Qualität der Daten unterscheidet sich zwischen den Gruppen)

Question 27

Beschreibe Non-Response Bias

Ethics & Bias

Answer 27

Beschreibung:
Die von Menschen gesammelten Daten sind verzerrt, weil eine bestimmtes Segment dazu neigt, die Daten nicht zu senden. (Menschen nutzen Opt-out)

Question 28

Beschreibe Overgeneralization

Ethics & Bias

Answer 28

Daten einer Gruppe wird dazu verwendet über andere Gruppen zu generalisieren

Question 29

Nenne Human Bias Typen Data Collection. (3 Stereotypische, 3 Systematische Fehler)

Ethics & Bias

Answer 29

Stereotypische:
- Automation bias
- Confirmation bias
- Experimenter’s bias
- Group attribution bias
- Implicit bias
- In-group bias
- Out-group homogeneity bias

Systematische Fehlertypen:
- Coverage bias
- Non-response bias
- Participation bias
- Reporting bias
- Sampling bias
- Selection bias

Question 30

Nenne Human Bias Typen in ML Engineering

Ethics & Bias

Answer 30

• Automation Bias
• Group Attribution Bias
• In-Group Bias
• Out-Group Homogenity Bias

Question 31

Definiere Implicit Human Bias, nenne eine typische Bias-Form.

Ethics & Bias

Answer 31

Impliziter Bias beschreibt unbewusste Vorurteile oder Annahmen, die auf eigenen Erfahrungen, Prägungen oder Stereotypen beruhen.

-> Siehe Confirmation Bias

Question 32

Inwiefern kann Confirmation Bias dazu beitragen, dass die Ergebnisse / Experimente von ML Engineers verzerrt werden?

Ethics & Bias

Answer 32

Confirmation bias: ML engineers verarbeiten Daten unbewusst so, dass ihre eigenen Überzeugungen und Hypothesen bestätigt werden (in Extremfällen trainieren und erstellen Sie Modelle, bis sie Ihren Erwartungen entsprechen -> Experimentator-Bias)

Question 33

Welche Real-World Biasbeispiele muss man bei der Nutzung von Trainingsdaten beachten?

6

Ethics & Bias

Answer 33

• Racisms
• Sexisms
• Stereotypes
• Group-based judgement
• Unfair conditions (working, treatment, interactions)
• Beliefs, misconceptions, etc.

Question 34

Welche drei Formen der Bias können in der Pipeline auftreten?

Ethics & Bias

Answer 34

• Storing & Linking Data (misspelling long uncommon names, …)
• Preprocessing (Default / averaged values might transforming minority groups into majority ones)
• Data Exploration (Outliers may be cropped away, but might be representing minority groups)

Question 35

Wie kann man Bias identifizieren?

Nenne 3 Red-Flags für potenzielle Bias.

Ethics & Bias

Answer 35

Diverse Teams sollten proaktiv prüfen, ob es in irgendeiner Form Bias gibt.

1. Wichtige Merkmale sind unterrepräsentiert -> Reporting- & Selection-Bias
2. Unerwartete Merkmalswerte: Weisen auf mögliche Probleme bei der Datenerfassung oder Ungenauigkeiten hin, die Bias einführen könnten
3. Jegliche Art von Verzerrung, die zu einer Unter- oder Überrepräsentation von Gruppen führt

Question 36

Nenne und beschreibe drei grundlegende Arten von Fairness.

Fairness

Answer 36

Group-Level Fairness: Unterscheiden sich Ergebnisse unter bestimmten demographischen Gruppen?

Individual Fairness: Werde ich fair gegenüber anderen behandelt?

Society Fairness: Ist der Vorteil für die Gesellschaft maximiert?

Question 37

Welche Attribute der Bevölkerung müssen geschützt werden vor Unfairness?

6

Fairness

Answer 37

Die Bevölkerung umfasst verschiedene Minderheitengruppen
- Ethnisch
- Religiös
- Medizinisch
- Geografisch
- Familienstand
- Sozioökonomischer Status

Question 38

Warum reicht es nicht aus, geschützte Eigenschaften nicht zur Entscheidungsgrundlage zu nutzen? Warum kann dies dennoch in Unfairness resultieren.

Fairness

Answer 38

Selbst wenn Ethnie, Geografische Attribute entfernt werden, können sie durch korrelierende Features im Datensatz verbleiben.

Question 39

Was versteht man unter der statistischen Parität im Kontext zu Fairness in ML ?

• Nenne ein Beispiel.
• Beschreibe, wann es angewandt werden muss.

Fairness

Answer 39

die Wahrscheinlichkeit eines Ergebnisses B muss unabhängig einer geschützten Variable A sein.

Besipiel:
Das Festanstellen von Mitarbeitern muss unabhängig des Geschlechts sein.

Wann sollte es angewandt werden? -> Wenn die reale Welt Daten biased sind und für Fairness korrigiert werden müssen.

– Profit

Question 40

Beschreibe die Fairness Metrik Equal Opportunity

• Nenne ein Beispiel.
• Beschreibe, wann es angewandt werden muss.

Fairness

Answer 40

Positive Resultate (Model predicts True) sollten gleich für alle Gruppen geschützter Attribute sein.

Beispiel: Zulassungen für Studenten

Wann sollte es benutzt werden? -> Wenn der Fokus auf akkurater positiver Predictions ist und FP nicht schwerwiegend sind.

– Profit

Question 41

Beschreibe die Fairness Metrik Equal Odds

• Beschreibe, wann es angewandt werden muss.

Answer 41

FPR und FNR müssen gleich unter allen Gruppen sein
-> Data must be collected in unbiased way
-> Wahrscheinlich das TPR unter der Balancierung der Fairness leidet

Anwendbar, wenn der Recall des Modells das Projekt nicht gefährdet

– Profit

Question 42

welche beiden Fairness Typen stehen im Konflikt zueinander und warum?

Fairness

Answer 42

Group-Level Fairness <-> Individual Fairness

Hohe FP / FN Prozente führen dazu, dass durch die Fokussierung auf GLF vermehrt Individuen falsch klassifiziert werden.

Question 43

Beschreibe das Group-Fairness Impossibility Theorem

Fairness

Answer 43

Wenn ein Algorithmus der Predictive Rate Parity unterliegen soll, während Verbreitung / Prävalenz unter den Gruppen unterschiedlich ist, kann das Instrument keine gleichen FPR/FNR erzeugen.

Question 44

Durchlaufe den ML Design Zyklus:

Welche Fragen hinsichtlich Fairness sollten gestellt werden?

Fairness

Answer 44

Problem Formation:
Ist ein Algorithmus eine ethisch korrekte Lösung für das Problem?

Daten
Minority Proben? Skewed Data? Debiasing notwendig?

Algorithm Selection
Ist die Zielfunktion konform mit Fairness?

Testing
Welche relevanten Fairness Metriken? Gibt es andere Testdatensätze?

Deploy
Repräsentieren die Trainingsdaten die Produktionsdaten?

Feedback
Kann das Feedbacksystem unfaire Retraining-Resultate erzielen?

Question 45

Nenne vier Möglichkeiten Bias entgegenzuwirken

Fairness

Answer 45

Population Bias: Überprüfe Demographische Daten der Zielgruppe

Under- & Überrepresentation sollten verhindert werden

Data Augmentation: Berreichere den Datensatz mit synthetischen Daten von Minderheitengruppen

Sammele mehr Daten von Gruppen mit erhöhten Fehlerraten

Question 46

Welche Methoden können Bias in Pre- & Postprocessing entgegenwirken?

Answer 46

Preprocessing:
- Verarbeite die Daten so, dass geschützte Variablen entfernt werden und die Korrelationen mit diesen Variablen verschwinden
- Relabeling (finde Gründe für Bias und behebe sie)
- Reweighting von Minderheitengruppen
- Sammle weitere Daten, sodass eine Daten Parität für Minderheitengruppen erreicht wird

Postprocessing:
- Adversarial Debiasing
- Prejudice Remover

Question 47

Was bedeutet Parität?

Allgemein

Answer 47

Gleichgewicht

Question 48

Was ist ein Aversarial Debiasing Model

Fairness

Answer 48

Funktionsweise: In einem Adversarial Setting gibt es zwei Modelle:

Das Hauptmodell, das eine Vorhersage treffen soll.
Ein Adversary-Modell, das versucht, geschützte Attribute basierend auf den Vorhersagen des Hauptmodells zu erraten.
Das Hauptmodell wird so trainiert, dass es nicht nur genaue Vorhersagen trifft, sondern auch dem Adversary-Modell die Fähigkeit entzieht, geschützte Attribute korrekt vorherzusagen. Dadurch soll sichergestellt werden, dass die Vorhersagen nicht von diskriminierenden oder unfairen Einflüssen auf die sensiblen Attribute geprägt sind.

Question 49

Was ist ein Prejudice Remover

Fairness

Answer 49

Erklärung: Bei dieser Technik wird ein Regularisierungsterm zur Zielfunktion eines maschinellen Lernmodells hinzugefügt. Dieser Term bestraft das Modell, wenn es in Bezug auf geschützte Attribute diskriminiert. Der Regularisierungsterm wird speziell eingefügt, um das Modell dazu zu bringen, keine unfairen oder voreingenommenen Entscheidungen zu treffen.

Funktionsweise: Die Idee ist, das Modell während des Trainings zu bestrafen, wenn es Muster lernt, die zu Diskriminierung führen. Das führt dazu, dass das Modell lernt, faire Entscheidungen zu treffen, indem es jegliche unfaire Behandlung aufgrund geschützter Attribute vermeidet.