Ethics & Fairness Flashcards
Nenne Teilbereiche des Gebiets Ethics & Moral in AI
Ethics & Moral
- Transparency
- Data Privacy
- Accountability / Trustworthyness (funktioniert nur zusammen)
- Fairness & Bias
Beschreibe das Problem für Ethics & Bias in AI. Was sind die Gründe dafür?
Ethics & Bias in AI
Es gibt zahlreiche Fälle von AI-Components, die gewisse Segmente der Menschen anders behandelt haben als den Rest.
Die Welt ist auch (leider) biased und unfair. Daten repräsentieren die Welt und trainieren dann das ebenso biased Model.
Es ist wichtig, diesen Bias für alle geschützten Attribute auszugleichen.
Definiere Ethik
Ethics & Moral
Ethik befasst sich mit dem “Was ist gut für Menschen und Gesellschaft”.
Ziel ist es, moralische Prinzipien abzuleiten, welche Menschen helfen sollen, Entscheidungen zu treffen und ihr Leben zu leben.
Nenne drei verschiedene Kategorien innerhalb der Ethik
Ethics & Moral
Meta-Ethics:
- Natur der moralischen Beurteilung
- Bedeutung und Ursprung ethischer Prinzipien
Normative Ethics:
- Studiert was richtig ist und was falsch ist
- Warum machen wir manchmal das kontraintuitive?
Applied Ethics:
- untersucht die Anwendung von ethischen Theorien in kontroversen Themen (Krieg, Tierrechte, …)
Nenne zwei ethische Theorien und erkläre eine kurz
Ethics & Moral
Utilitaristische Ethik:
Die Mehrheit profitiert.
Nachteile: Die Minderheit wird geschädigt, während die Mehrheit profitiert
Ergebnisvorhersage ist erforderlich
Deontologische Ethik:
Menschen sollten mit Würde und Respekt behandelt werden.
Nachteile: Meinungsverschiedenheiten über Prinzipien, die zu einer Entscheidung führen
die richtige Wahl kann zu schlechten Konsequenzen führen
mögliche Konflikte in einer Pflicht
Die EU hat Richtlinien für AI erstellt. Nenne diese 7 Key-Requirements für KI
Ethics & Moral
7 key requirements for AI:
- Human agency and oversight
- Technical robustness and safety
- Privacy and data governance
- Transparency
- Diversity, non-discrimination and fairness
- Societal and environmental well-being
- Accountability
Definiere den Begriff “Bias”
Ethics & Bias
Bias == Voreingenommenheit
Bias ist eine unverhältnismäßige Befürwortung oder Ablehnung einer Idee oder Sache, normalerweise in einer engstirnigen, voreingenommenen oder unfairen Weise.
Voreingenommenheit kann angeboren oder erlernt sein.
Menschen können Vorurteile für oder gegen eine Person, eine Gruppe oder einen Glauben entwickeln.
Was bedeutet Stereotyping im Kontext von Bias?
Ethics & Bias
Stereotyping ist eine Form von Bias, bei der Vorurteile oder Bevorzugungen gegenüber bestimmten Dingen, Menschen oder Gruppen gegenüber anderen bestehen.
Was bedeutet Systematic Error im Kontext von Bias?
Ethics & Bias
Systematic Error ist ein systematischer Fehler, der durch eine unsachgemäße Stichproben- oder Berichtsstrategie eingeführt wird und zu Verzerrungen in den Ergebnissen führt.
Was ist Automation Bias?
Ethics & Moral
Automation Bias ist die Tendenz, Entscheidungen oder Vorschläge von automatisierten Systemen ohne kritische Prüfung zu bevorzugen, auch wenn sie möglicherweise fehlerhaft sind.
Was ist Confirmation Bias?
Ethics & Bias
Confirmation Bias ist die Neigung, Informationen zu bevorzugen, die bestehende Überzeugungen oder Hypothesen bestätigen, während widersprüchliche Informationen ignoriert werden.
Was ist Experimenter’s Bias?
Ethics & Bias
Experimenter’s Bias tritt auf, wenn Forscher unbewusst ihre eigenen Erwartungen oder Überzeugungen auf das Experiment übertragen, was die Ergebnisse verzerren kann.
Was ist Group Attribution Bias?
Ethics & Bias
Group Attribution Bias ist die Tendenz, das Verhalten eines Einzelnen auf die Eigenschaften der gesamten Gruppe zurückzuführen, zu der er gehört.
Was ist Implicit Bias?
Ethics & Bias
Implicit Bias bezieht sich auf unbewusste Vorurteile oder Einstellungen, die unser Verhalten und unsere Entscheidungen beeinflussen, ohne dass wir uns dessen bewusst sind.
Was ist In-Group Bias?
Ethics & Bias
In-Group Bias ist die Tendenz, Menschen, die zur eigenen Gruppe gehören, zu bevorzugen oder positiver zu bewerten als Menschen aus anderen Gruppen.
Was ist Out-Group Homogeneity Bias?
Ethics & Bias
Out-Group Homogeneity Bias ist die Wahrnehmung, dass Mitglieder einer fremden Gruppe homogener sind (d.h. sich ähnlicher sind), als sie tatsächlich sind, während die eigene Gruppe als vielfältiger wahrgenommen wird.
Was ist Coverage Bias?
Ethics & Bias
Coverage Bias tritt auf, wenn bestimmte Gruppen oder Merkmale in der Stichproben- oder Berichterstattungsphase über- oder unterrepräsentiert sind, was die Ergebnisse verzerrt.
Was ist Non-Response Bias?
Ethics & Bias
Non-Response Bias tritt auf, wenn die Personen, die an einer Umfrage oder Studie nicht teilnehmen, sich systematisch von den Teilnehmern unterscheiden, was zu verzerrten Ergebnissen führt.
Was ist Participation Bias?
Ethics & Bias
Participation Bias tritt auf, wenn Personen, die sich entscheiden, an einer Studie teilzunehmen, nicht repräsentativ für die Gesamtbevölkerung sind, was zu einer Verzerrung der Ergebnisse führt.
Was ist Reporting Bias?
Ethics & Bias
Reporting Bias entsteht, wenn bestimmte Ergebnisse oder Daten systematisch überbetont oder unterdrückt werden, wodurch ein verzerrtes Bild der tatsächlichen Ergebnisse entsteht.
Was ist Sampling Bias?
Ethics & Bias
Sampling Bias tritt auf, wenn die Stichprobe nicht repräsentativ für die Gesamtpopulation ist, was dazu führt, dass die Ergebnisse nicht verallgemeinerbar sind.
Nenne 4 Gründe für Bias in der Data Collection
Ethics & Bias
- Reporting Bias
- Selection Bias
- Overgeneralization
- Unconscious Bias from Real World
Beschreibe Reporting Bias und nenne Beispiele / Gründe
Ethics & Bias
Die Stichprobe (Trainingsdaten) hat andere Eigenschaften, Häufigkeiten, Ergebnisse als die reale-Welt Daten.
Es werden nur Daten reported, welche einen Teil, der Daten ausmachen, wie gute, interessante, schlechte Dinge.
Beschreibe Selection Bias und nenne 3 verschiedene Formen davon
Ethics & Bias
Selection Bias beschreibt, dass eine Stichprobe in eine bestimmte Richtung verzerrt ist.
Formen:
- Coverage Bias
- Sampling Bias
- Non-Response Bias
Beschreibe Coverage Bias
Ethics & Bias
Die Stichprobe repräsentiert nicht die Daten in der Produktion
Beschreibe Sampling Bias
Ethics & Bias
keine zufällige Auswahl von Daten der Zielgruppe.
(Die Qualität der Daten unterscheidet sich zwischen den Gruppen)
Beschreibe Non-Response Bias
Ethics & Bias
Beschreibung:
Die von Menschen gesammelten Daten sind verzerrt, weil eine bestimmtes Segment dazu neigt, die Daten nicht zu senden. (Menschen nutzen Opt-out)
Beschreibe Overgeneralization
Ethics & Bias
Daten einer Gruppe wird dazu verwendet über andere Gruppen zu generalisieren
Nenne Human Bias Typen Data Collection. (3 Stereotypische, 3 Systematische Fehler)
Ethics & Bias
Stereotypische:
- Automation bias
- Confirmation bias
- Experimenter’s bias
- Group attribution bias
- Implicit bias
- In-group bias
- Out-group homogeneity bias
Systematische Fehlertypen:
- Coverage bias
- Non-response bias
- Participation bias
- Reporting bias
- Sampling bias
- Selection bias
Nenne Human Bias Typen in ML Engineering
Ethics & Bias
- Automation Bias
- Group Attribution Bias
- In-Group Bias
- Out-Group Homogenity Bias
Definiere Implicit Human Bias, nenne eine typische Bias-Form.
Ethics & Bias
Impliziter Bias beschreibt unbewusste Vorurteile oder Annahmen, die auf eigenen Erfahrungen, Prägungen oder Stereotypen beruhen.
-> Siehe Confirmation Bias
Inwiefern kann Confirmation Bias dazu beitragen, dass die Ergebnisse / Experimente von ML Engineers verzerrt werden?
Ethics & Bias
Confirmation bias: ML engineers verarbeiten Daten unbewusst so, dass ihre eigenen Überzeugungen und Hypothesen bestätigt werden (in Extremfällen trainieren und erstellen Sie Modelle, bis sie Ihren Erwartungen entsprechen -> Experimentator-Bias)
Welche Real-World Biasbeispiele muss man bei der Nutzung von Trainingsdaten beachten?
6
Ethics & Bias
- Racisms
- Sexisms
- Stereotypes
- Group-based judgement
- Unfair conditions (working, treatment, interactions)
- Beliefs, misconceptions, etc.
Nenne 3 mögliche steps an denen Bias in der Pipeline auftreten kann.
Ethics & Bias
- Storing & Linking Data (misspelling long uncommon names, …)
- Preprocessing (Default / averaged values might transforming minority groups into majority ones)
- Data Exploration (Outliers may be cropped away, but might be representing minority groups)
Wie kann man Bias identifizieren?
Nenne 3 Red-Flags für potenzielle Bias.
Ethics & Bias
Diverse Teams sollten proaktiv prüfen, ob es in irgendeiner Form Bias gibt.
- Wichtige Merkmale sind unterrepräsentiert -> Reporting- & Selection-Bias
- Unerwartete Merkmalswerte: Weisen auf mögliche Probleme bei der Datenerfassung oder Ungenauigkeiten hin, die Bias einführen könnten
- Jegliche Art von Verzerrung, die zu einer Unter- oder Überrepräsentation von Gruppen führt
Nenne und beschreibe drei grundlegende Arten von Fairness.
Fairness
Group-Level Fairness: Unterscheiden sich Ergebnisse unter bestimmten demographischen Gruppen?
Individual Fairness: Werde ich fair gegenüber anderen behandelt?
Society Fairness: Ist der Vorteil für die Gesellschaft maximiert?
Welche Attribute der Bevölkerung müssen geschützt werden vor Unfairness?
6
Fairness
Die Bevölkerung umfasst verschiedene Minderheitengruppen
- Ethnisch
- Religiös
- Medizinisch
- Geografisch
- Familienstand
- Sozioökonomischer Status
Warum reicht es nicht aus, geschützte Eigenschaften nicht zur Entscheidungsgrundlage zu nutzen? Warum kann dies dennoch in Unfairness resultieren.
Fairness
Selbst wenn Ethnie, Geografische Attribute entfernt werden, können sie durch korrelierende Features im Datensatz verbleiben.
Was versteht man unter der statistischen Parität im Kontext zu Fairness in ML ? (Equal Acceptance)
- Nenne ein Beispiel.
- Beschreibe, wann es angewandt werden muss.
Fairness
die Wahrscheinlichkeit eines Ergebnisses B muss unabhängig einer geschützten Variable A sein.
Besipiel:
Das Festanstellen von Mitarbeitern muss unabhängig des Geschlechts sein.
Wann sollte es angewandt werden? -> Wenn die reale Welt Daten biased sind und für Fairness korrigiert werden müssen.
– Profit
Beschreibe die Fairness Metrik Equal Opportunity
- Nenne ein Beispiel.
- Beschreibe, wann es angewandt werden muss.
Fairness
Positive Resultate (Model predicts True) sollten gleich für alle Gruppen geschützter Attribute sein.
Beispiel: Zulassungen für Studenten
Wann sollte es benutzt werden? -> Wenn der Fokus auf akkurater positiver Predictions ist und FP nicht schwerwiegend sind.
– Profit
Beschreibe die Fairness Metrik Equal Odds
- Beschreibe, wann es angewandt werden muss.
FPR und FNR müssen gleich unter allen Gruppen sein
-> Data must be collected in unbiased way
-> Wahrscheinlich das TPR unter der Balancierung der Fairness leidet
Anwendbar, wenn der Recall des Modells das Projekt nicht gefährdet
– Profit
welche beiden Fairness Typen stehen im Konflikt zueinander und warum?
Fairness
Group-Level Fairness <-> Individual Fairness
Hohe FP / FN Prozente führen dazu, dass durch die Fokussierung auf GLF vermehrt Individuen falsch klassifiziert werden.
Beschreibe das Group-Fairness Impossibility Theorem
Fairness
Wenn ein Algorithmus der Predictive Rate Parity unterliegen soll, während Verbreitung / Prävalenz unter den Gruppen unterschiedlich ist, kann das Instrument keine gleichen FPR/FNR erzeugen.
Durchlaufe den ML Design Zyklus:
Welche Fragen hinsichtlich Fairness sollten gestellt werden?
Fairness
Problem Formation:
Ist ein Algorithmus eine ethisch korrekte Lösung für das Problem?
Daten
Minority Proben? Skewed Data? Debiasing notwendig?
Algorithm Selection
Ist die Zielfunktion konform mit Fairness?
Testing
Welche relevanten Fairness Metriken? Gibt es andere Testdatensätze?
Deploy
Repräsentieren die Trainingsdaten die Produktionsdaten?
Feedback
Kann das Feedbacksystem unfaire Retraining-Resultate erzielen?
Nenne vier Möglichkeiten Bias entgegenzuwirken
Fairness
Population Bias: Überprüfe Demographische Daten der Zielgruppe
Under- & Überrepresentation sollten verhindert werden
Data Augmentation: Berreichere den Datensatz mit synthetischen Daten von Minderheitengruppen
Sammele mehr Daten von Gruppen mit erhöhten Fehlerraten
Welche Methoden können Bias in Pre- & Postprocessing entgegenwirken?
Preprocessing:
- Verarbeite die Daten so, dass geschützte Variablen entfernt werden und die Korrelationen mit diesen Variablen verschwinden
- Relabeling (finde Gründe für Bias und behebe sie)
- Reweighting von Minderheitengruppen
- Sammle weitere Daten, sodass eine Daten Parität für Minderheitengruppen erreicht wird
Postprocessing:
- Adversarial Debiasing
- Prejudice Remover
Was bedeutet Parität?
Allgemein
Gleichgewicht
Was ist ein Aversarial Debiasing Model
Fairness
Funktionsweise: In einem Adversarial Setting gibt es zwei Modelle:
Das Hauptmodell, das eine Vorhersage treffen soll.
Ein Adversary-Modell, das versucht, geschützte Attribute basierend auf den Vorhersagen des Hauptmodells zu erraten.
Das Hauptmodell wird so trainiert, dass es nicht nur genaue Vorhersagen trifft, sondern auch dem Adversary-Modell die Fähigkeit entzieht, geschützte Attribute korrekt vorherzusagen. Dadurch soll sichergestellt werden, dass die Vorhersagen nicht von diskriminierenden oder unfairen Einflüssen auf die sensiblen Attribute geprägt sind.
Was ist ein Prejudice Remover
Fairness
Erklärung: Bei dieser Technik wird ein Regularisierungsterm zur Zielfunktion eines maschinellen Lernmodells hinzugefügt. Dieser Term bestraft das Modell, wenn es in Bezug auf geschützte Attribute diskriminiert. Der Regularisierungsterm wird speziell eingefügt, um das Modell dazu zu bringen, keine unfairen oder voreingenommenen Entscheidungen zu treffen.
Funktionsweise: Die Idee ist, das Modell während des Trainings zu bestrafen, wenn es Muster lernt, die zu Diskriminierung führen. Das führt dazu, dass das Modell lernt, faire Entscheidungen zu treffen, indem es jegliche unfaire Behandlung aufgrund geschützter Attribute vermeidet.
Predictive Rate Parity
Idea: The probability of a subject with positive predictive value should truly belong to the positive class.
p(Y = 1|𝑌= 1, A = a) = p(Y = 1|𝑌= 1, A = b ) ∀𝑎, 𝑏, ∈ 𝐴
chances for an individual to be positively classified are the same no matter what group. In general, similar to
equality of opportunity, but more difficult to measure.
