Inferentielle Datenanalyse IV Flashcards
Kritik an Signifikanztests und Konfidenzintervallen:
Beruhen auf unrealistischen Voraussetzungen.
Führen zu Missverständnissen und Fehlinterpretationen.
Grundlagen der Bayes’schen Inferenzstatistik
Einbeziehung von Vorinformationen.
Berechnung der Wahrscheinlichkeit von Hypothesen.
Warum Signifikanztests nicht funktionieren (Teil 1)
Unrealistische Voraussetzungen:
Annahme “kein Effekt” in der Population ist unplausibel.
Zufall als alleinige Ursache für Streuung ist unwahrscheinlich.
Missverständnisse:
Signifikanztests liefern die Wahrscheinlichkeit der Daten unter der Nullhypothese (p(D|H)), nicht die Wahrscheinlichkeit der Hypothese selbst.
Warum Signifikanztests nicht funktionieren (Teil 2)
Beispiel: Eine Studie liefert einen Anteil von p = 0,25 für Vegetarier*innen unter Psychologiestudierenden. Der Signifikanztest sagt nichts darüber aus, ob dieser Anteil verallgemeinerbar ist.
Fazit: Signifikanztests geben keine Information über die Wahrscheinlichkeit der Hypothese (p(H|D)).
Warum Konfidenzintervalle nicht funktionieren
Kritik:
Beruhen auf der Annahme eines wahren Populationseffekts.
Die Wahrscheinlichkeit bezieht sich auf das Intervall, nicht auf die Hypothese.
Fehlannahme: KI liefert die Wahrscheinlichkeit, dass der gesuchte Parameter im Intervall liegt.
Fazit: KI führen eher zu Fehlinterpretationen als zu nützlichen Erkenntnissen.
Bayes’sche Inferenzstatistik - Grundidee
Einbeziehung von Vorwissen: Vorinformationen werden in die statistische Analyse eingebunden.
Ziel: Wahrscheinlichkeit von Hypothesen bestimmen und diese im Licht neuer Daten revidieren.
Erkenntnisfortschritt: Durch die wiederholte Revision von Hypothesenwahrscheinlichkeiten.
Bayes-Faktor
Definition: Der Bayes-Faktor drückt die Überlegenheit einer Hypothese gegenüber einer anderen aus.
Berechnung: Verhältnis von zwei p-Werten.
Interpretation:
1 bis 3: Kaum der Rede wert.
3 bis 10/20: Positiv.
10/20 bis 100/150: Stark.
100/150: Sehr stark.
Fazit zur inferentiellen Datenanalyse
Schlussfolgerungen:
Vertrauenswürdigkeit der Daten prüfen.
Vergleichbarkeit der Stichprobe mit der Population sicherstellen.
Beide Aspekte können nicht quantifiziert, sondern müssen durch informierte Urteile der Forschenden bewertet werden.
Kritik an der Nullhypothese
Unrealistische Annahme: Die Nullhypothese (kein Effekt in der Population) ist häufig unplausibel und unrealistisch.
Konsequenz: Die Ablehnung der Nullhypothese sagt wenig über die tatsächliche Bedeutung oder Relevanz des Effekts aus.
Problematik der Zufallsannahme
Fehlende Praxisrelevanz: Signifikanztests setzen perfekte Zufallsziehungen, keine fehlenden Werte und perfekt zuverlässige Messinstrumente voraus.
Realität: In der Praxis sind diese Bedingungen selten erfüllt, was die Aussagekraft der Tests erheblich einschränkt.
Falsche Interpretation von p-Werten
Fehlinterpretation: p-Werte werden oft fälschlicherweise als Wahrscheinlichkeit für die Hypothese selbst interpretiert.
Tatsache: Ein p-Wert gibt die Wahrscheinlichkeit der Daten unter der Annahme der Nullhypothese an (p(D|H)), nicht die Wahrscheinlichkeit der Hypothese (p(H|D)).
Beispiel zur Fehlinterpretation
Münzwurf-Experiment: Die Wahrscheinlichkeit, 5-mal hintereinander “Kopf” zu werfen, ist p = 0,031. Dies sagt jedoch nichts darüber aus, ob die Münze tatsächlich fair ist.
Übertragung: Signifikanztests prüfen nur, ob Daten zufällig zustande gekommen sein könnten, nicht ob die Nullhypothese tatsächlich wahr ist.
Konfidenzintervalle - Fehlannahmen
Fehlannahme: Ein Konfidenzintervall gibt die Wahrscheinlichkeit an, dass der gesuchte Parameter im Intervall liegt.
Tatsache: Das Konfidenzintervall gibt an, dass von 100 Konfidenzintervallen 95 den wahren Wert enthalten würden – nicht, dass der wahre Wert mit 95% Wahrscheinlichkeit im spezifischen Intervall liegt.
Einfluss der Stichprobengröße auf Konfidenzintervalle
Korrekte Interpretation: Kürzere Konfidenzintervalle deuten auf verlässlichere Schätzungen hin.
Problem: Diese Information lässt sich auch direkt aus der Stichprobengröße ableiten, ohne Konfidenzintervalle zu berechnen.
Revision von Hypothesenwahrscheinlichkeiten (Bayes’sche Statistik)
Grundprinzip: Wahrscheinlichkeiten für Hypothesen werden durch neue Daten (posterior) revidiert, basierend auf Vorwissen (prior).
Vorteil: Erkenntnisfortschritt wird bereits bei einer einzigen Studie erzielt und durch Replikation weiter verbessert.
Beispiel zur Wahrscheinlichkeitsrevision
Prozess: Nach jeder Studie wird die posterior-Wahrscheinlichkeit der Hypothesen zur neuen prior-Wahrscheinlichkeit für die nächste Studie.
Ziel: Immer genauere Bestimmung der Hypothesenwahrscheinlichkeit durch wiederholte Studien.
Vergleich Bayes’sche Inferenz vs. Frequentistische Inferenz
Bayes’sche Inferenz: Nutzt Vorwissen, um die Wahrscheinlichkeit von Hypothesen zu bestimmen und diese bei neuen Daten zu revidieren.
Frequentistische Inferenz: Stützt sich auf Signifikanztests und Konfidenzintervalle, die auf unrealistischen Annahmen beruhen und oft Fehlinterpretationen führen.
Bayes-Faktor als Alternative
Nutzen: Der Bayes-Faktor bietet eine einfache Möglichkeit, zwei Hypothesen zu vergleichen und die Überlegenheit einer Hypothese gegenüber einer anderen zu bewerten.
Einschränkung: Nur zwei Hypothesen können direkt miteinander verglichen werden.
Anwendung der Bayes’schen Inferenz
Vorteile:
Integriert Vorwissen und neue Daten.
Führt zu einer kontinuierlichen Anpassung und Verbesserung der Hypothesenwahrscheinlichkeiten.
Praxis: Kann zu besseren wissenschaftlichen Schlussfolgerungen führen, da es die Unsicherheiten und Vorannahmen der Forschung explizit berücksichtigt.
Fazit zur Datenanalyse
Bedeutung: Die inferentielle Datenanalyse erfordert ein fundiertes Verständnis der Datenqualität und der Vergleichbarkeit der Stichprobe mit der Population.
Schlussfolgerung: Der Erfolg der Generalisierung von Stichprobenergebnissen auf die Population hängt mehr vom informierten Urteil der Forschenden ab als von formalen statistischen Tests.
Problem der “praktischen Bedeutung” bei Signifikanztests
Frage: Ist der Effekt wichtig oder bedeutsam?
Problem: Signifikanztests beantworten diese Frage nicht, da sie nur die Wahrscheinlichkeit der Daten unter der Nullhypothese liefern, nicht die praktische Relevanz des Effekts.
Generalisierbarkeit von Ergebnissen
Zentrale Frage: Kann ich den Effekt guten Gewissens auf die Population verallgemeinern?
Kritik an Signifikanztests: Diese Tests berücksichtigen nicht die Ähnlichkeit der Stichprobe zur Zielpopulation, was für die Generalisierbarkeit entscheidend ist.
Fünf absurde Annahmen beim Signifikanztesten
- Nulleffekt-Unterstellung: Annahme, dass kein Effekt existiert – unrealistisch.
- Perfekte Zufallsziehung: Annahme einer idealen Stichprobenauswahl ohne Fehler – praktisch nie gegeben.
- Perfekte Messinstrumente: Annahme fehlerfreier Messungen – selten realistisch.
- Automatische Ableitung von Aussagen: Schlussfolgerungen werden gezogen, die der Test nicht liefern kann.
- Vermeidung eigener Interpretation: Vermeidung der Verantwortung, die Ergebnisse im Kontext zu interpretieren.
Beispiel zur unzureichenden Interpretation durch Signifikanztests
Fallstudie: Ein Signifikanztest prüft die Wahrscheinlichkeit der Daten unter der Nullhypothese, nicht ob die Nullhypothese selbst zutrifft.
Konsequenz: Der Test kann keine Aussage darüber machen, ob die gefundene Verbesserung (z.B. in einem Therapieergebnis) tatsächlich auf die Behandlung zurückzuführen ist.
Einschränkungen des Bayes-Faktors
Vergleichbarkeit: Der Bayes-Faktor ermöglicht den Vergleich von nur zwei Hypothesen.
Grenzen: Obwohl er eine “light”-Version der Bayes-Statistik darstellt, kann er die Komplexität der vollständigen bayes’schen Analyse nicht vollständig erfassen.
Bayes’sche Inferenzstatistik - Iterativer Prozess
Iteration: Nach jeder Studie werden die berechneten posterior-Wahrscheinlichkeiten als neue prior-Wahrscheinlichkeiten für die nächste Analyse verwendet.
Ziel: Dieser iterative Prozess führt zu einer immer genaueren Bestimmung der Hypothesenwahrscheinlichkeiten.
Einfluss der Vorinformationen bei der Bayes’schen Inferenz
Vorwissen: Hypothesen werden nicht nur basierend auf neuen Daten, sondern auch unter Einbeziehung von theoretischem Wissen, Vorstudien und Intuition bewertet.
Erkenntnisgewinn: Durch die aktive Nutzung von Vorinformationen wird die Wahrscheinlichkeit einer Hypothese kontinuierlich angepasst, was zu einem tieferen Verständnis führt.
Signifikanztests vs. praktische Relevanz
Signifikanztests: Prüfen, ob ein Effekt statistisch signifikant ist, beantworten aber nicht die Frage, ob der Effekt praktisch bedeutsam ist.
Alternative: Bewertung der Effektgröße und des praktischen Nutzens, um die Relevanz der Ergebnisse besser zu verstehen.
Fehlannahme über die Aussagekraft von Konfidenzintervallen
Typischer Irrtum: Konfidenzintervalle werden oft fälschlicherweise als direkte Aussage über die Wahrscheinlichkeit des Parameters innerhalb des Intervalls interpretiert.
Wahre Aussage: Das Konfidenzintervall gibt nur an, dass bei 95% der erstellten Intervalle der wahre Wert enthalten wäre, nicht dass ein spezifisches Intervall den wahren Wert mit 95% Wahrscheinlichkeit enthält.
Verlässlichkeit der Daten bei inferentieller Analyse
Verlässlichkeit prüfen: Vor der Generalisierung von Stichprobenergebnissen sollte die Vertrauenswürdigkeit der Daten analysiert werden.
Wichtige Faktoren: Qualität der Messinstrumente, Vollständigkeit der Daten, Zufälligkeit der Stichprobenauswahl.
Praktische Umsetzung der Bayes’schen Inferenz
Schrittweise Anpassung: Mit jeder neuen Studie wird die Hypothese unter Einbeziehung neuer Daten und vorheriger Annahmen angepasst.
Ziel: Schrittweise Annäherung an die “Wahrheit” durch fortlaufende Aktualisierung der Hypothesenwahrscheinlichkeiten.
Abwägung zwischen Signifikanztests und Bayes’scher Analyse
Signifikanztests: Schnell und weit verbreitet, aber oft fehlinterpretiert und auf unrealistischen Annahmen basierend.
Bayes’sche Analyse: Liefert tiefere Einsichten durch Integration von Vorwissen und iterative Anpassung, erfordert jedoch eine komplexere Methodik
Fazit zur Nutzung von Konfidenzintervallen
Schlussfolgerung: Konfidenzintervalle bringen keinen signifikanten Vorteil gegenüber einer detaillierten Betrachtung der Datenstreuung und Stichprobengröße.
Empfehlung: Vorsichtige Interpretation und Ergänzung durch andere statistische Methoden oder Kontextinformationen.
