Welche Werte sind bei Testwerten / Ausgabe von SPSS Tabellen (t-Test) interessant?
- Levine Test -> Signifikanz-Wert sollte nicht signifikant sein
- “regulärer” Test -> Signifikanz-Wert (p-Wert) mit ⍺ vergleichen
One Group Before-After Design
- Pre-Experimental Design (Quasi-Experiment)
- 1 Versuchsgruppe wird vor und nach Manipulation betrachtet
- Problem: zwischen den Messzeitpunkten können externe Faktoren die Messung beeinflusst haben, so dass die Manipulation dann nicht mehr der (alleinige) Grund für die Änderung ist.
–> Pre-Experimental Designs lassen (normalerweise) keine Schlüsse auf Kausalzusammenhang zu
einfache Zufallsauswahl
- Liste der relevanten Grundgesamtheit wird erstellt (bspw. alle Matrikelnummern der FU Berlin)
- die Stichprobe wird zufällig aus dieser Liste ausgewählt
- Alle Mitgleider der Grundgesamtheit haben eine bekannte Wahrscheinlichkeit (ungleich 0) ausgewählt zu werden für die Stichprobe
Arten der ANOVA
True Experimental Design (allgemein)
Ein Experiment, dass der experimentellen Logik folgt und durch Randomisierung versucht, den Einfluss von Störfaktoren (z.B. Drittvariablen) auszuschließen.
Prozess der Stichprobenziehung (allgemein)
- Identifikation der Grundgesamtheit (-> über welche Grundgesamtheit wollen wir eine Aussage treffen? Internetnutzer in Deutschland, Frauen zwischen 18 und 28 in Bayern etc… -> nicht “die Menschheit” = Grundgesamtheit!)
- Festlegung der Stichprobenbasis -> bspw. Telefonbuch, Kundendatenbank, Mitgliederliste, Wählerverzeichnis etc.
- Auswahl des Stichprobenverfahrens (Zufallsstichprobe vs. Nicht-zufällige Stichprobe)
- Festlegen der Stichprobengröße
- Durchführung der Stichprobenziehung
- Datenerhebung (-> Non-Response Problem!)
- Resultierende Ergebnisse & Implikationen
Gütekriterien in der Qualitativen Forschung
Interne Validität = Glaubwürdigkeit: multiple Ansätze führen zu ähnlichen Resultaten, multiple Forscher bringen ähnlichen Interpretationen hervor
Externe Validität = Transferrierbarkeit: ist in der Verantwortung des Lesers, nicht des Forschers, dies zuzuschreiben; detaillierte Beschreibung verfügbar machen, detaillierte demographische und situationale Beschreibung (schwierig!)
Reliabilität = Zuverlässigkeit: wiederholte Untersuchungen bringen ähnliche Beobachtungen zutage, unterschiedliche Forscher ziehen ähnliche Schlüsse & interpretieren die Daten ähnlich
Feldexperimente
- Natürliche und realistische Situation
- Personen wissen oft nicht, dass sie teilnehmen, was eine natürliche Reaktion zulässt
- hohe externe Validität, das heißt Ergebnisse lassen sich generalisieren auf andere Saples, Zeitpunkte und Untersuchungsdesigns
- Problem: kausaler Zusammenhang kann durch Drittvariablen / Störfaktoren beeinflusst werden
Laborexperiment
- künstliche Situation
- Einfluss von Störfaktoren bzw. Drittvariablen ist kontrollierbar und kann auf ein Minimum reduziert werden
- hohe interne Validität, d.h. kausaler Zusammenhang liegt wirklich vor, Veränderung der abhängigen Variable kann tatsächlich auf Variation der unabhängigen Variable zurückgeführt werden
- Problem: externe Validität gering
Störfaktoren auf die interne Validität
- Zeit -> externe Ereignisse zwischen den Messungen
- Maturation -> bei bspw. Langzeitstudien verbessern die Probanden ihre Performance einfach aufgrund der vergangenen Zeit
- Test-Effekt -> Wissen über Test / Testbekanntheit
- Instrument: ein Wechsel der Messinstruments, Instructors etc. kann das Ergebnis beeinflussen
- Statistische Regression -> z.B. Umgehen mit Ausreißern bei Regression: schaut man sich die 40 schlechtesten Studenten an, ist davon auszugehen, dass diese ohne Einwirken bei einer zweiten Studie besser abschneiden werden.
- Sterblichkeit: Probanden verlassen die Studie
- Stichprobenprobleme: Bias in Gruppenzusammensetzung kann Stichprobe verzerren, Randomisierung löst dieses Problem -> aber: bei kleinen Samples: Simpson Paradox (versteckte Variablen bestimmen Gruppenzugehörigkeit!)
Störeinflüsse auf interne Validität bei Feldexperimenten
- Demoralisierung der Kontrollgruppe -> sie bekommen kein Treatment und fühlen sich dadurch ungerecht behandelt, haben schlechtere Performance
- Rivalität zwischen Versuchs- und Kontrollgruppe -> Kontrollgruppe fühlt sich ungleich behandelt und reagiert auf diese wahrgenommene Ungerechtigkeit
- Anpassung / Antizipation der Ergebnisse durch Kontrollgruppe (obwohl sie gar kein Treatment bekommen verhalten sie sich wie Experimentalgruppe)
- Personen ändern ihr Verhalten auf Grund der Beobachtung: Hawthorne Effekt -> Arbeiterinnen haben bei Verbesserung UND Verschlechterung der Arbeitsverhältnisse eine gesteigerte Performance gezeigt, weil sie beobachtet wurden und Aufmerksamkeit bekamen.
Störeinflüsse auf die externe Validität
- Pre-testing Effekt: durch einen Pre-test werden Probanden (weniger) sensibler hinsichtlich der experimentellen Variablen
- Stichprobenprobleme: Stichprobe ist nicht repräsentativ für Grundgesamtheit
- Geringe Validität der Messung: Messung misst nicht das, was sie messen soll (IQ Test misst nicht Intelligenz, sondern Prüfungsstärke)
- Generalisierbarkeit von nicht.experimentellen Designs schwierig
Kontrolle von Störvariablen bei Experimenten
- Randomisierung: wichtigste Technik um Störeinflüsse zu neutralisieren!
- Parallele Durchführung: Störeinflüsse sollten gleich auf die Versuchsgruppen verteilt werden, beide Gruppen bspw. montags betrachtet werden und nicht eine am Montag, die andere am Freitag
- Homogenisierung: Sample auf Probanden mit sehr homogenen Charakteristika beschränken
- Komplexes Untersuchungsdesign
- Matching: sind Störeinflüsse bekannt, sollten Probanden mit ähnlichen Charakteristika jeweil auf die verschiedenen Experimentalgruppen verteilt werden
- Statistische Techniken: Störvariable kann bei bekanntheit als Kontrollvariable in das Modell übernommen werden
Warum kann man H0nie beweisen?
- bei Hypothesentests werden immer nur Indizien gegen H0 gesammelt, eine 100%ige Sicherheit kann aber nie hergestellt werden
- Hypothesentest wird unter der Prämisse durchgeführt, dass H0 gilt -> deshalb kann man H0 nicht mit demselben Test beweisen
Simpson Paradoxon
- 1973 wurde die UC Berkeley wegen vermeitlicher Diskriminierung von Frauen bei der Zulassung verklagt.
- Jedoch hatten sich die Frauen meist auf die sehr kompetitiven Studiengänge beworben mit wenigen Plätzen, Männer hingegen auf Studiengänge mit vielen, “leichten” Plätzen!
Vorteile von Zufallsauswahl gegenüber nicht-zufälligen Stichprobenverfahren
- Der Forscher kann die Representativität des Saples demonstrieren
- Ein explizites Statement über die Variation innerhalb des Samples ist möglich
- Mögliche Bias können leichter identifiziert werden.
Vorgehen bei Regression
