Aktuelle Klausurfragen Flashcards
Welche Fragestellungen könnte ein Evaluator mit einem Posttest Only Design beantworten?
1) Wie gut ist die Leistung der Probanden nach dem Programm?
2) Wird der festgelegte Minimalstandard an erwarteten Ergebnissen erreicht?
- > Bewertung aufgrund eines Datensamples
- > Problem: Bei Vorliegen positiver Posttest-Werte kann man aber nicht die Frage beantworten, ob die Personen sich während des Programms verbessert haben.
Mit welcher statistischen Methode kann man abschätzen, ob eine Variable einen Einfluss auf das Outcome hat?
Regression (Oder nur Korrelation???)
- Vorhersage der Postwerte anhand der Präwerte
- Vorhersage der absolvierten Therapiestunden anhand der Präwerte
- Bilden der Differenz zwischen vorhergesagten und tatsächlichen Postwerten
- Bilden der Differenz zwischen vorhergesagten und tatsächlichen Therapiestunden
- Berechnen der Korrelation zwischen den Differenzen
Welche Bedrohungen der internen Validität gibt es?
-> Veränderungen bei Teilnehmern, die nicht am Programm liegen.
1) Reifung: natürliche Veränderungen bei Menschen über Zeit, z.B. Älterwerden bei Kindern, Müdigkeit beim lange wach bleiben
o Möglichkeit das Problem zu kontrollieren: Mehrere Gruppen testen oder über längere Zeiträume zu testen
2) Geschichte: Geschehnisse in der Umgebung, Gesellschaft oder Welt, die während Prä- und Posttest auftreten und die Programmteilnehmer beeinflussen, z.B. Wahlen, Rezession oder Krieg
o Möglichkeit das Problem zu kontrollieren: Mehrere Gruppen testen oder zu unterschiedlichen Zeiten testen
o Evaluatoren sollten sensibel für Ereignisse sein, die in der betreffenden Zeit vorkommen
-> Programmteilnehmer
Probleme entstehen, wenn Teilnehmer keine zufällige, repräsentative Stichprobe darstellen
3) Selektion
o Teilnahme immer freiwillig -> wer sich freiwillig meldet ist vielleicht schon übermäßig motiviert
o bei nur Posttest weiß man nicht, ob die Leute nicht schon vorher super gut waren
4) Sterblichkeit?? (Mortality)
o Bei nur Posttest hat man keine Infos über selektiven Dropout
o Wenn sie das Programm doof oder zu schwierig finden hören sie eher auf, das sind dann aber gerade die, die sich wahrscheinlich nicht verbessert hätten
o Besser Prätest/Posttest machen
5) Regression
o Wenn man eine komplexe Handlung lernt, spielt anfangs zum einen Können und zum anderen Glück eine Rolle, ob es gut klappt
o Da das Glück den Ausschlag gibt, ob man es insgesamt gut macht ist die Wahrscheinlichkeit gering, es zweimal hintereinander extrem gut oder extrem schlecht zu machen
wenn eine Leistung extrem ist, ist die nächste Leistung wahrscheinlich weniger extrem
Es ist ein Problem, wenn man eine Maßnahme evaluiert in der nur extrem schlechte Teilnehmer sind, weil der Effekt des Programms dann überschätzt wird
Außerdem:
- Testung und Instrumentation
Inwiefern kann eine Bedrohung der internen Validität durch Testung und insbesondere Wiederholung einer Testung entstehen?
Vertrautheit und Reaktivität
I. Testen
o Lerneffekte möglich, wenn zweimal derselbe Test gegeben wird
o Reaktivität: Menschen verhalten sich anders wenn sie wissen, dass sie beobachtet werden
II. Instrumentation
o Bei nicht objektiven Verfahren (z.B. Bewertung eines Aufsatzes) kann sich im Laufe der Korrektur die Anforderung des Bewertenden ändern, z.B. weil er einen besseren Eindruck von der Thematik hat
o Seine Anforderungen können mit der Zeit steigen oder sinken
o Bei Beobachtungen klappt der Posttest meistens besser, da der Untersucher dort schon mehr Übung hat als beim Prätest -> könnte den Effekt des Programms überschätzen
Interne Validität
Annahme, dass die UV die Veränderungen in der AV bewirkt
Konstruktvalidität
Unter Konstruktvalidität versteht man empirische Beweise dafür, dass ein Test das Konstrukt erfasst, welches er erfassen soll und nicht ein anderes.
Welche change Arten gibt es? Definiere sie kurz
I. Alpha-Veränderung: Tatsächliche Veränderung in der interessierenden Variable
II. Beta-Veränderung: treten auf, wenn Teilnehmer ihr Verständnis über eine Skala ändern, da sie mehr Einsicht darüber haben, z.B. mehr Symptome angeben als im Prätest in Zahlen eine negative Veränderung aber in der Bedeutung eigentlich eine positive
III. Gamma-Veränderung: treten auf, wenn zwischen Prä- und Posttest eine Rekonzeptualisierung der betreffenden Variable auftritt, z.B. Symptome, die vorher nicht als Stress wahrgenommen wurden, werden dies nun durch das Programm Rekonzeptualisierung des Begriffes „Stress“
Nenne eine mögliche Gefahr beim Matching-Verfahren
- Manchmal gibt es keine ausreichend äquivalente Vergleichsgruppe
- Regressionseffekte
- Programmeffekte werden durch Regressionseffekte überdeckt
Was sind die Vorteile des Patch-Up Designs?
- kostengünstig, schnell
- Kontrolle von Störvariablen
- Ziel: hohe interne Validität
Nenne drei Gründe, warum Vergleichsgruppen-Designs den Ausschluss von Alternativerklärungen ermöglichen
- Kontrollgruppen werden zu gleichen Zeitpunkten getestet
- Gleicher vorgegebener Zeitraum, um sich zu verbessern/verändern
- Kontrolle von Testeffekten und Mortalitäten
Beide Gruppen gleiche Reifung (gleiche Messzeitpunkte und Zeitintervalle)
Beide Gruppen gleichen historischen Ereignissen ausgesetzt
Beide Gruppen gleichen Testeffekten ausgesetzt
Beide Gruppen haben ähnliche Sterblichkeitsraten (statistische Mortalität)
Welche Bedingungen müssen vorliegen, um einen Ursache-Wirkungszusammenhang annehmen zu können?
Kriterien für Kausalitätsannahme?
1) Ursache geht Effekt zeitlich voraus
2) Ursache und Effekt kovariieren
3) Keine alternativen Erklärungen für Effekt
Bezüglich welcher Alternativerklärungen sind Zeitreihendesigns hilfreich?
Vorteile eines Time-Series Design gegenüber einem Pretest-Posttest Design:
o Reifung kann besser erkannt und von Programmeffekten unterschieden werden, da Reifeeffekte nachverfolgt werden können über die Zeitperioden von vor dem Programm bis nach dem Programm
o Effekt der Geschichte können besser erkannt und von den Effekten des Programms differenziert werden, da Reaktionen der abhängigen Variablen auf geschichtliche Ereignisse rekonstruierbar
Was sind die 4 Funktionen von psychologischen Interventionsmaßnahmen?
1) Entfaltung/allgemeine Förderung ohne dass ein Defizit vorliegt
2) Prävention zukünftig zu erwartender/befürchtender Defizite
3) Behandlung manifest gewordener Defizite/Störungen
4) Rehabilitation von verloren gegangenen Fähigkeiten/Fertigkeiten
Unter welchen Bedingungen kann (begrenzt) von der Wirksamkeit auf die Wirkung einer Maßnahme geschlossen werden?
Wirksamkeit - - > Wirkung, wenn der Versuch
hinreichend diagnostisch valide ist und die empirisch
nachgewiesenen Wirkungen reine Programmwirkungen sind
Hinreichend diagnostisch valide:
1. Bei der Wahl eines Erhebungsverfahrens muss sichergestellt werden, dass
Leistungsunterschiede vorrangig auf Unterschiede der Kompetenz
zurückgehen
2. Kontrolle von Störvariablen
3. Wissenschaftliche Fundierung der Maßnahme
Programmgebundene Wirkungen sind Folge des spezifischen Einflusses der
Intervention, umfassen die angestrebten Ziele des Programms und sind
theoretische Konstrukte, da sich das Wirkmodell auf diese bezieht. Man
unterscheidet intendierte und nicht intendierte programmgebundene Wirkungen.
Welche 3 Arten von Transfer liefern Hinweise darauf, welche Kompetenzen in einer Intervention verändert wurden?
Hinweise auf Kompetenzveränderung:
1. Zeitlicher Transfer / Zeitliche Generalisierung -> Wenn eine eingeübte Fähigkeit bzw. Fertigkeit länger
erhalten bleibt
- Anforderungstransfer bzw. - Generalisierung -> Wenn eingeübte Fähigkeit bzw. Fertigkeit auf andere, in der Intervention nicht enthaltene Aufgabenanforderungen übertragen wird
- Situationstransfer bzw. - Generalisierung -> Wenn eingeübte Fähigkeit bzw. Fertigkeit auf andere
Randbedingungen/Kontexte als den in der Intervention übertragen wird
Welche 2 Klassen von Kompetenzen lassen sich bezogen auf den zeitlichen Transfer unterscheiden? Wie unterscheiden sie sich?
● Ab wann ist der gemessene Transfer relevant?
● Bei zeitlichem Transfer: 1 Monat als Grenzwert
● Kurzfristig verfügbare Kompetenzen, die auf einen Monat begrenzt sind = K - Kompetenzen
● Längerfristig verfügbare Kompetenzen, die den Zeitraum von einem Monat überschreiten = L - Kompetenzen
Der beobachtete Transfer liefert Hinweise darauf, welche Kompetenzen durch die Intervention verändert wurden
Wie viele Testzeitpunkte braucht man mindestens für Aussage bzgl. L Kompetenzen?
● Entwicklungsanschübe sind immer dann bedeutend, wenn ein
kognitiver Entwicklungsrückstand langfristig verkürzt oder
auch die Entwicklung langfristig beschleunigt werden soll
● Bsp: Training für Kinder mit Lernbehinderung
●für die Erfassung eines Entwicklungsanschubes der LKompetenzen
ist immer ein Follow-Up nötig
● Der Entwicklungsanschub wird über die Veränderungen vom
Nachtest zum Follow-Up bestimmt mittels eines Vergleichs
zwischen Experimentalgruppe und Kontrollgruppe
● stärkere Veränderungen auch über den Nachtest hinaus bei
der Experimentalgruppe → es kann auf Entwicklungsanschub
geschlossen werden
Nenne Veränderungsziele von Interventionsmaßnahmen
Welches sind die Ziele, die ein Programm zumindest
annähernd erreichen muss, um als wirksam eingestuft
werden zu können?
Beantwortung schwierig, weil Ziele auf unterschiedlichen Ebenen.
1) Extern verbindliche Veränderungsziele: Steigerung von L-Kompetenzen
2) Intern programmspezifische Veränderungsziele
3) Externe fakultative Veränderungsziele
3) Externe fakultative Veränderungsziele
Alle Ziele, die weder zu den internen noch zu den
verbindlichen externen Zielen zählen u die extern, also
von einer Außeninstanz, vorgegeben werden
● Das Nicht-Erreichen eines fakultativen Zieles lässt
keinerlei Aussagen darüber zu, inwieweit die IM ihre
spezifischen internen und externen Ziele erreicht
● Das Erreichen eines fakultativen Zieles sagt nichts
über die Wirksamkeit einer IM in Bezug auf ihre
spezifischen Ziele aus
● IM die interne, externe u fakultative Ziele erreichen sind „besser“ als IM, die nur externe u interne Ziele
erreichen(Voraussetzung: gleiche Bedingungen)
1) Extern verbindliche Veränderungsziele: Steigerung von L-Kompetenzen
Ultimates Ziel:
zeitlicher, situativer u Anforderungs-Transfer, der durch
die IM bewirkten Veränderungen von Erlebens- u/o
Verhaltensbereitschaften auf reale Alltagssituationen
und -anforderungen übertragen wird