Klausurfragen Flashcards
Welche Fragestellungen könnte ein Evaluator mit einem Posttest Only Design beantworten?
a. Wie gut ist die Leistung der Probanden nach
dem Programm?
b. Sind Verbesserungen während des Trainings
aufgetreten?
c. Wird der festgelegte Minimalstandart an
erwarteten Ergebnissen erreicht?
d. Ist das Training für die Wirkung verantwortlich?
a. Wie gut ist die Leistung der Probanden nach
dem Programm?
b. Sind Verbesserungen während des Trainings
aufgetreten?
c. Wird der festgelegte Minimalstandart an
erwarteten Ergebnissen erreicht?
Mit welcher statistischen Methode kann man abschätzen, ob eine Variable einen Einfluss auf das Outcome hat?
Regressionsanalyse
Welche Bedrohungen der internen Validität gibt es?
- Reifung
- Geschichte
- Selektion
- Mortalität
- Regression
- Testung
- Instrumentation
Inwiefern kann eine Bedrohung der internen Validität durch Testung und insbesondere Wiederholung einer Testung entstehen?
> Vertrautheit (Testmaterial, Testsituation etc.)
> Reaktivität (Menschen verhalten sich anders, wenn sie getestet werden)
Welche change Arten gibt es? Definiere sie kurz.
ALPHA CHANGE
… Es gibt tatsächlich eine Veränderung in der untersuchten Variable
… Der Grund dafür ist eine Frage der internen
Validität
BETA CHANGE
… Tritt auf, wenn der TN sein Verständnis für die Bedeutung der Skala verändert
… Z.B. Geringere Funktionalität vs. besseres
Selbstverständnis
GAMMA CHANGE
… Resultiert aus einem Neuverständnis der gemessenen Variable vor und nach dem Programm
… Z.B. Höheres Stresslevel vs. neue Defini/on von
Stress
Nenne eine mögliche Gefahr beim Matching - Verfahren
Vergleichsgruppe kann aus unterschiedlicher Subpopulation stammen, Veränderungen damit von anderen Faktoren beeinflusst sein (keine Äquivalenz gewährleistet, Regressionseffekte etc.)
Was sind die Vorteile des Patch - up Designs?
> kostengünstig + schnell
Kontrolle von Störvariablen
Ziel: hohe interne Validität
Nenne drei Gründe, warum Vergleichsgruppen - Designs den Ausschluss von Alternativerklärungen ermöglichen.
- KG werden zum gleichen Zeitpunkt/Zeitraum getestet
- Gleicher vorgegebener Zeitraum zur Veränderung
- Kontrolle von Testeffekten + Mortalitäten + Reifung
Welche Bedingungen müssen vorliegen, um einen Ursache - Wirkungs - Zusammenhang annehmen zu können?
- Ursache geht Effekt zeitlich voraus
- Ursache und Effekt kovariieren
- Keine alternativen Erklärungen für den Effekt
Bezüglich welcher Alternativerklärungen sind Zeitreihendesigns hilfreich?
?
Was sind die 4 Funktionen von psychologischen Interventionsmaßnahmen?
1) Entfaltung/ allgemeine FÖRDERUNG, ohne dass ein Defizit vorliegen muss
2) PRÄVENTION zukünftig zu erwartender/ zu
befürchtender Defizite
3) BEHANDLUNG manifest gewordener Defizite/
Störungen
4) REHABILITATION von verloren gegangenen Fähigkeiten/Fertigkeiten
Unter welchen Bedingungen kann (begrenzt) von der Wirksamkeit auf die Wirkung einer Maßnahme geschlossen werden?
Wirksamkeit - - > Wirkung, wenn der Versuch
hinreichend diagnostisch valide ist und die empirisch
nachgewiesenen Wirkungen reine Programmwirkungen sind
Hinreichend diagnostisch valide:
1. Bei der Wahl eines Erhebungsverfahrens muss sichergestellt werden, dass Leistungsunterschiede vorrangig auf Unterschiede der Kompetenz
zurückgehen
- Kontrolle von Störvariablen
- Wissenschaftliche Fundierung der Maßnahme
> > Programmgebundene Wirkungen sind Folge des spezifischen Einflusses der Intervention, umfassen die angestrebten Ziele des Programms und sind
theoretische Konstrukte, da sich das Wirkmodell auf diese bezieht. Man unterscheidet intendierte und nicht intendierte programmgebundene Wirkungen.
Welche 3 Arten von Transfer liefern Hinweise darauf, welche Kompetenzen in einer Intervention verändert wurden?
TRANSFER: eingeübte Fähigkeit/Fertigkeit bleibt erhalten/wird übertragen
- Zeitlicher Transfer
… über längeren Zeitraum - Situations - Transfer
… andere Rahmenbedingungen/Kontexte - Anforderungs - Transfer
… andere Aufgabenbereiche/Anforderungen
Unterscheidung hinsichtlich der „Dimension der Distanz
zwischen den Inhalten und/oder Kontexten der
psychologischen Interventionsmaßnahme und der zur
Erfolgskontrolle eingesetzten Test- und
Erhebungsverfahren“
Welche 2 Klassen von Kompetenzen lassen sich bezogen auf den zeitlichen Transfer unterscheiden? Wie unterscheiden sie sich?
(1) K - Kompetenzen
… kurzfristig verfügbare Kompetenzen (1 Mo)
(2) L - Kompetenzen
… länger verfügbare Kompetenzen (> 1 Mo)
Unterscheidung hinsichtlich der zeitlichen Dimension!
Wie viele Testzeitpunkte braucht man mindestens für eine Aussage bzgl. der L - Kompetenzen?
Eine Feststellung einer L-Kompetenz-Veränderung setzt
einen dritten Erhebungszeitpunkt nach
Interventionsende voraus (Follow-up)
-> Mind. 3 Testzeitpunkte
Nenne Veränderungsziele von Interventionsmaßnahmen
z.B.
> extern verbindliche Veränderungsziele
> intern programmspezifische Veränderungsziele
> extern fakultative Veränderungsziele
Beschreibe jeweils eine Gemeinsamkeit und einen Unterschied zwischen zwei unterschiedlichen Interventionsarten.
Training + Therapie
GEMEINSAMKEIT
:.. Ziel: Verbesserung von L - STAT - Kompetenzen
UNTERSCHIED
.. Anspruch:
Training: Verhaltenspotential
Therapie: indivudelle Verbesserung von Kompetenzen
Wozu sind Prozess- und Ergebnisevaluation gut?
Unterscheidung von „Endwirkung“ (Ergebnisevaluation) und
Wirkungen innerhalb der Intervention (Prozessevaluation) [Erreichen von Mikrozielen etc.]
Was ist wissenschaftliche Fundierung und aus welchen Teilen setzt sie sich zusammen?
Wissenschaftliche Fundierung = Wirksamkeit
wurde nachgewiesen und begründet,
Maßnahme entspricht wissenschaftlichen
Standards und ist wissenschaftlich anerkannt
Empirische Fundierung + theoretische Fundierung =
wissenschaftliche Fundierung
Nennen Sie 3 Gütekriterien für Interventionsmaßnahmen
- Ethische Legitimierbarkeit
- Theoretische Fundierung
- Wirksamkeit/Effektivität
- Fehlen von negativen oder schädlichen Neben- und Folgewirkungen
- Bewährung in der Praxis
- Verlässlichkeit der Wirksamkeit unter Standard-Randbedingungen
- Robustheit (und Verlässlichkeit) unter verschiedenen Randbedingungen
- Wirtschaftlichkeit relativ zu den Zielen
- Routinisierbarkeit und Adaptabilität
- Akzeptanz der und Zufriedenheit mit der Interventionsmaßnahme
Welches sind die zwei erstrebenswertesten, zentralen Ziele von Interventionsmaßnahmen (eventuell auch
gütekriterienübergreifende Grundziele von
Interventionsmaßnahmen)?
Erstrebenswerteste Ziele:
1. Längerfristige (über den Nachtest hinausgehende)
Verbesserungen
2. Übertragbarkeit auf alltägliche Situationen
Grenzen sie high - road von low - road Transfer ab & nennen Sie jeweils 1 Beispiel
LOW - ROAD - TRANSFER
… Automatische Übertragung vorhandener Kenntnisse oder Fertigkeiten bei der Lösung einer neuen Anforderung ohne bewusste Aufmerksamkeit oder
Anstrengung.
… Wer der deutschen Sprache mächtig ist, wendet
automatische Fähigkeiten des Dekodierens an, um diesen Satz zu verstehen.
HIGH - ROAD - TRANSFER
… Aktives Nachdenken und Reflektieren über mögliche
Relationen oder sonstige Verknüpfungen zwischen einer aktuellen Anforderung und bisherigen Erfahrungen
… Bsp: Berechung des Volumens eines Pyramidenstumpfes mittels Berücksichtigung der bereits gelernten Berechnung des Volumens einer Pyramide.
Beschreiben Sie die Grundannahme der Theorie der Prinzipienübertragung nach Judd und nennen sie 2 Lehrmethoden, die sich daraus ableiten lassen.
Transfer ist abhängig von der Vermittlung allgemeiner,
bereichsunabhängiger Prinzipien und Strategien
… entdeckendes Lernen
… Lernen durch Analogiebildung
… Schulung induktiven Denkens
… direkte Strategievermittlung
Welche Probleme können sich in Bezug auf Transferwirkungen beim situierten Lernen ergeben?
1. Inert Knowledge ...träges Wissen ... theoretisch vorhandenes Wissen, das praktisch nicht angewendet werden kann ... Kluft zwischen Wissen und Handeln ... Kontextgebundenheit von Wissen
- Hoher Aufforderungscharakter
… Neugier- und Fantasiewirkungen
… Detail- und situative Interessen
… Es wird viel, aber nicht das Intendierte gelernt.
Welche Voraussetzung muss eine Erhebung von Transferkriterien erfüllen?
- Bezug zum Ziel der Intervention
- Hinreichende Unterschiedlichkeit von Kontext und
Aufgaben
Nennen Sie zwei Unterschiede der formativen bzw. summativen Evaluation.
(I) ZEITPUNKT DER DURCHFÜHRUNG
formativ: während der Entwicklung eines Programms
summativ: nach der Fertigstellung eines Programms
(II) ZIEL/FUNKTION
formativ: Komponenten + Prozesse verbessern
summativ: Fragen bzgl. Wirksamkeit/Nutzen klären
(III) ART DER DURCHFÜHRUNG
formativ: intern (durch AutorInnen)
summativ: extern
Welche 5 zentralen Arbeitsschritte und Aufgaben gibt es bei der Evaluation der Programmkonzeption?
- Problembestimmung und Entscheidung über den Bereich der Intervention
- Zielbestimmung
- Konzeption und Gestaltung des Programms
- Auswahl und Festlegung geeigneter diagnostischer Methoden und Verfahren
- Zusammenfassende Bewertung der Programmkonzeption
Nenne Mechanismen und Gründe für ungenügende Programmwirkungen
- Verminderung, Verwischung, Vortäuschung
- Unwirksamkeit, mangelnde Eignung, Maßnahme
abweichen von Manualen, unvollständig oder falsch
durchgeführt
Nenne die zentrale wissenschaftliche Aufgabe der Wirksamkeitsevaluation
„Die zentrale wissenschaftliche Aufgabe von
Wirksamkeitsevaluationen besteht nun darin,
denjenigen Anteil an den insgesamt beobachteten
Veränderungen zu ermitteln, der allein auf die
durchgeführte Interventionsmaßnahme
zurückzuführen ist.“
Nenne zwei Methoden zur Bestimmung der Programmeffizienz bei einer Kosten - Nutzen - Analyse
- Nettonutzen
- Netto-Nutzen-Quote
- Profitrate
Erläutern Sie kurz das “Prinzip der Kontrolle”
> Sicherung der internen Validität durch die Kontrolle aller nicht mit der Hypothese verbundenen und daher potentiell störenden Faktoren
hypothesenrelevante Faktoren sollen variiert werden
Nenne 3 Formen der Vergleichsgruppen mit expliziter Vergleichsbedingung
Vergleichsbedingung
1. … ohne Behandlung
2. … mit geringer Behandlung: „Placebo-Gruppe“
3. … mit üblicher Behandlung: Routinebehandlung
4. … mit spezifischer bzw. alternativer
Behandlung
5. Kombination aller Vergleichsbedingungen (mehrere KG)
Was bedeuten die Abkürzungen WH und WUH? Wie unterscheiden sich die Konzepte?
WH = WIRKSAMKEITSHYPOTHESE
> Ist ein Programm wirksam oder nicht?
“… Ein Programm ist hinsichtlich seiner Ziele wirksam, es erreicht diese Ziele.”
WUH = WIRKSAMKEITSUNTERSCHIEDSHYPOTHESE
> Ist ein Programm wirksamer als ein anderes Programm?
“… Ein Programm X ist unter spezifischen Bedingungen wirksamer als ein Programm Y, das die gleichen Ziele wie X verfolgt, sich dazu aber anderer Vorgehensweisen bedient.”
Was versteht man unter dem Problem der Quasi - Kontrolle im Zusammenhang mit vergleichenden Evaluationen?
> Situation: Zwei Programme haben einige Ziele gemeinsam und unterscheiden sich in anderen.
… hinsichtlich
a) der gleichen Ziele: AP &
b) der unterschiedlichen Ziele: Kontrollprogramm (KP)
-» Bezeichnung „Quasi-Kontrolle“:
… nur schwache Form der wechselseitigen Kontrolle darstellend,
… Analogie zur Wartegruppe in der isolierten Evaluation
???
Welches Problem entsteht, wenn bei der vergleichenenden Evaluation die Randbedingungen der Alternativtherapie an die der Experimentaltherapie angepasst werden?
Eingeschränkte Repräsentativität der Alternativtherapie
-> mögliche Befunde können nur auf die modifizierte Version bezogen werden (die häufig keine in der Praxis angewendete Alternative darstellen)
Was ist der angestrebte Standard der Vergleichsgruppen?
a) bei einer isolierten Evaluation
b) bei einer vergleichenden Evaluation
Isolierte Evaluation -> Kontrollprogramm
Vergleichende Evaluation -> Alternativprogramm
In welchem Bereich der Standards befindet man sich, wenn es um die Auswahl reliabler und valider Erhebungsinstrumente geht?
GENAUIGKEIT
Welche vier grundlegenden Eigenschaften sollen Evaluationen aufweisen?
NÜTZLICHKEIT
GENAUIGKEIT
FAIRNESS
DURCHFÜHRBARKEIT
Welche Standards helfen beispielsweise dabei, die Rechte der Betroffenen zu schützen? Was ist ein weiterer Aspekt aus diesem Bereich?
FAIRNESSSTANDARDS
> unparteiische Durchführung + Berichterstattung
Welches Maß kann die Wirksamkeit von psychologischen Interventionen einigermaßen angemessen abbilden?
Nenne eine Gefahr bei der Interpretation dieses Maßes
Effektstärke d
Gefahren:
> Zufallsschwankungen
> Vgl. von Programmen nicht so einfach möglich
… Wirkungsintensität vs. Wirkungsextensität
> Transfer
Warum ist es sinnvoll, eine Gruppenanalyse durch eine Einzelfallanalyse zu ergänzen`?
Zwar hat die Gruppenanalyse den Vorteil der besseren Sichtbarkeit der internen Validität (wohingegen bei einer Einzelfallanalyse die interne Valididät eher gering ist), jedoch erlaubt die Gruppenanalyse immer nur Aussagen über “hypothetisch mittlere Personen”. Die Einzelfallanalyse macht Hypothesen für einzelne Personen prüfbar
Wir vergleichen 2 Programme. Ist es sinnvoll, die Erreichung des Ziels zum selben Messzeitpunkt zu erheben? Worauf ist zu achten?
Nicht unbedingt, es hängt von der erwarteten Dauer bis zur Erreichung des Ziels ab.
-> Die gewählten Maße sollten von allen Programmen gleich weit entfernt sein.
