Altfragen

Question 1

Nennen und skizzieren Sie die drei Einflussfaktoren, die die interne Validität bei nicht randomisierten und nicht repräsentativen Stichproben einschränken können.

Answer 1

I) Selektion
Schließt Leute nach bestimmten Merkmalen aus z.B. können Leute, die sich freiwillig für Teilnahme melden, andere Eigenschaften haben als eben die, die es nicht tun

II) Mortalität
Die Stichprobe wird von Messzeitpunkt zu Messzeitpunkt immer kleiner, weil die Probanden nach längerer Zeit nicht mehr durchhalten

III) Regression
Extremwerte mitteln sich bei wiederholter Messung z.B. werden Menschen mit extremen Depressionswerten im Vortest mit höherer Wahrscheinlichkeit weniger starke Depressionswerte bei einem Follow-Up erzielen. Ein besserer Mittelwert heißt nicht, dass die Depressiven sich besser fühlen und die nicht depressiven sich dann schlechter fühlen.

Question 2

Erklären Sie warum Reifung bei den Programmteilnehmern eine Alternativerklärung für Veränderungen darstellt und wie man diese kontrollieren könnte.

Answer 2

> Reifung bewirkt Veränderungen, die nicht auf das Programm zurückzuführen sind. Kontrolliert man sie nicht, kann man also die Programmwirkung nicht spezifisch erkennen.

> Kontrolle am besten über den Vergleich mit entsprechenden nicht-behandelten Kontrollgruppen.

Question 3

Arevey und Cole (1989) sowie Millsap und Hartog (1988) beschreiben drei Arten von Veränderungen in “Pretest-Posttest Designs” in Bezug auf die Konstruktvalidität. Nen-nen Sie die drei Arten und beschreiben Sie kurz, was sich hinter den Begriffen verbirgt.

Answer 3

1. Alpha-Change: Reale Veränderung in der interessierenden Variable
2. Beta-Change: Veränderung im Verständnis der Skala durch die Befragten
3. Gamma-Change: Veränderung des Konzept der erfassten Variable durch die Befragten

Question 4

Nichtexperimentelle Evaluationsdesigns mit nur einer Gruppe sind in ihrer Aussage-kraft bzgl. Kausalität bzw. der Frage danach, ob wirklich das Programm/die Interventi-on einen Effekt hat, durch Probleme mit der internen Validität eingeschränkt. Den-noch sind sie manchmal sinnvoll. Nennen sie drei Fragestellungen bzw. Ziele, für die ein Evaluationsdesign mit nur einer Gruppe sinnvoll sein kann!

Answer 4

1) Den Nutzen weiterer Evaluation einschätzen: Ist es sinnvoll, noch weitere Evalua-tionsstudien anzusetzen?
2) Verbesserungen mit anderen Variablen korrelieren: Gibt es neben der erzielten Wirkung noch Veränderungen in anderen Bereichen?
3) Einrichtungen für weitere Evaluationen vorbereiten: Personal soll die Idee einer Evaluation akzeptieren, damit die Evaluatoren dann leichtes Spiel haben.

Question 5

Bei der Evalutation eines Psychotherapieprogramms soll untersucht werden, ob mehr Behandlungseinheiten mit einer größeren Veränderung im Befinden der Teilnehmer einhergehen. Dafür wird der residualisierte Veränderungsscore des Befindens (residua-lized change score) mit der residualisierten Anzahl der Behandlungseinheiten (residual of number of sessions) korreliert. Es ergibt sich ein Wert von 0.72. Wie lässt sich dieser Wert interpretieren? (Siehe Seite 146)

Answer 5

Der Wert indiziert, dass diejenigen Probanden eine stärkere Verbesserung erzielt haben, die mehr Therapiesitzungen erhalten haben, selbst, wenn man die Unterschiede im Pre-test-Score berücksichtigt.

Question 6

Nennen Sie 3 Strategien zur Kontrolle der Gefahren für die Konstruktvalidität

Answer 6

1) Informationen, die für die Evaluation gesammelt wurden, von denen unterscheiden, die für Behandlungsentscheidungen gesammelt wurden.
2) Befragte glauben machen, dass ihre Antworten in irgendeiner Form validiert werden
3) Interviewer nehmen, die sowohl mit dem Programm als auch mit den Problemen der Befragten vertraut sind.

Question 7

Ergebnisevaluation kann es je nach Methode des Datengewinns zu Testeffekten kommen, die die interne Validität einschränken. Ein weiteres Problem stellt in diesem Zusammenhang die Instrumentation dar. Nennen Sie ein Beispiel für Instrumentation.

Answer 7

Bei der Gewinnung von Daten für nicht-experimentelle
Ein Lehrer bekommt während der Beurteilung von Klassenarbeiten mehr Erfahrung und bewertet die folgenden immer ein bisschen schlechter.

Question 8

Was bezeichnet der Begriff “interne Validität”?

Answer 8

Interne Validität ist dann gegeben, die Veränderung einer abhängigen Variable eindeutig durch eine unabhängige Variable erklärt werden kann.

Question 9

Nennen Sie, wie die Gefahr des Zeitlichen Einflusses (“History”) für die Interne Validität hinsichtlich einer Evaluation isoliert werden kann und erläutern Sie kurz, warum das Konstrukt des Zeitlichen Einflusses eine niedrigere Vorhersagbarkeit und Stabilität aufweist als die Reifung von Programmteilnehmern.

Answer 9

Reifung sind natürliche Veränderungen in Personen aufgrund eines bloßen Verstreichens der Zeit, wohingegen History Ereignisse bezeichnet, die zwischen Vor- und Nachtest auf-treten und die Programmteilnehmer beeinflussen

Kontrolle: Kontrollgruppen, Mehrere Testzeitpunkte

Stabilität: Historische Ereignisse können jederzeit passieren, man kann sie nicht vorhersagen. Reifungseffekte sind oftmals an Lebensphasen gebunden (z.B. beim Heranwach-sen)

Question 10

Wie kann gezeigt werden, dass es einen kausalen Zusammenhang zwischen zwei Ereignissen gibt?

Answer 10

Demonstration eines kausalen Zusammenhangs in quasiexperimentellen Settings: 3 Bedingungen müssen erfüllt sein

1) Ursache geht angenommenem Effekt zeitlich voraus
2) Ursache kovariiert mit dem Effekt (z.B. je mehr der Ursache, desto mehr des Effektes)
3) außer der angenommenen Ursache gibt es keine weitere Erklärung für den gefundenen Effekt (Ausschluss von Alternativerklärungen)

Question 11

Welche vier charakteristischen Minimalbestandteile machen Zeitreihendesigns aus?

Answer 11

1) Eine Einheit wird definiert (z.B. eine Person, Nation, Gruppe)
2) Quantitative Datenerhebung
3) Über mehrere Zeitintervalle hinweg
4) Geht voraus oder folgt einer kontrollierten oder natürlichen (?) Intervention.

Question 12

Erläutern Sie kurz, warum Zeitreihendesigns im Vergleich zu einer einfachen Pre-/Posttest-Messung besser geeignet sind, um Reifungseffekte von tatsächlichen Pro-gramm- bzw. Interventionseffekten zu unterscheiden!

Answer 12

Durch gleichzeitiges prä- und post-Testen der Vergleichsgruppen können Reifungseffekte einfach nachvollzogen und somit kontrolliert werden.??????

FALSCHE ANTWORT?

Question 13

Was ist das Control Construct Design (McKillip und Baldwin 1990) und was ist die Be-dingung für dieses Design?

Answer 13

Es werden zusätzliche abhängige Variablen erhoben, bei denen keine Veränderung er-wartet wird. Diese Variablen müssen genauso wie die betrachtete abhängige Variable gemessen werden.

Question 14

Nicht äquivalente Kontrollgruppen nennt man auch Vergleichsgruppen. Erläutern Sie kurz eine mögliche Schwierigkeit, die bei der Selektion der Vergleichsgruppe auftreten kann anhand eines selbst ausgewählten Beispiels!

Answer 14

-> KG sollte der Experimentalgruppe gleichen (matchen)
o Bzgl. der Reifung
o Bzgl. gleicher Prätest Ergebnisse
o Bzgl. der Lebensart
o Regression zur Mitte: Zweitklässler verbessern sich hinsichtlich des Mittelwerts von Drittklässlern. Diese Regression zur Mitte lässt die Verbesse-rung der Zweitklässler dann schwächer aussehen, obwohl das Programm sie beeinflusst hat.

Question 15

Nennen Sie drei Methoden, die nach Campbell und Stanley ein Quasi-Experiment aus-zeichnen!

Answer 15

1) Beobachtungen zu mehreren Zeitpunkten
2) Beobachtung von zusätzlichen Gruppen
3) Beobachtung anderer abhängiger Variablen

Question 16

Um die Ergebnisse von Studien eindeutiger interpretieren zu können, können unter-schiedliche quasieexperimentelle Ansätze kombiniert werden. Welche beiden Ansätze werden bei dem von Cook und Campbell benannten „interrupted time series with swit-ching replications“-Design verwendet?

Answer 16

1) Die Beobachtung an zusätzlichen Erhebungszeitpunkten

2) Die Beobachtung einer geeigneten Kontrollgruppe.

Question 17

Im nichtäquivalenten Kontrollgruppen Design werden sowohl die Kontrollgruppe als auch die Experimentalgruppe in gleicher Weise getestet und sind somit in gleicher Wei-se bestimmten Störeinflüssen ausgesetzt. Nennen Sie 3 dieser Einflüsse, die beide Gruppen gemeinsam haben?

Answer 17

1) Hat auch Reifung und History erfahren (konstant halten)
2) Wird zu gleichen Zeitpunkten gemessen: Testeffekte gleich
3) Mortalität kann angeglichen werden

Question 18

Definieren Sie in Ihren eigenen Worten, was ein nichtäquivalentes Kontrollgruppen-Design ist.

Answer 18

Neben mehreren Testzeitpunkten mehrere Testgruppen einführen: interne Validität weitestgehend gesichert

Question 19

Hager und Hasselhorn (2000) geben einen Überblick über “die allgemeinen Gütekrite-rien für Interventionsmaßnahmen mit dem Anspruch der Generalisierung oder des Transfers”. Nenne sechs der insgesamt 10 Grundsätze.

Answer 19

1) Ethische Legitimierbarkeit
2) Theoretische Fundierung
3) Wirksamkeit oder Effektivität
4) Fehlen von negativen Neben-/Folgewirkungen
5) Bewährung in der Praxis
6) Verlässlichkeit der Wirksamkeit
7) Robustheit
8) Wirtschaftlichkeit relativ zu den Zielen
9) Routinisierbarkeit und Adaptabilität
10) Akzeptanz und Zufriedenheit mit der Maßnahme

Question 20

Grenze die Begriffe “Performanz” und “Kompetenz” voneinander ab.

Answer 20

> > Der Performanzbegriff bezieht sich ausschließlich auf das konkret beobachtbare Ver-hal-ten bzw. auf die durch Beobachtung erfassbare Leistung von Personen beim Be-arbeiten einer Anforderung.

> > Kompetenz ist ein Erklärungskonstrukt, mit dessen Hilfe Performanzen erklärt wer-den können.

> > Das Konstrukt Kompetenz ist dem Konstrukt der Performanz daher übergeordnet.

Question 21

Grenze die Begriffe Nettowirkungen und Bruttowirkungen (hier: im weiteren Sinne) kurz und in eigenen Worten voneinander ab! (S.48)

Answer 21

> > Die Nettowirkung bezeichnet alle Wirkungen, die auf das Programm selbst zurückzu-führen sind, also die programmgebundenen Wirkungen einschließlich der Neben- und Folgewirkungen.

> > Unter Bruttowirkung im engeren Sinne versteht man alle Wirkungen, die vom Pro-gramm und von der Interventionssituation ausgehen und zwar einschließlich der auf wiederholte Durchführung von Tests- und Beobachtungsverfahren zurückführbaren Wirkungen.

> > Unter Bruttowirkung im weiteren Sinne subsumiert man alle Wirkungen, die im Ge-folge einer Intervention auftreten können: die programm-, die interventionsgebun-denen und die interventionsunabhängigen Wirkungen.

Question 22

Was ist mit dem Begriff “Übung” gemeint?

Answer 22

Übung ist die wiederholte, aktive und lösungsorientierte Auseinandersetzung mit den Aufgaben einer Interventionsmaßnahme als Eigenleistung der Adressat_innen der Maß-nahme

Question 23

Grenze die Begriffe Wirksamkeit und Wirkung kurz und in eigenen Worten voneinan-der ab!

Answer 23

I) Wirksamkeit:
… wenn beobachtbare Performanzen oder Leistungen durch ein Interventionsmaßnahme beeinflusst werden, und zwar in der von den Vertretern des Programmes behaupteten Weise.

II) Wirkungen:
… theoretisch angenommene Ursache der beobachtbaren Verhaltensänderungen

Question 24

Erklären Sie kurz und in eigenen Worten programmgebundene, interventionsgebunde-ne und externe Wirkungen eines Programms. (S.45)

Answer 24

1) Programmgebunden:
Folge der spezifischen Charakteristiken des durchgeführten Interventionsprogrammes

2) Interventionsgebunden:
Veränderungen, die auf die bloße Tatsache zurückgeführt werden können, dass eine Intervention stattgefunden hat, unabhängig davon, wie diese Intervention im einzelnen ausgesehen haben mag.

3) Extern / fakultativ:
Als fakultativ sehen wir alle jene Ziele an, die weder zu den internen noch zu den verbindlichen externen Zielen zählen und die extern, also von einer Außeninstanz vorgegeben werden.

Question 25

Veranschauliche an einem selbstgewählten Beispiel die Begriffe intendierte Wirkung, Nebenwirkung und Folgewirkung.(S.46)

Answer 25

I) Lesefördertraining intendiert: Lesefähigkeiten steigern II) Nebenwirkung: Mehr Selbstvertrauen III) Folgewirkung: Leistungssteigerung auch in anderen Fächern

Question 26

Was versteht man unter dem Begriff "Instruktionspsychologie"

Answer 26

Die Instruktionspsychologie kann als der Bereich der Psychologie angesehen werden, der dazu dient, technologisches Wissen darüber bereit zu stellen, mit welchem Vorgehen man angestrebte Wirkungen und Veränderungen mit hinreichender Verlässlichkeit bei unter-schiedlichen Personen erreichen kann.

Question 27

Was versteht man unter dem „Low-Road“ Transfer und inwiefern unterscheidet er sich vom „High-Road“ Transfer?

Answer 27

Low Road: ... Erfolgt automatisch und erfordert keine bewusste Aufmerksamkeit oder Anstrengung. High Road: ... Transfer mit bewusster Anstrengung, bei dem eine Person aktiv über mög-liche Relationen oder sonstige Verknüpfungen zwischen einer aktuellen Anforderung und ihren bisherigen Erfahrungen nachdenkt.

Question 28

Zur Erklärung des Phänomens des Transfers aus einer Lernsituation („source“) in eine Anwendungssituation („target“) gibt es verschiedene theoretische Ansätze. Betrachtet man diese zusammenfassend, lässt sich feststellen, dass positiver Transfer nicht nur von identischen Elementen in Basis- und Zielaufgabe, von der Übertragbarkeit generel-ler Prinzipien oder von metakognitiver Kontrolle abhängt. Welcher Faktor ist darüber hinaus von besonderer Bedeutung? Erläutern Sie diesen kurz!

Answer 28

Transfer entscheidend abhängig von: MOTIVATIONSLAGE des Lernenden → Transfer nur dann zu erwarten, wenn die Motivation zur Aufgabenbearbeitung sowohl in der Lernphase (Basisaufgabe A) als auch in der Anwendungsphase (Zielaufgabe B) 1) hoch, 2) intrinsisch und 3) möglichst identisch ist

Question 29

Was versteht man unter Kontingenzvertrag?

Answer 29

Unter einem Kontingenzvertrag versteht man ein meist schriftlich formuliertes Übereinkommen zwischen Partnern eines Psychologischen Interventionsgeschehens. Die jeweiligen Erwartungen und Ziele sowie die gegenseitigen Verpflichtungen und Gratifikationen werden darin festgehalten.

Question 30

Plant man die empirische Überprüfung angenommener Transferwirkungen psychologischer Interventionsmaßnahmen, sollte man sich Gedanken über einen geeigneten Versuchsplan machen. Erläutern Sie kurz die erweiterte Variante des Vortest-Nachtest-Follow-Up-Kontrollgruppenplanes nach Klauer (1999). Welchen Vorteil bietet diese gegenüber dem Vortest-Nachtest-Vergleichsgruppenplan?

Answer 30

Erweiterung des Standardplans um eine weitere Testung für Kontroll- und Experimentalgruppe, die die Anforderungen und Kontexte beinhaltet, für die ein Transfer der Interventionsmaßnahme angenommen wird. Nach dieser Phase wird die Bewältigung solcher mit Transferhoffnungen verknüpften Anforderung erfasst. -> Auf diese Weise lässt sich überprüfen, ob die Intervention hinsichtlich des fokussierten Merkmals wirksam war und ob der angenommene Anforderungs-Transfer stattgefunden hat.

Question 31

Nennen Sie die fünf am häufigsten gebrauchten Basisunterscheidungen des Transfers und erklären Sie eine kurz!

Answer 31

I) POSITIV VS NEGATIV Positiver Transfer: Wenn neues Lernen oder Problemlösen durch vorangegangenes Ler-nen erleichtert wird Negativer Transfer: Wenn neues Lernen oder Problemlösen sich hemmend auf die Lösung neuer Aufgaben auswirkt. Die Veränderung von Wissen wird durch be-reits verfügbare Kenntnisse beeinträchtigt. II) HORIZONTAL VS VERTIKAL Vertikaler Transfer: Eine Fertigkeit trägt direkt zum Erwerb einer übergeordneten Fertig-keit bei. Lateraler Transfer: Wirkungen der Verallgemeinerung auf Situationen gleicher Komplexi-tät III) FIGURAL VS LITERAL Figuraler Transfer: die per Analogie-Schluss erfolgende Übertragung der vermittelten Fer-tigkeiten auf neue Problemstellungen Literaler Transfer: die Übertragung einer intakten Fertigkeit bzw. Kenntnis auf neue Lern-aufgaben des gleichen Typs IV) SPEZIFISCH VS UNSPEZIFISCH Spezifischer Transfer: Die lernende Person überträgt eng umgrenzte neue erworbene Fertig- keiten oder spezifische inhaltliche Kenntnisse auf eine neue Situation Unspezifischer Transfer: Die lernende Person wendet gelernte Strategien oder Prinzipien in anderen Kontexten an V) PROMIAL VS DISTAL Proximaler vs. distaler Transfer Annahme, dass es ein Kontinuum von Anforderungen mit zunehmender Unähnlichkeit von der ursprünglichen Lernanforderung gibt und dass eine Transferwirkung umso erstaunlicher ist, je weiter man sich auf diesem Unähnlichkeitskontinuum von der ursprünglichen Lernan-forderung entfernt. VI) LOW-ROAD VS HIGH-ROAD Low Road: Erfolgt automatisch und erfordert keine bewusste Aufmerksamkeit oder An-strengung. High Road: Transfer mit bewusster Anstrengung, bei dem eine Person aktiv über mögliche Relationen oder sonstige Verknüpfungen zwischen einer aktuellen Anforde-rung und ihren bisherigen Erfahrungen nachdenkt.

Question 32

Brown, Bransford, Ferrara und Campione (1983) unterscheiden zwischen statischer und dynamischer Transfererfassung. Welcher Unterschied liegt dabei im Vordergrund?

Answer 32

Als STATISCHE Transfererfassung bezeichnet man den Versuch zu erfassen, was jemand weiß. Als DYNAMISCHE Transfererfassung bezeichnet man den Versuch zu erfassen, was jemand erwerben kann.

Question 33

Die drei Transfertechniken „Kontingenzverträge“, „verbale Selbstinstruktion“ und „Situiertes Lernen“ sind jeweils auf unterschiedliche Arten des Transfers ausgerichtet. Welche sind das jeweils? Nenne je ein kurzes Beispiel, für welche Transfersituation die jeweilige Technik besonders gut geeignet ist!

Answer 33

1) Kontingenzvertrag-Transfer: durch verbindliches Einhalten selbstgesetzter Ziele - > Der Therapeut macht dem Patienten einen Vertrag aus, den er Schritt für Schritt selbst modifizieren und einhalten darf. - > Man verspricht sich langanhaltenden Transfer 2) Verbale Selbstinstruktion: Transfer durch Verinnerlichen metakognitiver Fertigkeiten - > Der Lehrer zeigt eine Formel zum Lösen der Matheaufgaben an, die die Schüler dann selbst lösen 3) Situiertes Lernen: Transfer kann nur unter Bedingungen erwartet werden, wo Motivationen, Lerneinstellungen oder auch volitionale Aktivitäten in beiden Aufgabenbereichen einander entsprechen und eine hohe Ausprägung aufweisen - > Der Meister führt den Lehrling an die Aufgaben heran, die er später selber ausführen soll

Question 34

Grenzen Sie kurz proaktiven von retroaktivem Transfer ab!

Answer 34

PROAKTIV: Die erfolgreiche Anwendung angeeigneten Wissens im Rahmen einer neuen, in der Situation der Wissensaneignung noch nicht vorgekommenen Anforderung. RETROAKTIV: Vorangehende Lernergebnisse werden durch späteres Lernen beeinflusst (z.B. früher gelernte Lateinvokabeln werden durch späteren Geschichtsunterricht besser behalten)

Question 35

Worin besteht die zentrale wissenschaftliche Aufgabe von Wirksamkeitsevaluation und was ist die Schwierigkeit bei dieser Aufgabe? (S.117)

Answer 35

Zentrale Aufgabe: Ermittlung des Anteils der beobachteten Veränderungen, der allein auf die durchgeführte Interventionsmaßnahme zurückzuführen Schwierigkeit: Auch andere Faktoren und Störvariablen können als Ursachen für die aufgetretenen Veränderungen in Frage kommen (die Brutto-Wirkung)

Question 36

Welche zwei Aufgaben hat die Evaluation der Programmdurchführung?

Answer 36

1) Kontrolle der Programmausführung oder der Ausführungsintegrität: ... Supervision und Überwachung der Programmausführung; Bewertung der Durchführbarkeit unter all-tagspraktischen Bedingungen 2) Prüfung der Programmreichweite: ... Feststellung von Verzerrungen in der Programm-reichweite; Vergleich von Programmteilnehmern und Abbrechern

Question 37

Was ist die Gefahr, wenn ein nachweislich wirksames Programm durchgeführt wird und dabei aber die Ausführungsintegrität nicht gewahrt wird?

Answer 37

Eingeschränkte Treatment-Validität durch unvollständige oder falsche Durchführung → Grund: Programm wurde nicht anhand der verfügbaren Manuale oder einer modalen Praxis entsprechend durchgeführt → dadurch mitunter kein Nachweis der Programmwirkung

Question 38

Ein Bierbrauer stellt fest, dass sein Absatz sich vergrößert wenn er sein Bier mit bunten Farben einfärbt. Er schiebt dies auf die feinen Geschmacksänderungen, die aus der Zu-gabe des Farbstoffes resultieren. Nenne einen möglichen Evaluationsansatz für die Überprüfung dieses Wirkmodells. Gib an ob es sich bei diesem eher um einen analyti-schen oder doch globalen Ansatz handelt. Gib außerdem an ob es sich bei diesem eher um einen summativen oder doch formativen Ansatz handelt.

Answer 38

>> Ansatz: Entwicklung eines Bieres, dass anstatt der Farben, die zu einer Geschmacksänderung führen, nur Farbstoffe hinzufügen, die den Geschmack unverändert lassen. So kann überprüft werden, ob der höhere Absatz an den Farben oder an den Geschmacksänderungen liegt. >> Summativer Ansatz, weil Evaluation nach Fertigstellung des Produktes durchgeführt wird und dabei die Frage nach der Wirksamkeit der bunten Farben auf den Bierabsatz untersuchen soll. >> Analytischer Ansatz, weil einzelne Komponenten oder Bestandteile des Programms (die Färbung) einer detaillierten Überprüfung unterzogen werden

Question 39

Bei der Evaluation der Programmkonzeption wird beim Abschnitt der Zielbestimmung zwischen abstrakten Zielen und Operationszielen unterschieden. Erläutern Sie beide Begrifflichkeiten kurz. (S. 109)

Answer 39

>> Abstrakte Ziele bezeichnen gewünschte Zielvorstellungen oder Ergebniszustände, wie sie von verschiedenen, an einem Programm beteiligten Personengruppen formuliert werden. >> Operationsziele stellen nichts anderes dar als Operationalisierungen der zunächst abstrakten Ziele oder operative Zielformulierungen.

Question 40

Bei der Wirksamkeitsevaluation kann zwischen isolierten und vergleichenden Erfolgs- bzw. Ergebnisevaluationen unterschieden werden. Grenzen Sie die beiden Begriffe kurz voneinander ab.

Answer 40

ISOLIERTE ERFOLGSEVALUATIONEN Feststellung der Wirksamkeit eines einzelnen Programms, nach Möglichkeit im Vergleich zu einer zweiten Interventionsmaßnahme mit grundsätzlich anderen Evaluationszielen VERGLEICHENDE ERFOLGSEVALUATIONEN Bewertung zweier oder mehrerer alternativer Programme mit gleicher Zielsetzung im Hinblick auf ihre Wirksamkeit & Prüfung einer Wirksamkeitsunterschiedshypothese & erst, wenn Isolierte E. mit Erfolg durchgeführt wurde

Question 41

Erklären Sie kurz die Begriffe Wirkung, Wirksamkeit und Wirkmodell im Rahmen der Evaluationsforschung

Answer 41

Wirkung ist ein Oberbegriff und bezieht sich auf zwei Fragen: a. Ist die angestrebte Wirkung aufgetreten? → Wirksamkeit b. Warum ist sie aufgetreten? → Wirkmodell

Question 42

Nennen Sie die zentralen Aufgaben und Arbeitsschritte der formativen Evaluation.

Answer 42

> Bewertung der Programmimplementation > Bewertung der Zielsetzung des Programms > Bewertung der Effizienz des Programmes > Elaboration und Weiterentwicklung des Programms > Ggf. Modifikation der ursprünglichen Programmkonzeption und weitere formative Evaluation

Question 43

Nennen sie die fünf Evaluationsarten (A-E) und erläutern sie eine davon in kurzen Wor-ten.

Answer 43

1. Evaluation der Programmkonzeption ... Antizipatorische oder prospektive Evaluation > Bewertung der Ausarbeitung & Gestaltung der geplanten Maßnahmen sowie die Konzeption des Programmes als Ganzes vor dem Hintergrund der technologischen Modellvorstellungen > Abschätzung der Wahrscheinlichkeit seiner Wirksamkeit 2. Formative Evaluation ... Fortlaufende Evaluation, ggf. Modifikation der Programmkonzeption > Optimierung des Programms als Ganzes und/ oder seiner Komponenten durch die fortlaufende Evaluation im Hinblick auf Zielsetzung, Anwendbarkeit und Wirksamkeit > Ggf. Modifikation und dann erneute Prüfung 3. Evaluation der Programmdurchführung ... Implementations- und Begleitforschung sowie Prozessevaluation > Bewertung und Kontrolle der Umsetzung und Ausführung im alltagspraktischen Einsatz > Aufdeckung von Problemen und Fehlentwicklungen 4. Evaluation der Programmwirksamkeit ... Prozessevaluation-, Ergebnis der Erfolgsevaluation > Veränderungen auf Seiten der Zielpersonen im Verlauf der Intervention à Prozessevaluation > Veränderungen nach der Durchführung der Intervention à Erfolgs- oder Ergebniseva-luation > Untersuchen neben Wirksamkeit auch Art der Wirkung hinsichtlich Intensität und Extensität und Neben- und Folgewirkungen 5. Evaluation der Programmeffizienz ... Kosten-Nutzen und Kosten-Effektivitäts-Analysen > Untersuchung von Ökonomiegesichtspunkten > Nachweis der Programmwirksamkeit wird vorausgesetzt > Kosten-Nutzen-Analyse; Kosten-Effektivitäts-Analyse

Question 44

Welche 4 grundlegenden Eigenschaften sollen Evaluationen aufweisen? Erläutern Sie sie kurz. (S. 10 ff)

Answer 44

1. ) NÜTZLICHKEIT: Soll sicherstellen, dass die Evaluation sich an den geklärten Evaluations-zwecken sowie am Informationsbedarf der vorgesehenen Nutzer ausrichtet 2. ) DURCHFÜHRBARKEIT: Soll sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird 3. ) FAIRNESS: soll sicherstellen, dass in einer Evaluation respektvoll und fair mit den betroffenen Personen und Gruppen umgegangen wird 4. ) GENAUIGKEIT: soll sicherstellen, dass eine Evaluation gültige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervorbringt und vermittelt

Question 45

Nennen Sie drei FAIRNESSSTANDARDS und erläutern Sie deren Inhalt kurz und in eigenen Worten.

Answer 45

I) FORMALE VEREINBARUNGEN Pflichten der Vertragsparteien sollen schriftlich festgehalten werden, damit die Parteien verpflichtet sind, alle Bedingungen dieser Vereinba-rungen zu erfüllen oder aber diese neu auszuhandeln II) SCHUTZ INDIVIDUELLER RECHTE Evaluationen sollen so geplant und durchgeführt werden, dass Sicherheit, Würde und Rechte der in eine Evaluation einbezogene Personen ge-schützt sind III) VOLLSTÄNDIGE & FAIRE ÜBERPRÜFUNG Evaluationen sollen Stärken und Schwächen des Evaluationsgegenstandes möglichst vollständig und fair überprüfen und darstellen, so dass die Stärken weiter ausgebaut und die Schwachpunkte behandelt werden können und die Rechte geschützt sind IV) OFFENLEGUNG DER ERGEBNISSE Die Evaluationsergebnisse sollten allen Beteiligten und Betroffenen so weit wie möglich zugänglich gemacht werden

Question 46

Ein Durchführungsstandard nach der DeGEval ist der Einsatz von "ANGEMESSENEN VERFAHREN". Was ist darunter zu verstehen, welche potentiellen Probleme müssen beim Einsatz dieser Verfahren berücksichtigt werden und wie sollen Evaluatoren mit diesen Problemen umgehen?

Answer 46

Verfahren der Evaluation sollen den Anforderungen wissenschaftlicher Güte entsprechen und die Beteiligten und Betroffenen nicht unnötig belasten. Wissenschaftlich fundierte Verfahren sind meistens sehr aufwändig oder im Evaluationskontext ethisch nicht verträglich. Vor- und Nachteile sowie Aussagekraft der Verfahren sollten durch die Evaluatoren transparent gemacht werden.

Question 47

Nennen Sie drei GENAUIGKEITSSTANDARDS und erläutern Sie kurz, was damit gemeint ist

Answer 47

I) BESCHREIBUNG DES EVALUATIONSGEGENSTANDES Evaluationsgegenstand soll klar und genau beschrieben werden, so dass er eindeutig identifiziert werden kann II) ANGABE VON INFORMATIONSQUELLEN Genaue Dokumentation, damit die Verlässlichkeit und Angemessenheit der Informationen eingeschätzt werden kann III) BEGRÜNDETE SCHLUSSFOLGERUNGEN Folgerungen sollen ausdrücklich begründet werden, damit die Adressaten diese einschätzen können

Question 48

Erklären Sie, was mit dem Standard der "DURCHFÜHRBARKEIT" bei Evaluationen gemeint ist, und wie dieser mit "diplomatischem Vorgehen" zusammenhängt.

Answer 48

Soll sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird. Diplomatisches Vorgehen ist eines der drei Durchführungsstandards. Evaluationen sollen so geplant und durchgeführt werden, dass eine möglichst hohe Akzeptanz der verschiedenen Beteiligten und Betroffenen in Bezug auf Vorgehen und Ergebnisse der Evaluation erreicht werden kann

Question 49

Evaluationen werden in unterschiedlichen Bereichen durchgeführt und können mitunter sehr unterschiedlich gestaltet sein. Nennen Sie vier Punkte, die Evaluationen im Allgemeinen gemeinsam haben.

Answer 49

1. Auftraggeber 2. Finanziers 3. Evaluationszwecke 4. Untersuchungsmethoden (bzgl. Erhebung, Auswertung und Interpretation)

Question 50

Nennen Sie drei NÜTZLICHKEITSSTANDARDS und erläutern Sie kurz, was damit gemeint ist.

Answer 50

I) IDENTIFIZIERUNG DER BETEILIGTEN & BETROFFENEN Identifikation, damit deren Interesse geklärt und so weit wie möglich bei der Anlage der Evaluation berücksichtigt werden können II) KLÄRUNG DER EVALUATIONSZWECKE Damit die Beteiligten und Betroffenen Position dazu beziehen können und das Evaluationsteam einen klaren Arbeitsauftrag verfolgen kann III) TRANSPARENZ VON WERTEN Die Perspektiven und Annahmen der Beteiligten und Betroffenen, auf denen die Evaluation und die Interpretation der Ergebnisse beruhen, sollen so beschrieben werden, dass die Grundlagen der Bewertungen klar ersichtlich sind

Question 51

Was bedeutet es, wenn eine Evaluation "SICHERHEIT, WÜRDE & RECHTE" der Beteiligten schützen soll?

Answer 51

Würde und Selbstachtung der Personen, mit denen im Verlauf der Evaluation in Kontakt getreten wird, sollen nicht verletzt werden, da es ansonsten zu massiven Beeinträchtigungen des Interessenschutzes kommen kann

Question 52

Welches sind die 3 Hauptzwecke von Evaluationen nach Patton (1997)?

Answer 52

1. ) Informationen bereitstellen zur schrittweisen Gestaltung des Evaluationsgegenstandes 2. ) Informationen bereitstellen zur grundlegenden Entscheidung zum Evaluationsgegenstand 3. ) Erkenntnisse bereitstellen, welche öffentliche, politische oder wissenschaftliche Diskussionen anregen

Question 53

Nennen Sie drei Aspekte, mit denen die Güte einer Interventionsmaßnahme verbun-den ist und erklären Sie diese kurz.

Answer 53

Die Güte einer Interventionsmaßnahme ist mit folgenden Aspekten verbunden: 1) Mit dem Abstand von den zur Erfolgserhebung eingesetzten Kriteriumsmaßen zu den im Programm verwendeten Aufgaben und Problemen (Ausmaß des ANFORDERUNGS-Transfers) 2) Mit dem Abstand der Test- oder Erhebungsbedingungen von denen der Interven-tionssituation (Ausmaß des SITUATIONS-Transfers) 3) Mit dem Abstand der Erfolgserhebung zur Durchführung der Interventionsmaßnahme (ZEITLICHER TRANSFER, Persistenz und Dauer) a. Transfer im Sinne der Bildung oder Verbesserung von kurzfristig verfügbaren K-Kompetenzen b. Transfer im Sinne der Bildung oder Verbesserung von längerfristig verfügba-ren L-Kompetenzen

Question 54

Das primäre Evaluationsziel summativer Erfolgsevaluationen besteht darin, die Antwort auf vor allem 3 Fragen zu geben. Wie lauten diese?

Answer 54

1) Frage nach dem Auftreten oder Nicht-Auftreten der erwarteten internen programmspezifischen und der extern als verbindlich festgelegten Wirkungen 2) Frage nach der Intensität dieser Wirkungen 3) Frage nach ihrer Dauer oder dem zeitlichen Transfer und wie intensiv er ist

Question 55

Erklären sie den Begriff der "Ausführungsintegrität". Wie könnte man vorgehen, wenn die Ausführungsintegrität eingeschränkt ist?

Answer 55

--> Forderung nach ordnungsgemäßer Programmausführung --> Durchführung eines Programms gemäß den Vorgaben der AutorInnen oder denen einer modalen Praxis >> Kontrolle, ob ein Programm von den Betroffenen in der beabsichtigten Weise bear-beitet worden ist >> Dokumentation der Abweichungen >> Wenn das Programm nicht ordnungsgemäß durchgeführt wurde: gravierende Beeinträchtigung der Validität (keine eindeutige Interpretation der empirischen Daten in Hinblick auf die Wirksamkeitshypothesen mehr möglich)

Question 56

Nenne zwei Schwächen der Effektgrößen als Wirksamkeitskriterium.

Answer 56

>> Abhängigkeit der Werte vom Ausgangsstatus der untersuchten Personen >> Je geringer die zu überwindende Transferdistanz, desto größer der (statistische) EfFekt unter sonst gleichen Bedingungen >> Können künstlich erhöht werden, wenn die Vergleichsgruppe keine Intervention erhält

Question 57

Nennen Sie 3 Gütemerkmale für Kriteriumsmaße, die eine Grundlage dafür bieten, ei-nem Programm Wirksamkeit zu bescheinigen, und erklären Sie diese kurz.

Answer 57

1) ZIELADÄQUATHEIT Die beobachtbaren Kriteriumsmaße in Versuchen zur Evaluation von Programmen sollen sich einerseits an den spezifischen internen Zielen des Programmes orientieren und andererseits an den für bestimmte Klassen von Programmen vorgegebenen verbindlichen externen Zielen. Sind derartige Maße verfügbar, dann sollten die Fremdevaluatoren zunächst die Maße nach den Vorgaben der jeweiligen Programmautoren wählen. 2) TRANSFERABSTAND Es ist bei Interventionsarten, die mit dem verbindlichen externen Ziel der Beeinflussung längerfristig verfügbarer L-ST- oder L-AT-Kompetenzen gekoppelt sind, darauf zu achten, dass die eingesetzten Kriteriumsmaße den Programmaufgaben und die Erhebungs- und Programmkontexte einander so unähnlich sind, dass die erfolgreiche Aufgabenbearbeitung nicht ohne den entsprechenden Transfer möglich ist. 3) AUSGEWOGENHEIT BEI VERGLEICHENDEN EVALUATIONEN Es ist dafür zu sorgen, dass kein vermeidbares Ungleichgewicht zugunsten einer der evaluierten Interventionsmaßnahmen dadurch eingeführt wird, dass nur oder vorwiegend Maße benutzt werden, die näher an einer Maßnahme liegen als an allen anderen. 4) MODERATORVARIABLEN Soweit möglich sollten die Ausprägungen von solchen potentiellen Moderatorvariabeln erfasst werden, die auf Grund des verfügbaren Hintergrundwissens als besonders wichtig klassifiziert werden können oder die im günstigsten Fall sogar theoriegeleitet ermittelt werden können. → Nicht zu viele Variabeln erheben 5) VALIDITÄT UND RELIABILITÄT Bei allen Maßen ist zu erwarten, dass sie im testtheoretischen Sinn valide hinsichtlich der zu erfassenden Ziele sind. Da einige Maße manchmal selbst konstruiert werden, scheint die Validität wichtiger zu sein.

Question 58

Erläutern sie kurz, wann eine Interventionsmaßnahme als wirksam / effektiv angesehen werden kann!

Answer 58

Eine Interventionsmaßnahme kann dann als effektiv oder wirksam beurteilt werden, wenn sie nachweislich entweder als hinreichend intensiv bewertete Veränderungen auf ihre internen programmspezifischen Ziele hin erzeugt oder wenn sie sich ihren internen Zielen hinreichend annähert bzw. wenn sie diese erreicht.

Question 59

Welche 2 Möglichkeiten hat man wenn für bestimmte interne Ziele keine Maße verfügbar sind?

Answer 59

Entweder ein verfügbares, aber weniger geeignetes Maß benutzen oder parallel zum Programm geeignete Maße konstruieren.

Question 60

Welchen Mehrwert bietet die zusätzliche Berücksichtigung statistischer Tests neben der Bestimmung von Effektgrößen?

Answer 60

Effektgrößen werden nicht als Ersatz für statistische Tests, sondern als Ergänzung zu die-sem angesehen. Unter dieser Auffassung dienen statistische Tests weiter dazu, festzustellen, ob eine Wirkung aufgetreten ist, die unter probabilistischer oder signifikanzstatistischer Sichtweise größer ist als zufällige Schwankungen, während die Effektgröße angibt wie intensiv diese Wirkung ausfällt.

Question 61

In der Evaluationsforschung gibt es nach einem Vorschlag von Scriven (1972,1991) zwei Paradigmen, mit denen man Hypothesen prüfen kann. Nennen Sie diese beiden Para-digmen und geben Sie an, welche Art von Hypothesen mit dem jeweiligen Paradigma geprüft werden kann.

Answer 61

Paradigma der isolierten Evaluation: abgestimmt auf die Wirksamkeitshypothese Paradigma der vergleichende Evaluation: abgestimmt auf die Wirksamkeitsunterschieds-hypothese

Question 62

Was ist unter dem grundlegenden "Prinzip der Kontrolle" zu verstehen? Beschreiben Sie dieses kurz (in einem Satz).

Answer 62

Das Prinzip der Kontrolle besagt, dass im Sinne der Sicherung der internen Validität und damit einer hinreichend eindeutigen Interpretierbarkeit alle nicht mit der Hypothese verbundenen und daher potentiell störenden Faktoren (Störfaktoren) zu kontrollieren sind, während die Hypothese verbundenen oder hypothesenrelevanten Faktoren variiert werden sollen.

Question 63

Nennen Sie die grundlegenden Arten von Versuchs- und Vergleichsgruppen.

Answer 63

1) ISOLIERTE EVALUATION a) Experimentalgruppe und/oder b) Vergleichsgruppe ohne Intervention (Wartegruppe c) Vergleichsgruppe mit Intervention (Quasi-Kontrollgruppe) d) Vergleichsgruppe mit Kontrollprogramm (Kontrollgruppe) 2) VERGLEICHENDE EVALUATION a) Vergleichsgruppe mit Alternativprogramm b) Vergleichsgruppe mit Quasi-Alternativprogramm (gleiche Ziele wie Evaluationsprogramm, aber aus einem echten Alternativprogramm hervorgegangen)

Question 64

Vergleiche die Forderungen an die Qualitätssicherung zwischen Wissenschaft und Praxis.

Answer 64

In der Praxis können Maßstäbe weniger streng ausfallen. Das bedeutet, dass das in der Praxis gestellte Ziel, zu Verbesserungen zu gelangen, selten bis nie mit dem Interpretierbarkeitsanspruch der Wissenschaft zu vereinen ist.

Question 65

In der "vergleichenden Evaluation" können prinzipiell drei Hypothesen geprüft werden. Benennen Sie diese drei Hypothesen und stellen Sie jeweils eine beispielhafte Hypo-these dazu auf.

Answer 65

I) NICHT - UNTERLEGENHEITS - HYPOTHESE Das Programm ist mindestens so wirksam wie das andere II) ÜBERLEGENHEITS - HYPOTHESE Das Programm ist wirksamer als das andere III) ÄQUIVALENZHYPOTHESE Es gibt keinen Wirksamkeitsunterschied zwischen den Programmen

Question 66

Nennen Sie einen Störfaktor, dessen Wirksamkeit nicht durch Randomisierung verhin-dert werden kann und stellen Sie heraus, wie dagegen vorgegangen werden kann.

Answer 66

VARIABLENKONFUNDIERUNG Konfundierung von Programmwirkungen mit Wirkungen der Interventionssituation als solcher. → Verwendung geeigneter Vergleichsgruppen

Question 67

Nennen Sie beispielhaft je eine Wirksamkeitshypothese und eine Wirksamkeitsunter-schiedshypothese ausformuliert und erläutern Sie kurz den Kernunterschied.

Answer 67

WIRKSAMKEITSHYPOTHESE Das Förderprogramm zur Rechtschreibung ist hinsichtlich seiner Ziele wirksam. WIRKSAMKEITSUNTERSCHIEDSHYPOTHESE Das Förderprogramm zur Rechtschreibung ist, wenn man es in Grundschulen durchführt, wirksamer als die Rechtschreib-Computerprogramme. o Gleiches Ziel, aber andere Methoden

Question 68

Bei vergleichenden Evaluationen werden oft die Randbedingungen des Experimental- und des Alternativprogramms einander angeglichen. Warum ist das problematisch für die Repräsentativität der Programme?

Answer 68

Die Alternativen Programme müssen wie von Ihren Autoren vorgesehen durchgeführt werden, um die Repräsentativität der Programme zu gewährleisten.

Question 69

Beschreiben Sie kurz das Vorgehen bei der Kombination von isolierter und vergleichender Evaluation und nennen Sie einen Vorteil dieser Vorgehensweise gegenüber der vergleichenden Evaluation.

Answer 69

Einsatz einer Kontrollgruppe (bzw. Kontrollprogramm) für jedes der beiden Alternativprogramme >> Konstanthaltung der Ziele für beide Alternativprogramme >> programmabhängige Variation der Randbedingungen unter beiden Programmen >> Konstruktion je eines Kontrollprogramms mit den gleichen Randbedingungen wie dasjenige Alternativprogramm, zu dessen Kontrolle es eingesetzt wird >> Erfassung der gemeinsamen Ziele mit Kritierumsmaßen, die für beide Alternativprogramme relevant sind (zusätzlich können die für die möglichen Ziele der Kontrollprogramme vorgesehenen Maße erhoben werden)

Question 70

Diskutieren Sie über die Verwendung einer Wartegruppe als Vergleichsgruppe bei einer isolierten Evaluation.

Answer 70

Für die Wirksamkeit eines Programmes sprechende Befunde, können nicht hinreichend auf programmgebundene Einflussfaktoren zurückgeführt werden, da Wartegruppen nur für die Feststellung einer Bruttowirkung im engeren Sinne eingesetzt werden können. Interventionsgebundene Wirkungen können nicht interpretiert werden