Bildung Zusatztexte Flashcards
1
Q
Was haben die zahlreichen Definitionen von Evaluationsforschung gemeinsam?
A
Man kann es nur so nennen, wenn die Bewertung eines Gegenstandes systematisch und unter Verwendung wissenschaftlicher (primär psychologischer und sozialwissenschaftlicher) Methoden erfolgt.
2
Q
Definition Evaluationsforschung (Spiel)
A
Untersucht wissenschaftsgestützt, unter Berücksichtigung geltender Standards, die Effektivität (Ausmaß der Zielerreichung), und Effizienz (Verhältnis von Aufwand und Nutzen) von Gegenständen.
3
Q
Gegenstände der Evaluation
A
- Programme, Maßnahmen und Interventionen
- Einrichtungen und Organisationsteile
- Techniken und Methoden
- Produkte und Personen
- Prozesse und Netzwerke
4
Q
Wovon ist Evaluationsforschung ein Teilgebiet?
A
angewandte (Sozial-)Forschung
5
Q
Unterschied zwischen Grundlagenforschung und Evaluationsforschung
A
- Grundlagenforschung: nomologische Aussagen –> Anforderungen an die Theorie
- Evaluationsforschung: technologische Aussagen –> Anforderungen an Theorie UND Praxis
6
Q
Welche 3 Forschungsbereiche gehen ineinander über?
A
- Grundlagenforschung
- angewandte Forschung
- Evaluationsforschung
Sie verwenden alle 3 den gleichen Kanon wiss. Methoden.
7
Q
Was ist das Äquivalent zur Evaluation in Wirtschaft?
A
Qualitätsmanagement (QM)
8
Q
Wie sind die Anforderungen an QM-Systeme festgelegt?
A
international –> ISO 9000-Norm
9
Q
Total Quality Management (TGM) =
A
QM-System, das alle Teile eines Prozesses oder Betriebs umfasst
10
Q
Wie bezeichnet man den Bewertungsprozess anhand eines QM-Systems?
A
Akkreditierung
11
Q
Monitoring =
A
regelmäßige Überwachung und Begleitung der Durchführung einer Maßnahme oder eines Prozesses
12
Q
Was ist häufig in QM-System eingebettet?
A
Qualitätskontrolle durch Monitoring
13
Q
Wie unterscheiden sich QM und Monitoring von Evaluationsforschung?
A
Sie erfordern kontinuierliche Aktivitäten und wiss. Fundierung kommt keine zentrale Rolle zu –> Evaluationsforschung wird hingegen eher punktuell eingesetzt.
14
Q
Anhand welcher 2 Kriterien lassen sich Evaluationen grob einteilen?
A
- Ziele
- Rolle der EvaluatorInnen
15
Q
Einteilung von wiss. Evaluationen nach Zielen
A
- Baseline-E.
- Prospektive E.
- Formative E.
- Summative E.
- E. in Programmeffizienz
- Impact E.
16
Q
Baseline-Evaluation =
A
IST-Stand Analyse zur Beschreibung der Ausgangssituation, wichtig für Vergleich mit Situation nach Maßnahme
17
Q
Prospektive Evaluation =
A
Bewertung der Programmkonzeption, zur Abschätzung der Realisierbarkeit des Programms/der Maßnahme sowie möglicher Nebeneffekte
18
Q
Formative Evaluation =
A
Beschreibung und Bewertung von Programmimplementation, Zielsetzungen und Umsetzungen ; gezielte Rückmeldungen zur Programmoptimierung
19
Q
Summative Evaluation =
A
Prüfung der Wirksamkeit des Programms/der Maßnahme im Bezug auf die gesetzten Ziele unmittelbar nach Programmabschluss
20
Q
Evaluation der Programmeffizienz =
A
Bewertung der Ökonomie des Programms/der Maßnahme (Kosten-Nutzen Relation)
21
Q
Impact Evaluation =
A
Bewertung der nachhaltigen Effekte von Programmen und Maßnahmen; geht weit über direkte Ziele hinaus
22
Q
Einteilung von wiss .Evaluationen nach Rolle der EvaluatorInnen
A
- Selbstevaluation
- Fremdevaluation
- Interne E.
- Externe E.
23
Q
Selbstevaluation =
A
Mitglieder einer Institution/Organisation bewerten sich bzw. ihre Maßnahmen selbst
24
Q
Fremdevaluation =
A
Bewertung findet durch Dritte statt
25
Interne Evaluation =
Selbstevaluationen sowie Evaluationen, bei denen die EvaluatorInnen aus der gleichen Einrichtung kommen, jedoch nicht direkt an der Maßnahme beteiligt sind
26
Externe Evaluation =
Bewertung durch unabhängige ExpertInnen, die in keiner Beziehung zu der Einrichtung bzw. der Maßnahme stehen
27
Vorteile von internen Evaluationen
EvaluatorInnen sind mit Gegenstand gut vertraut --> Evaluation ist ökonomisch!
--> hohes Commitment
28
Nachteile von internen Evaluationen
Gefahr der Parteilichkeit und Urteilsverfälschung
| häufig fehlende methodische Expertise
29
Anhand von was kann Evaluation noch differenziert werden?
Verantwortlichkeit für die Zielsetzung:
- intern konzipierte Evaluationen: Institution setzt sich selbst Evaluationsziele
- extern konzipierte Evaluationen: Evaluationsziele werden von übergeordneten Einrichtungen/Behörden formuliert
30
Gruppen von Funktionen von Evaluationen
- E. als Bewertung ohne klare Zielsetzung
- E. als Entscheidungsunterstützung
- E. als Optimierungsgrundlage
- E. als strategisches Instrument
31
Funktionen von Evaluation als strategisches Instrument
- Nutzung des Evaluationsprozesses zur Erhöhung der Motivation und Leistung der MitarbeiterInnen
- Evaluation als Durchsetzungshilfe für eine bestimmte Entscheidung, als Umsetzungshilfe für eine wenig akzeptierte Entscheidung bzw. als Verantwortungsdelegation für eine negative Entscheidung
- Symbolische oder ritualisierte Funktion von Evaluation: Durchführung nur zur Erfüllung gesetzlicher Vorschriften oder Vorgaben von GeldgeberInnen bzw. EntscheidungsträgerInnen
32
Ebenen der Evaluation nach Kirkpatrick
Ebene 1 - Reaktion: Erfassung der Akzeptanz einer Maßnahme/eines Programms --> Akzeptanz ist meistens Voraussetzung für Lernen
Ebene 2- Lernen: Erfassung des Ausmaßes, in dem TeilnehmerInnen an einer Maßnahme/einem Programm als direkte Folge der Teilnahme ihr Wissen bzw. ihre Fertigkeiten erweitert oder ihre Einstellungen verändert haben
Ebene 3 - Verhalten: Erfassung des Transfers des Gelernten auf Alltagssituationen
Ebene 4- Ergebnisse: Erfassung der Veränderungen auf Organisations- bzw. Systemebene
33
Wie lässt sich Akzeptanz der Evaluation durch die Betroffenen erreichen?
Konsequenzen der Evaluation bereits im Vorfeld begründet und mitgeteilt --> im Optimalfall mit Betroffenen ausgehandelt
34
Neue Ansätze wie aus Evaluationsprozess systematisch gelernt werden kann
- participatory
- collaborative
- utilization-focused
- empowerment
35
Gemeinsamkeiten der neuen Ansätze der Evaluationsprozesse
- Evaluation wird in Prozess der Partizipation und Kooperation durchgeführt in dem externe ExpertInnen als Coaches fungieren
- Betroffene werden dabei unterstützt ihre eigenen Evaluationen durchzuführen und damit gleichzeitig die Logik von Evaluationen zu lernen
- Im Zentrum steht der Kreisprozess: Reflexion --> Bewertung -->Verbesserung
- Zentrales Ziel: Etablierung einer Evaluationskultur
36
Was realisieren Kinder mit 3J in Beug auf ihre Identität?
Ihr eigenes Geschlecht und die angemessenen Verhaltensweisen für Mädchen und Jungen.
37
Übernehmen Jungen oder Mädchen eher traditionelle Rollen? (alte Studie)
Mädchen
38
Haben ältere oder jüngere Kinder stärkere Ansichten bzgl. genderstereotypisiertem Verhalten?
ältere
39
Biologische Theorien zu Geschlechtsstereotypen
- entstehen durch frühen Einfluss von Genen und Hormonen
| - Verhalten basiert auf Evolution
40
Soziale Theorien zu Geschlechtsstereotypen
Verhaltensmuster die auf Verstärkung, Imitation und Identifikation basieren
41
Kognitive Theorien zu Geschlechtsstereotypen
basieren auf Kohlbergs Theorie:
- Genderkonstanz mit 7J erreicht
- Kinder verstehen, dass Gender nicht das ganze Leben über veränderbar ist
- Entwicklung der Genderidentität hängt stark mit geschlechtsstereotypischen Ansichten zusammen
42
Gender-Schema Theorie von Bem
- Kognitive Theorie
- Geschlechtsstereotype Ansichten und Verhaltensweisen bei Kindern werden ausgelöst durch kognitive Entwicklung sowie soziales Lernen
43
Welche Tests wurden bei der Studie von Kanka et al. für Kinder verwendet?
- SERLI (Sex Role Learning Index)
- Model of Gender-Stereotyping (Trautner)
- Fragen über Alltag im Kindergarten
44
Welche Tests wurden bei der Studie von Kanka et al. für Eltern verwendet?
- Fragen über Alltag im Kindergarten (gleiche wie bei Kindern)
- Fragebogen
45
Haben die Kinder in der Studie von Kanka et al. Objekte oder Verhaltensweisen stärker stereotypisiert?
Objekte
46
Zeigen ältere oder jüngere Kinder eher geschlechtsstereotype Verhaltensweisen?
ältere
47
Ergebnisse der Studie von Kanka et al. bezüglich Geschlechtsstereotypen von Kindern und ihren Eltern?
- Jungen haben stereotypisierendere Ansichten und Verhaltensweisen
- Eltern von Jungen schätzen das Verhalten ihrer Söhne stereotypisiert ein (und haben damit auch Recht)
- Mädchen verhalten sich weniger stereotypisiert und haben auch offenere Ansichten
- Mädchen verhalten sich weniger stereotypisiert als ihre Eltern erwarten würden
- Eltern erwarten dass Mädchen stereotypischeres Verhalten zeigen als Jungen
48
Häufige Probleme der Evaluation in der Praxis
- Maßnahmen werden ohne klare Zielsetzungen durchgeführt
- Ziele sind unpräzise formuliert
- es gibt divergierende Ziele
- Ziele und Maßnahmen korrespondieren nicht
49
3 Hauptzwecke der Evaluation
- Bereitstellung von Informationen zur Optimierung eines Gegenstandes
- als Entscheidungsgrundlage
- zur Informationssammlung ohne klare Zielsetzung
50
Wie identifiziert man möglichst alle Zielgruppen bei einer Evaluation? (Ablauf)
Assoziationsketten --> hinsichtlich der relevanten Merkmale differenzieren --> Reduktion auf relevante Teilgruppen (Ressourcen spielen dabei große Rolle!)
51
Was sollte vor der Zielexplikation geklärt werden?
die Ressourcenlage im Zusammenhang mit der Funktion der Evaluation und der Zielgruppenbestimmung
52
Wie erfolgt eine Zielexplikation?
Ein oder mehrere Workshops durchgeführt an denen zumindest ein entscheidungsbefugter Repräsentant des Auftraggebers teilnimmt, sowie VertreterInnen sämtlicher relevanter Stakeholdergruppen
- Auswahl der Teilnehmer erfolgt stratifiziert mit Unterstützung des Auftraggebers
- Einsatz von Moderationstechniken
53
3 Fragen, die in der Zielexplikation von Maßnahmen/Programmen beantwortet werden sollen?
1. Welche Ziele sollen mit der Maßnahme/dem Programm erreicht werden?
2. Wie sollen diese Ziele erreicht werden?
3. Woran erkennt man die Zielerreichung?
54
Wie wird die erste Frage der Zielexplikation beantwortet?
optimalerweise EvaluatorInnen bereits in Bestimmung der Maßnahmenziele eingebunden --> mit Moderationstechniken werden Ziele präzisiert, Widersprüche aufgelöst und Zielhierarchien erstellt
55
Wie wird die zweite Frage der Zielexplikation beantwortet?
Hier geht es um Kongruenz zwischen Zielen und Maßnahme --> Klärung, ob die zur Realisierung der Maßnahme erforderlichen Ressourcen im notwendigen Ausmaß vorhanden (materielle und immaterielle)
56
Wie wird die dritte Frage der Zielexplikation beantwortet?
Hier geht es um die Identifikation geeigneter messbarer Indikatoren (=Operationalisierung) --> von Maßnahmezielen zu Evaluationszielen kommen --> möglichst konkrete Angaben machen --> erarbeitete Indikatoren stellen Basis für Auswahl/Entwicklung der Evaluationsinstrumente dar --> für jeden erarbeiteten Indikator sollten Erfolgskriterien benannt werden
57
Welche Organisation hat Empfehlungen für Auftraggebende von Evaluationen publiziert?
DeGEval - Gesellschaft für Evaluation
58
Wann und wo wurde das erste Mal ein großer Diskursprozess zur Entwicklung von Leitlinien für die Evaluationspraxis in Gang gesetzt?
70er Jahre in USA
59
Welche Organisation erarbeitete und publizierte internationale Evaluationsstandards und wie sind diese gegliedert?
Joint Commitee on Standards for Educational Evaluation (JCSEE)
- 30 Evaluationsstandards
- 4 Bereiche:
- -> Utility (Nützlichkeit)
- -> Feasability (Durchführbarkeit)
- -> Propriety (Fairness)
- -> Accuracy (Genauigkeit)
60
2 Beispiele für nationale Evaluationsgesellschaften die Leitlinien zur Qualitätssicherung auf Basis der Standards der JCSEE publizierten
- Guiding Principles for Evaluators von der American Evaluation Association
- Evaluation-Standards von der Schweizerischen Evaluationsgesellschaft
61
Evaluationsguidelines der OECD
PUMA - Public Management Service Best Practice Guidelines for Evaluation
62
Wozu Evaluationsstandards?
- Dialoginstrument für Austausch über Qualität von professionellen Evaluationen
- Orientierung bei Planung und Durchführung
- Transparenz
63
DeGEval: Nützlichkeit
Nützlichkeitsstandrads sollen sicherstellen, dass die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen NutzerInnen ausrichtet
64
DeGEval: Durchführbarkeit
Durchführbarkeitsstandards sollen sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird
65
DeGEval: Fairness
Fairnessstandards sollen sicherstellen , dass in einer Evaluation respektvoll und fair mit den Betroffenen Personen und Gruppen umgegangen wird
66
DeGEval: Genauigkeit
Genauigkeitsstandards sollen sicherstellen, dass eine Evaluation gültige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervorbringt und vermittelt
67
8 Nützlichkeitsstandrads
- Identifizierung der Beteiligten und Betroffenen
- Klärung der Evaluationszwecke
- Glaubwürdigkeit und Kompetenz der EvaluatorInnen
- Auswahl und Umfang der Informationen
- Transparenz von Werten
- Vollständigkeit und Klarheit der Berichterstattung
- Rechtzeitigkeit der Evaluation
- Nutzung und Nutzen der Evaluation
68
3 Durchführbarkeitsstandrads
- Angemessene Verfahren
- Diplomatisches Vorgehen
- Effizienz von Evaluation
69
5 Fairnessstandards
- Formale Vereinbarungen
- Schutz individueller Rechte
- Vollständige und faire Überprüfung
- Unparteiische Durchführung und Berichterstattung
- Offenlegung der Ergebnisse
70
9 Genauigkeitsstandards
- Beschreibung des Evaluationsgegenstandes
- Kontext-Analyse
- Beschreibung von Zwecken und Vorgehen
- Angabe von Informationsquellen
- Valide und reliable Informationen
- Systematische Fehlerprüfung
- Analyse qualitativer und quantitativer Informationen
- Begründete Schlussfolgerungen
- Meta-Evaluation
