Bildung Zusatztexte Flashcards
Was haben die zahlreichen Definitionen von Evaluationsforschung gemeinsam?
Man kann es nur so nennen, wenn die Bewertung eines Gegenstandes systematisch und unter Verwendung wissenschaftlicher (primär psychologischer und sozialwissenschaftlicher) Methoden erfolgt.
Definition Evaluationsforschung (Spiel)
Untersucht wissenschaftsgestützt, unter Berücksichtigung geltender Standards, die Effektivität (Ausmaß der Zielerreichung), und Effizienz (Verhältnis von Aufwand und Nutzen) von Gegenständen.
Gegenstände der Evaluation
- Programme, Maßnahmen und Interventionen
- Einrichtungen und Organisationsteile
- Techniken und Methoden
- Produkte und Personen
- Prozesse und Netzwerke
Wovon ist Evaluationsforschung ein Teilgebiet?
angewandte (Sozial-)Forschung
Unterschied zwischen Grundlagenforschung und Evaluationsforschung
- Grundlagenforschung: nomologische Aussagen –> Anforderungen an die Theorie
- Evaluationsforschung: technologische Aussagen –> Anforderungen an Theorie UND Praxis
Welche 3 Forschungsbereiche gehen ineinander über?
- Grundlagenforschung
- angewandte Forschung
- Evaluationsforschung
Sie verwenden alle 3 den gleichen Kanon wiss. Methoden.
Was ist das Äquivalent zur Evaluation in Wirtschaft?
Qualitätsmanagement (QM)
Wie sind die Anforderungen an QM-Systeme festgelegt?
international –> ISO 9000-Norm
Total Quality Management (TGM) =
QM-System, das alle Teile eines Prozesses oder Betriebs umfasst
Wie bezeichnet man den Bewertungsprozess anhand eines QM-Systems?
Akkreditierung
Monitoring =
regelmäßige Überwachung und Begleitung der Durchführung einer Maßnahme oder eines Prozesses
Was ist häufig in QM-System eingebettet?
Qualitätskontrolle durch Monitoring
Wie unterscheiden sich QM und Monitoring von Evaluationsforschung?
Sie erfordern kontinuierliche Aktivitäten und wiss. Fundierung kommt keine zentrale Rolle zu –> Evaluationsforschung wird hingegen eher punktuell eingesetzt.
Anhand welcher 2 Kriterien lassen sich Evaluationen grob einteilen?
- Ziele
- Rolle der EvaluatorInnen
Einteilung von wiss. Evaluationen nach Zielen
- Baseline-E.
- Prospektive E.
- Formative E.
- Summative E.
- E. in Programmeffizienz
- Impact E.
Baseline-Evaluation =
IST-Stand Analyse zur Beschreibung der Ausgangssituation, wichtig für Vergleich mit Situation nach Maßnahme
Prospektive Evaluation =
Bewertung der Programmkonzeption, zur Abschätzung der Realisierbarkeit des Programms/der Maßnahme sowie möglicher Nebeneffekte
Formative Evaluation =
Beschreibung und Bewertung von Programmimplementation, Zielsetzungen und Umsetzungen ; gezielte Rückmeldungen zur Programmoptimierung
Summative Evaluation =
Prüfung der Wirksamkeit des Programms/der Maßnahme im Bezug auf die gesetzten Ziele unmittelbar nach Programmabschluss
Evaluation der Programmeffizienz =
Bewertung der Ökonomie des Programms/der Maßnahme (Kosten-Nutzen Relation)
Impact Evaluation =
Bewertung der nachhaltigen Effekte von Programmen und Maßnahmen; geht weit über direkte Ziele hinaus
Einteilung von wiss .Evaluationen nach Rolle der EvaluatorInnen
- Selbstevaluation
- Fremdevaluation
- Interne E.
- Externe E.
Selbstevaluation =
Mitglieder einer Institution/Organisation bewerten sich bzw. ihre Maßnahmen selbst
Fremdevaluation =
Bewertung findet durch Dritte statt
Interne Evaluation =
Selbstevaluationen sowie Evaluationen, bei denen die EvaluatorInnen aus der gleichen Einrichtung kommen, jedoch nicht direkt an der Maßnahme beteiligt sind
Externe Evaluation =
Bewertung durch unabhängige ExpertInnen, die in keiner Beziehung zu der Einrichtung bzw. der Maßnahme stehen
Vorteile von internen Evaluationen
EvaluatorInnen sind mit Gegenstand gut vertraut –> Evaluation ist ökonomisch!
–> hohes Commitment
Nachteile von internen Evaluationen
Gefahr der Parteilichkeit und Urteilsverfälschung
häufig fehlende methodische Expertise
Anhand von was kann Evaluation noch differenziert werden?
Verantwortlichkeit für die Zielsetzung:
- intern konzipierte Evaluationen: Institution setzt sich selbst Evaluationsziele
- extern konzipierte Evaluationen: Evaluationsziele werden von übergeordneten Einrichtungen/Behörden formuliert
Gruppen von Funktionen von Evaluationen
- E. als Bewertung ohne klare Zielsetzung
- E. als Entscheidungsunterstützung
- E. als Optimierungsgrundlage
- E. als strategisches Instrument
Funktionen von Evaluation als strategisches Instrument
- Nutzung des Evaluationsprozesses zur Erhöhung der Motivation und Leistung der MitarbeiterInnen
- Evaluation als Durchsetzungshilfe für eine bestimmte Entscheidung, als Umsetzungshilfe für eine wenig akzeptierte Entscheidung bzw. als Verantwortungsdelegation für eine negative Entscheidung
- Symbolische oder ritualisierte Funktion von Evaluation: Durchführung nur zur Erfüllung gesetzlicher Vorschriften oder Vorgaben von GeldgeberInnen bzw. EntscheidungsträgerInnen
Ebenen der Evaluation nach Kirkpatrick
Ebene 1 - Reaktion: Erfassung der Akzeptanz einer Maßnahme/eines Programms –> Akzeptanz ist meistens Voraussetzung für Lernen
Ebene 2- Lernen: Erfassung des Ausmaßes, in dem TeilnehmerInnen an einer Maßnahme/einem Programm als direkte Folge der Teilnahme ihr Wissen bzw. ihre Fertigkeiten erweitert oder ihre Einstellungen verändert haben
Ebene 3 - Verhalten: Erfassung des Transfers des Gelernten auf Alltagssituationen
Ebene 4- Ergebnisse: Erfassung der Veränderungen auf Organisations- bzw. Systemebene
Wie lässt sich Akzeptanz der Evaluation durch die Betroffenen erreichen?
Konsequenzen der Evaluation bereits im Vorfeld begründet und mitgeteilt –> im Optimalfall mit Betroffenen ausgehandelt
Neue Ansätze wie aus Evaluationsprozess systematisch gelernt werden kann
- participatory
- collaborative
- utilization-focused
- empowerment
Gemeinsamkeiten der neuen Ansätze der Evaluationsprozesse
- Evaluation wird in Prozess der Partizipation und Kooperation durchgeführt in dem externe ExpertInnen als Coaches fungieren
- Betroffene werden dabei unterstützt ihre eigenen Evaluationen durchzuführen und damit gleichzeitig die Logik von Evaluationen zu lernen
- Im Zentrum steht der Kreisprozess: Reflexion –> Bewertung –>Verbesserung
- Zentrales Ziel: Etablierung einer Evaluationskultur
Was realisieren Kinder mit 3J in Beug auf ihre Identität?
Ihr eigenes Geschlecht und die angemessenen Verhaltensweisen für Mädchen und Jungen.
Übernehmen Jungen oder Mädchen eher traditionelle Rollen? (alte Studie)
Mädchen
Haben ältere oder jüngere Kinder stärkere Ansichten bzgl. genderstereotypisiertem Verhalten?
ältere
Biologische Theorien zu Geschlechtsstereotypen
- entstehen durch frühen Einfluss von Genen und Hormonen
- Verhalten basiert auf Evolution
Soziale Theorien zu Geschlechtsstereotypen
Verhaltensmuster die auf Verstärkung, Imitation und Identifikation basieren
Kognitive Theorien zu Geschlechtsstereotypen
basieren auf Kohlbergs Theorie:
- Genderkonstanz mit 7J erreicht
- Kinder verstehen, dass Gender nicht das ganze Leben über veränderbar ist
- Entwicklung der Genderidentität hängt stark mit geschlechtsstereotypischen Ansichten zusammen
Gender-Schema Theorie von Bem
- Kognitive Theorie
- Geschlechtsstereotype Ansichten und Verhaltensweisen bei Kindern werden ausgelöst durch kognitive Entwicklung sowie soziales Lernen
Welche Tests wurden bei der Studie von Kanka et al. für Kinder verwendet?
- SERLI (Sex Role Learning Index)
- Model of Gender-Stereotyping (Trautner)
- Fragen über Alltag im Kindergarten
Welche Tests wurden bei der Studie von Kanka et al. für Eltern verwendet?
- Fragen über Alltag im Kindergarten (gleiche wie bei Kindern)
- Fragebogen
Haben die Kinder in der Studie von Kanka et al. Objekte oder Verhaltensweisen stärker stereotypisiert?
Objekte
Zeigen ältere oder jüngere Kinder eher geschlechtsstereotype Verhaltensweisen?
ältere
Ergebnisse der Studie von Kanka et al. bezüglich Geschlechtsstereotypen von Kindern und ihren Eltern?
- Jungen haben stereotypisierendere Ansichten und Verhaltensweisen
- Eltern von Jungen schätzen das Verhalten ihrer Söhne stereotypisiert ein (und haben damit auch Recht)
- Mädchen verhalten sich weniger stereotypisiert und haben auch offenere Ansichten
- Mädchen verhalten sich weniger stereotypisiert als ihre Eltern erwarten würden
- Eltern erwarten dass Mädchen stereotypischeres Verhalten zeigen als Jungen
Häufige Probleme der Evaluation in der Praxis
- Maßnahmen werden ohne klare Zielsetzungen durchgeführt
- Ziele sind unpräzise formuliert
- es gibt divergierende Ziele
- Ziele und Maßnahmen korrespondieren nicht
3 Hauptzwecke der Evaluation
- Bereitstellung von Informationen zur Optimierung eines Gegenstandes
- als Entscheidungsgrundlage
- zur Informationssammlung ohne klare Zielsetzung
Wie identifiziert man möglichst alle Zielgruppen bei einer Evaluation? (Ablauf)
Assoziationsketten –> hinsichtlich der relevanten Merkmale differenzieren –> Reduktion auf relevante Teilgruppen (Ressourcen spielen dabei große Rolle!)
Was sollte vor der Zielexplikation geklärt werden?
die Ressourcenlage im Zusammenhang mit der Funktion der Evaluation und der Zielgruppenbestimmung
Wie erfolgt eine Zielexplikation?
Ein oder mehrere Workshops durchgeführt an denen zumindest ein entscheidungsbefugter Repräsentant des Auftraggebers teilnimmt, sowie VertreterInnen sämtlicher relevanter Stakeholdergruppen
- Auswahl der Teilnehmer erfolgt stratifiziert mit Unterstützung des Auftraggebers
- Einsatz von Moderationstechniken
3 Fragen, die in der Zielexplikation von Maßnahmen/Programmen beantwortet werden sollen?
- Welche Ziele sollen mit der Maßnahme/dem Programm erreicht werden?
- Wie sollen diese Ziele erreicht werden?
- Woran erkennt man die Zielerreichung?
Wie wird die erste Frage der Zielexplikation beantwortet?
optimalerweise EvaluatorInnen bereits in Bestimmung der Maßnahmenziele eingebunden –> mit Moderationstechniken werden Ziele präzisiert, Widersprüche aufgelöst und Zielhierarchien erstellt
Wie wird die zweite Frage der Zielexplikation beantwortet?
Hier geht es um Kongruenz zwischen Zielen und Maßnahme –> Klärung, ob die zur Realisierung der Maßnahme erforderlichen Ressourcen im notwendigen Ausmaß vorhanden (materielle und immaterielle)
Wie wird die dritte Frage der Zielexplikation beantwortet?
Hier geht es um die Identifikation geeigneter messbarer Indikatoren (=Operationalisierung) –> von Maßnahmezielen zu Evaluationszielen kommen –> möglichst konkrete Angaben machen –> erarbeitete Indikatoren stellen Basis für Auswahl/Entwicklung der Evaluationsinstrumente dar –> für jeden erarbeiteten Indikator sollten Erfolgskriterien benannt werden
Welche Organisation hat Empfehlungen für Auftraggebende von Evaluationen publiziert?
DeGEval - Gesellschaft für Evaluation
Wann und wo wurde das erste Mal ein großer Diskursprozess zur Entwicklung von Leitlinien für die Evaluationspraxis in Gang gesetzt?
70er Jahre in USA
Welche Organisation erarbeitete und publizierte internationale Evaluationsstandards und wie sind diese gegliedert?
Joint Commitee on Standards for Educational Evaluation (JCSEE)
- 30 Evaluationsstandards
- 4 Bereiche:
- -> Utility (Nützlichkeit)
- -> Feasability (Durchführbarkeit)
- -> Propriety (Fairness)
- -> Accuracy (Genauigkeit)
2 Beispiele für nationale Evaluationsgesellschaften die Leitlinien zur Qualitätssicherung auf Basis der Standards der JCSEE publizierten
- Guiding Principles for Evaluators von der American Evaluation Association
- Evaluation-Standards von der Schweizerischen Evaluationsgesellschaft
Evaluationsguidelines der OECD
PUMA - Public Management Service Best Practice Guidelines for Evaluation
Wozu Evaluationsstandards?
- Dialoginstrument für Austausch über Qualität von professionellen Evaluationen
- Orientierung bei Planung und Durchführung
- Transparenz
DeGEval: Nützlichkeit
Nützlichkeitsstandrads sollen sicherstellen, dass die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen NutzerInnen ausrichtet
DeGEval: Durchführbarkeit
Durchführbarkeitsstandards sollen sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird
DeGEval: Fairness
Fairnessstandards sollen sicherstellen , dass in einer Evaluation respektvoll und fair mit den Betroffenen Personen und Gruppen umgegangen wird
DeGEval: Genauigkeit
Genauigkeitsstandards sollen sicherstellen, dass eine Evaluation gültige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervorbringt und vermittelt
8 Nützlichkeitsstandrads
- Identifizierung der Beteiligten und Betroffenen
- Klärung der Evaluationszwecke
- Glaubwürdigkeit und Kompetenz der EvaluatorInnen
- Auswahl und Umfang der Informationen
- Transparenz von Werten
- Vollständigkeit und Klarheit der Berichterstattung
- Rechtzeitigkeit der Evaluation
- Nutzung und Nutzen der Evaluation
3 Durchführbarkeitsstandrads
- Angemessene Verfahren
- Diplomatisches Vorgehen
- Effizienz von Evaluation
5 Fairnessstandards
- Formale Vereinbarungen
- Schutz individueller Rechte
- Vollständige und faire Überprüfung
- Unparteiische Durchführung und Berichterstattung
- Offenlegung der Ergebnisse
9 Genauigkeitsstandards
- Beschreibung des Evaluationsgegenstandes
- Kontext-Analyse
- Beschreibung von Zwecken und Vorgehen
- Angabe von Informationsquellen
- Valide und reliable Informationen
- Systematische Fehlerprüfung
- Analyse qualitativer und quantitativer Informationen
- Begründete Schlussfolgerungen
- Meta-Evaluation
