Grundlagen Evaluation Flashcards
Wie sieht der Historischer Abriss von Evaluation aus?
valere = stark, wert sein
= sach- & fachgerechte Bewertung
- Jhdt im Französischen
Beginn 20. Jhdt im Englischen
Mitte 20. Jhdt -> wissenschaftliche Evaluation bzw Evaluationsforschung
pragmatische Überlegung
= Grundlage für Entwicklung der Evaluationsforschung Mitte 20. Jhdt in USA
-> erste large-scale Evaluationen von sozialen Programmen (Eight-Years-Study 1930; War on Poverty 1964)
danach rasche Verbreitung
Wie wird Evaluation wissenschaftlich Definiert?
alle gemeinsam:
-> Bewertung eines Gegenstandes
-> systematisch unter Verwendung wissenschaftlicher Methoden
(psychologisch & sozialwissenschaftlich)
= untersucht wissenschaftsgestützt unter Berücksichtigung geltender Qualitätsstandards die Effektivität (Ausmaß der Zielerreichung) & Effizienz (Kosten-Nutzen-Verhältnis) von Gegenständen
Wie sieht das Aufgabenspektrum wissenschaftlicher Evaluationen aus? -> Gegenstände
Wie grenzt sich Grundlagenforschung von Evaluationsforschung ab?
in so gut wie allen Politikfeldern etabliert -> interdisziplinär (Psychologie, Soziologie, Ökonomie, Politologie, Erziehungswissenschaften, Gesundheitswissenschaften, etc.)
Gegenstände von Evaluationen
- Programme, Maßnahmen & Interventionen
- Einrichtungen & Organisationsteile (=UNI)
- Techniken & Methoden
- Produkte & Personen
- Prozesse & Netzwerke
GF: nomologische Aussagen = allgemeine Gesetzmäßigkeiten betreffend
EF: technologische Aussagen = konkrete Anwendungen betreffend
Übergänge fließend!
Welche Ansätze sind mit Evaluationsforschung verwandt?
Monitoring = regelmäßige Überwachung & Begleitung eines*r Prozesses/Maßnahme
Qualitätsmanagement (QM) = anderer Ansatz, aber ähnliche Zielsetzung:
- auf Basis empirisch feststellbarer Sachverhalte beschreiben, bewerten & optimieren
- Anforderungen international festgelegt (zB: ISO 9000-Norm)
- Total Quality Management (TQM) = umfasst ALLE Teile eines Prozesses/Betriebes
Akkreditierung = Bewertungsprozess anhand QM (zB: Studiengänge)
Welche Arten von Evaluation gibt es? nach Zielen (6x)
- Baseline-Evaluation
IST-Stand Analyse zur Beschreibung der Ausgangssituation -> Vergleich mit Situation nach Maßnahme - Prospektive Evaluation
Abschätzung der Realisierbarkeit + Nebeneffekte - Evaluation der Programmeffizienz
Ökonomie = Kosten-Nutzen Relation - Formative Evaluation
Programm-Implementation, Zielsetzungen & Umsetzungen
-> gezielte Rückmeldung zur Optimierung - Summative Evaluation
Wirksamkeit im Bezug auf gesetzte Ziele unmittelbar nach Abschluss - Impact Evaluation
nachhaltige Effekte -> weit über direkte Ziele hinaus
Welche Arten von Evaluation gibt es?
nach Rolle desr Evaluatorin (4x)
+/-
- Selbstevaluation
Mitglieder einer Institution/Organisation bewerten sich bzw ihre Maßnahmen selbst zB: UNI bewertet eigene Leistungen - Fremdevaluation
Bewertung durch Dritte zB: andere Institutionen mit gleicher Fachrichtung -> “Begehung” - Interne Evaluation
Selbstevaluation + Evaluator*innen aus gleicher Einrichtung (=/ direkt beteiligt) - Externe Evaluation
unabhängige Expert*innen
(+/- von interner = -/+ extern) \+ Evaluator*innen sind mit Gegenstand gut vertraut \+ ökonomisch \+ hohes Commitment - Parteilichkeit - Urteilsverfälschung - fehlende methodische Expertise -> Kombination intern & extern
Welche 4 Funktionen können Evaluationen haben?
Evaluation als…
… Bewertung OHNE klare Zielsetzung
… Entscheidungsgrundlage (Effizienz)
… Optimierungsgrundlage -> häufig
…strategisches Instrument (nicht gut durchschaubar)
-> Erhöhung von Motivation & Leistung der Mitarbeiterinnen
Entscheidungsunterstützung:
- Durchsetzungshilfe für positive Entscheidung
- Umsetzungshilfe für wenig akzeptierte Entscheidung
- Verantwortungsdelegation für negative Entscheidung
Symbolische oder ritualisierte Funktion -> Erfüllung gesetzlicher Vorschriften/Vorgabe von Geldgeberinnen
Welche 4 Ebenen von Evaluation gibt es laut Donald Kirkpatrick (1998)?
Ebene 1 - Reaktion
Akzeptanz als Voraussetzung für Lernen
Ebene 2 - Lernerfolg
Ausmaß, in dem als direkte Folge Fertigkeiten/Wissen erweitert oder Einstellungen verändert wurden
Ebene 3 - Verhalten
Transfer des Gelernten auf Alltagssituationen
Ebene 4 - Ergebnis
Veränderungen auf Organisations- bzw. Systemebene
-> Ursprung des modernen Bildungscontrolling
Welche Probleme können bei Evaluationen auftreten?
- Maßnahmen OHNE klare Ziele durchgeführt
- Potential wird nicht erkannt
- Evaluation wird zum Selbstzweck
- Ergebnisse werden zu Entscheidungen “missbraucht”
- > negatives Image
- > Bereitschaft, sich einzulassen wird verdorben
Wie entsteht Widerstand? Was kann man dagegen unternehmen?
keine Veränderung ohne Widerstand!
Die Beteiligten …
- haben Ziele, Hintergründe od Motive NICHT verstanden
- glauben NICHT, was man ihnen sagt
- wollen oder können nicht mitgehen, weil sie sich keine positiven Konsequenzen versprechen
- > Widerstand enthält verschlüsselte Botschaft
- > Nichtbeachtung führt zu Blockaden (& Wiederholung)
Wiederstand annehmen …
- Druck herausnehmen
- in Dialog treten -> Lösungsideen der Betroffenen selbst?
Welche 2 Voraussetzungen gibt es um aus Evaluation lernen zu können?
- Orientierung am erwarteten Nutzen & geplanter Verwendung
- Bereitschaft zu lernen & zu Veränderung MUSS da sein
- Möglichkeit der Umsetzung
- Konsequenzen - Qualitätssicherung
- qualifizierende Evaluator*innen
- Standards
Was sind 5 zentrale Elemente aktueller Evaluationsmodelle?
- Entwicklung (als Funktion)
- Konstruktivistische Sichtweise
- Einbindung Beteiligter & Betroffener
- Gemeinsame Gestaltung
- Zirkulärer Prozess (Feedbackschleifen)
BSP:
Partizipative Evaluation (Ulrich & Wenzel, 2003)
-> “working together, we will make this a success”
Utilization-Focused Evaluation (Patton, 2008)
Empowerment Evaluation (Fetterman, 1994) -> "we*ll have help, but the sucess is in our hands"
Collaborative
-> “with your support we can make this a success”
Wie sehen Gesetzliche Rahmenbedingungen bei Curricula-Evaluationen aus?
Bundesgesetz über Organisation von Universitäten (UOG 1993)
Evaluierungsverordnung (EvalVO)
Universitätsstudiengesetz (UniStG) -> verplichtende Reform der Studienpläne
Mit 1. Oktober 2002 traten neue Curricula in Ö in Kraft
Ziel: QUALITÄTSSTEIGERUNG!
Wie sieht der Idealverlauf der Evaluation einer Curriculumsreform aus?
- IST-Stand-Analyse des alten Studienplans
= Baseline - Evaluation der Studienplankonzeption
= prospektiv - Evaluation der Implementierung des neuen Studienplans
= formativ - Kosten & Nutzen im Vergleich zum alten Curriculum
= Effizienz - Ergebnisevaluation neuer Studienplan
= Outcome + Vergleich - Summative Evaluation zur Überprüfung langfristiger Wirkungen
= Impact
Wie ist die Curriculumsreform in der Humanmedizin entstanden?
- Forderung nach neuen Medizin-Curricula -> problem based VS lecture based
- einige Ansätze zur Realisierung
- Mangel an systematischen, begleitenden Evaluationen!
