Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Bildungspsychologie > Zielexplikation & Standards > Flashcards

Zielexplikation & Standards Flashcards

1
Q

Wie entsteht die Zielexplikation bei Evaluationsprojekten?

Welche Probleme entstehen in der Praxis?

A

Ziele werden konsequenterweise aus Maßnahmenzielen abgeleitet

PROBLEME

  • Maßnahmen OHNE klare Ziele durchgeführt
  • Ziele unpräzise formuliert
  • divergierende Ziele
  • Ziele & Maßnahmen korrespondieren NICHT

Zielexplikation -> hoher Stellenwert!
sollte integraler Bestandteil JEDER Evaluation sein
(vor Beginn von Datenerhebungen)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Welche einzelnen Schritte gibt es bei der Zielexplikation?

A
  1. Voraussetzungen erarbeiten (mit Auftraggeber*innen)
    - Klärung der Funktion
    - Bestimmung der Zielgruppen = Stakeholder
    - > zeigt Möglichkeiten & Grenzen
  2. Workshops mit entscheidungsbefugten Repräsentant*innen & Vertretungen der Stakeholdergruppen
    - systematisch aufgebaut: Ziele, Inhalt, Methode, Verantwortlichkeit, Zeit
    - verschiedene Moderationstechniken: zB: Szenariotechnik, Brainstorming, Delphi-Methode, Worldcafe
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Wie werden Zielgruppen für Evaluationen bestimmt?

A

= Stakeholder
erste Bestimmung gemeinsam mit Auftraggeber -> systematisches Vorgehen:

  1. Identifizierung möglichst aller Zielgruppen
    durch Assoziationsketten zB: Curriculumsevaluation
  2. Differenzierung
    hinsichtlich relevanter Teilgruppen
  3. Reduktion
    auf relevante Teilgruppen -> Ressourcen!
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Welche Fragen sollen bei der Zielexplikation beantwortet werden?

A
  1. Welche Ziele sollen mit der Maßnahme erreicht werden?
    - Evaluator*innen mit eingebunden
    - im Vorfeld nur sehr vage formuliert & divergieren zwischen Stakeholdergruppen
    - durch Moderationstechniken: Ziele präzisieren, Wiedersprüche auflösen, Hierarchien erstellen
  2. Wie sollen diese Ziele erreicht werden? = Wirkmodell
    - Kongruenz in Praxis häufig sehr gering (-> wird nicht überlegt)
    - Notwendigkeit des Wirkmodells -> wesentlicher Beitrag zur Optimierung
    - erforderlichen Ressourcen im notwendigen Ausmaß vorhanden? (materiell & immateriell)
  3. Woran erkennt man die Zielerreichung?
    = Identifikation geeigneter messbarer Indikatoren -> Operationalisierung
    - am schwierigsten
    - möglichst konkrete Angaben

Indikatoren = Basis für Auswahl bzw Entwicklung von Instrumenten

  • Erfolgskriterien benennen
  • vor empirischen Vorgehen fixieren

bei negativem Ergebnis -> Vermeidung von “Indikatorenschaukel”, “Ergebnisorientierte Zielfokussierung”

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Wie sieht das Praktische Vorgehen bei Zielexplikation in der Realität aus?

A

Evaluation -> häufig erst nach Start oder Abschluss einer Maßnahme

Zielexplikation stellt Fragen in “Vergangenheit”

Probleme bestehen für durchgeführte Maßnahmen

im Idealfall:

  • nachträgliche Zielexplikation führt zu kritischer Reflexion
  • Beitrag wissenschaftlicher Evaluation für Qualitätssicherung von Maßnahmen
  • nützen für künftige Maßnahmen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Wie entwickelten sich Evaluationsstandards?

A

ständig wachsende Zahl & hohe Bedeutung politischer Entscheidungen, basierend auf Evaluationsergebnissen
-> USA 70er: Diskursprozess zur Entwicklung von Leitlinien

ZIEL: Wildwuchs an unqualifizierten Evaluationen verhindern UND zu sichern, dass Evaluationsprojekte national & international auf vergleichbarem Niveau durchgeführt werden

Joint Committee on Standards for Educational Evaluation (1975)

  • 1989 Ergebnisse übernommen & international verbreitet
  • 2011 Programm Evaluation Standards (JCSEE, 2011) auf andere Bereiche ausgeweitet (Medizin, Sozial, Militär, Wirtschaft, Recht & Verwaltung)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Wie lautet die Definition für Evaluationsstandards vom JCSEE (1994)?
In welche 5 Bereiche werden die Standards aufgeteilt?

A

= principle mutually agreed upon by people engaged in the professional practice of evaluation, that, if met, will enhance the quality & fairness of an evaluation

30 Standards in 5 Bereichen

  • Utility = Nutzen
  • Feasibility = Durchführbarkeit
  • Propriety = Ethik
  • Accuracy = Genauigkeit
  • Accountability = Verantwortlichkeit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wie sieht Evaluation in deutschsprachigen Ländern aus?

A

90er Jahre -> Gründung von Evaluationsgesellschaften in ganz Europa
D & Ö = DeGEval = Gesellschaft für Evaluation

Ziel: Professionalisierung

  • national orientiert
  • differenziert in unterschiedliche Politikfelder -> repräsentiert durch Arbeitsgruppen
  • Entwicklung von Standards & Leitfäden
  • Hauptfokus auf Programmevaluation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Welche Standard für Evaluationen gibt es laut der DeGEval (2002)

A

Dialoginstrument für Austausch über Qualität von professionellen Evaluationen

  • > Orientierung bei Planung & Durchführung geben
  • > Transparenz schaffen

NÜTZLICHKEIT
an geklärten Evaluationszwecken & informationsbedarf ausgerichtet

DURCHFÜHRBARKEIT
realistisch, gut durchdacht, diplomatisch & kostenbewusst geplant & durchgeführt

FAIRNESS
respektvoller & fairer Umgang mit betroffenen Personen & Gruppen

GENAUIGKEIT
gültige Informationen & Ergebnisse hervorbringt & vermittelt

  • > Anwendung und Umsetzung NICHT schematisch
  • > an jeweiliges Evaluationsfeld angepasst

Empfehlungen zur Anwendung der Standards

  • > in manchen Praxisfeldern -> Selbstevaluationen (von nicht ausgebildeten Personen ausgeführt)
  • > verbindliche Rahmenbedingungen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q 
ROAD TO SUCCESS: Evaluation des Notebookeinsatzes an Österreichischen Schulen -> Beispiel eines komplexen Evaluationsprojekts
Ausgangslage
Evaluationsfragen
Rahmenbedingungen
Evaluationsziele
A

AUSGANGSLAGE
seit 2000 Modellversuch “Notebook-Klassen”
2002/03: 170 Klassen, 101 Standorte, ca. 4000 Schüler*innen
Anfang 2002 -> bm:bwk gibt Evaluation in Auftrag

EVALUATIONSFRAGEN

  1. Welche fachübergreifende Kompetenzen werden durch Notebook-Einsatz speziell gefördert? Was können Notebook-Schüler*innen?
  2. Wie gelingt es den Schulen diese Leistungen zu erzielen?

RAHMENBEDINGUNGEN
Notebook-Projekt = “organisch gewachsen” -> Initiativen heterogen (Freiwilligkeit, technische Ausstattung, Unterrichtsformen, Unterstützung, etc.)
=/ klaren & einheitlichen Ziel- & Erfolgskriterien

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Wie sehen die Evaluationsziele des Notebookeinsatzes in Schulen aus?

A

EVALUATIONSZIELE
Phase 1
1. Erarbeitung fachübergreifender Erfolgsziele
2. Basisinformationen über Einfluss von Organisation & Didaktik auf Erfolg

Phase 2
Unterscheiden sich Notebook- & NICHT-Notebook-Schüler*innen in ...
... fachübergreifenden Kompetenzen?
... in erwarteten Nebenwirkungen?
Gibt es Klasseneffekte?

Phase 3
Wie gelingt es den erfolgreichen Notebook-Schulen, die Leistungen bei den Schüler*inne zu erzielen?
Gibt es systematische Unterschiede in Organisation & Didaktik?
-> Road to Success

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

PHASE 1
Wie sieht die Organisation eines Workshops mit Expert*innen zur Zielpräzisierung für die Evaluation zu “Notebook-klassen aus?
Welche Ergebnisse können erlangt werden?

A

PHASE 1 der Evaluation
Herausforderung -> Expert*innenauswahl

Stratifizierte Auswahl der Teilnehmenden nach

  • Schultypen (AHS/BORG, HTL, HAK, HLW)
  • Content (Unterrichtsfach)
  • Einstellung zu Notebook-Unterricht
  • Funktion im Projekt (Koordinatiorin, Direktorin, Lehrer*in, Kustos)
  • Dauer
  • Geschlecht
  • Alter

-> 2 Tage + 13 Teilnehmende

ERGEBNISSE
Kompetenzen der Notebook Schüler*innen
- Informationsmanagement
- Teamarbeit
- Selbstorganisation
- Kompetenzüberzeugung
- Motivation

Nebenwirkungen/Gefahren

  • Schlechte Konzentrationsleistungen
  • Dauer der Nutzung -> Suchtverhalten
  • Verschlechterung der schulischen Leistungen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

PHASE 2
Wie sieht eine Arbeitsprobe aus?
Welche Kriterien gibt es für Teamarbeit?
Wie sieht der Fragebogen zu Prozess der Lernhandlung aus?

A

Outputmessung Schüler*innen-kompetenzen
Herausforderung -> hohe ökologische Validität, Stichprobenziehung, Klasseneffekte

ARBEITSPROBE
-> Organisationsaufgabe I
Vorgabe eines unstrukturierten Textes
Wie würden Sie an die Organisation prinzipiell herangehen?

-> Organisationsaufgabe II
Erarbeitung konkreter Produkte:
Arbeitsplan: Arbeits- & Zeitaufteilung
Informationsrecherche: per Internet, Linkliste
Präsentation: geplanter Ablauf für Direktorin
Mail: Info an US-Amerikanerinnen

KRITERIENKATALOG

a) Wie müssen einzelne Mitglieder einer Gruppe sein, damit die Teamarbeit gut funktioniert? (max. 5 Nennungen)
b) Wie muss die Gruppe arbeiten, damit die Teamarbeit gut funktioniert? (max. 5)

FRAGEBOGEN
Selbstorganisation & Motivation -> als Prozess

Handlungsphasenmodell nach Gollwitzer (1991)
-> Abwägen (Wert & Erwartung) -> Planen -> Handeln (Lernkompetenzen) -> Bewerten (Attributionsstil)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

PHASE 2

Wie sieht eine repräsentative Stichprobe der Notebook-Klassen aus?

A

Stratifiziert nach folgenden Kriterien:

  • Schultyp (4)
  • Dauer (1 od 2 Jahre)
  • Standort (9 Bundesländer)

Parallelisierte Vergleichsgruppe

INSGESAMT: 25 Klassen, 490 Schüler*innen

Datenerhebung vor Ort durch trainierte Mitarbeiter*innen Pädagogischer institute

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

PHASE 2
Wie sehen die Ergebnisse der Outputmessung aus?
Gibt es Klasseneffekte?

A 
Kompetenzen der Notebook-Schüler*innen
\+ Informationsmanagement
\+ Teamarbeit
X Selbstorganisation
\+ Kompetenzüberzeugung
X Motivation

X Nebenwirkungen/Gefahren

20 Schülerinne mit besten Ergebnissen in Output-Messung
-> zu 50% (10 Schülerinnen) aus 4 Schulklassen
p < .01 (Binomialtest)
–> KLASSENEFFEKT!

11 Mädchen & 9 Jungen -> kein signifikanter Unterschied
-> M im Mittel bessere Ergebnisse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

PHASE 3
Wie sieht die Prozessanalyse mit Extremgruppen in Bezug auf Organisation & Didaktik aus?

Workshop
Telefoninterview
Fragebogen
-> Stichprobe

A

Herausforderung -> Erhebungsmethode: valide, reliabel & ökonomisch

WORKSHOP Ergebnisse:
Organisation -> Schule, Klasse, Lehrkraft

TELEFONINTERVIEW mit Lehrperson:
- Vorbereitungs- & Implementierungsphase,
- Veränderungen im Unterricht,
- Lernhandlungen & Handlungsmöglichkeit,
- Bewertung & Verbesserungsmöglichkeiten
20 bis 60 min

FRAGEBOGEN für Schüler*innen
Einsatz des Notebooks
- Welche Aktivitäten in welchen Fächern?
- Welche Aktivitäten zu Hause?
Veränderungen im Unterricht & eigenem Lernverhalten?
Warum Entscheidung FÜR Notebook-Klasse?
-> gemailt, gesammelt von KV zurückgemailt (ANONYMITÄT)

STICHPROBE
8 ausgewählte Klassen = Extremgruppen

37 Lehrpersonen
Klassenvorstände, Lehrer*innen in Hauptfächern, Notebook-Verantwortliche

137 Schüler*innen

17
Q

PHASE 3

Wie sehen die Ergebnisse der Prozessanalyse aus?

A 
ERFOLGREICHE KLASSEN
Lehrpersonen & Schüler*innen -> selbstkritisch!
- Differenzierte Urteile
- Bereitschaft zum Perspektivenwechsel
- Weiterbildungsmaßnahmen

WENIGER ERFOLGREICHE KLASSEN

  • Probleme & Verbesserungspotentiale -> extern attribuiert
  • kaum Veränderungen des Unterrichts
18
Q

Wie sehen die Produkte der Evaluation aus?

A
  1. Präsentation der Ergebnisse
  2. Schriftlicher Evaluationsbericht
  3. Maßnahmenkatalog mit Empfehlungen zur
    - Implementierung
    - Didaktik
    von/in Notebook-Klassen
19
Q

Welche Aufgaben haben Evaluator*innen?

A
  • Gruppenmanagement, Moderationstechniken
  • Stichprobentheorie & -ziehung
  • Diagnostik, Testentwicklung, Testtheorie
  • Interviewtechniken
  • Inhaltsanalytische Techniken, Übereinstimmungsmaße
  • Studiendesign & statistische Auswertungsmethoden
  • Projektmanagement, Personalauswahl & -führung
  • Präsentation
  • Expertise in Inhaltsbereichen der Evaluation (Schlüsselkompetenzen, E-Learning)

Bildungspsychologie (10 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions