Evaluationsforschung Flashcards

1
Q

Was ist eine gute Eva?

A
  • schlechte Fragestellung = schlechte Eva
  • Fragestellung muss präzise sein
  • Evabedarf muss bestehen
  • allg. Gütekriterien beachten
  • Evastandards einbeziehen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Allg. Gütekriterien nach Jäger

A
  1. Komplexität d Evagegenstandes
  2. Gültigkeitsbereich d Fragestellung
  3. Objektivierbarkeit (Dokumentierbarkeit, Erkennbarkeit, Bestimmbarkeit)
  4. Transparenz
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Evastandards

A
  • nach amerikanischem Vorbild
  • DeGEval
    1. Nützlichkeit
    2. Fairness
    3. Durchführbarkeit
    4. Genauigkeit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Evastandard: Nützlichkeit

A
  • Identifizierung der Beteiligten
  • Auswahl& Umfang der Infos
  • Rechtzeitigkeit der Eva
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Evastandard: Durchführbarkeit

A
  • angemessene Verfahren
  • diplomatisches Vorgehen
  • Effizienz v Eva
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Evastandard: Fairness

A
  • Schutz der indiv. Rechte
  • unparteiliche Durchführung
  • Offenlegung v Ergebnissen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Evastandard: Genauigkeit

A
  • Beschreibung d Zwecke/Vorgehens
  • sys. Fehlerprüfung
  • begründete Bewertung/Schlussfolgerungen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

3 Zielsetzungen v Evastudien

A
  1. Zustandseva
  2. Veränderungseva
  3. Wirksamkeitseva
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Zustandseva

A
  • Wie zufrieden sind Mitarbeiter*innen?
  • Fühlen sich Bewohner*innen sicher?
  • Welches Wissensniveau hat die Klasse?
    Ziel= Optimierungen ermitteln
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Veränderungseva

A
  • wie hat sich Gewalt an dt. Schulen verändert?
  • Wie hat sich das „wir-Gefühl“ verändert?
    Ziel=Veränderung/Entwicklung beschreiben& bewerten
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Wirksamkeitseva

A
  • War die Therapie erfolgreich?
  • War die Weiterbildung erfolgreich?
  • Konnte Konflikt beigelegt werden?
    (Transfererolg, Nachhaltigkeit, Nebenwirkung?)
    Ziel=Kausalität prüfen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Unterscheidung Wirksamkeit & Wirkung

A

Wirksamkeit = Output
- erreicht Maßnahme ihre Ziele?
Wirkung= Wirkmodell
- wie/wieso sollte Maßnahme wirken?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Welche 4 Evaansätze gibt es?

A
  1. ergebnisorientiert
  2. theorieorientierter
  3. akteurorientiert
  4. systemischer
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Ergebnisorientierter Evaansatz

A
  • konkrete kriteriumsbezogene Fragestellung (Akzeptanz Maßnahme/tech. Gerät)
  • konzentriert sich auf wenige ergebnisbez. Merkmale
  • Unterscheidung nach Evakriterium:
    1. wirksamkeitsorientiere Evamodelle
    2. effizienzorientiere Evamodelle
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

wirksamkeitsorientiere Evamodelle

A

Kriterium: Effektivität
- im Feld& Labor
- Nachweis, dass Maßnahme Wirkung entfaltet & Effekt erzielt
Bsp.: Unterrichtsmethoden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

effizienzorientiere Evamodelle

A

Kriterium: Effizienz
- Kosten& Nutzen ermitteln
Bsp.: AIDS-Präventonskampagne
- Evamodelle: Kosten-Nutzen-Analyse, Kosten-Effektivitäts-Analyse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

systemischer Evaansatz

A
  • ganzheitliche Betrachtung d Maßnahme
  • Evagegenstand untersuchen auf Prozesse und Umfeldbedingungen
  • Evamodelle: Multi-Facetten-Modell, CIPP-Evamodell
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

systematischer Evaansatz: CIPP-Evamodell

A
  1. Context-Eva (Was soll getan werden?)
  2. Input-Eva (Wie sollte es)
  3. Process-Eva (Wurde es)
  4. Product-Eva (War es erfolgreich?)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Theorieorientierter Evaansatz

A
  • Wirkmechanismen d Maßnahme untersuchen & modellieren
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Akteurorientierter Evaansatz

A
  • Interessen der Beteiligten im Mittelpunkt

- Evamodelle: klientenorientiertes & stakeholderorientiertes Modell

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Unterschied zw. klientenorientiertes & stakeholderorientiertes Modell

A

klientenorientiert:
- auf spez. Gr zugeschnitten
stakeholderorientiert:
- möglichst alle gleich einbeziehen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Phasen der Evaforschung

A
  1. INITIIERUNG (Ziele festlegen, Ausschreibung)
  2. KONZEPTION (Evabedigungen, Konzept, Standards, Vertrag)
  3. PLANUNG (Fragen& Hypos, Untersuchungs-& Projektplanung)
  4. REALISIERUNG (Datenerhebung, Analyse, Interpretation)
  5. ABSCHLUSS (Berichte, Metaeva, Publikation d Studie)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Phasen der Evaforschung: Problem der verdeckten Ziele

A
  • Überprüfung ohne detailliertes Ziel
  • Verantwortungsdelegation
  • Durchsetzungshilfe (Erwartungen bestätigen, unerwünschtes verhindern)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Evaluation vs. Evaforschung

A

Eva= Bewertung
- unabhängig v methodischen Regeln
- auch Einzelurteile
Evaforschung= Bewertung eines Evagegenstandes anhand v begründeten Kriterien &zuvor gestgel. Zielen
- Verwendung wiss. Forschmethoden &-techniken
- anwednungsbez. Teil d. Sozialforsch

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Abgrenzung Evaforsch zu Grundlagenforschung

A
Grundlagenforschung= Entwicklung & Überprüfung wiss. Theorien
Evaforsch= operiert meist stärker theorieanwendend als theorieentwickelnd
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Zeitpunkte der Eva

A
  • vorher:
    Diagnose1 (Wie ist es?) - Retrognose (Wie war es?)
  • Intervention
  • nachher:
    Prognose(Wie wird es sein?) - Diagnose 2 (Wie ist es?)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Eva-Kriterien

A
  • Wirksamkeit
  • Transfererfolg
  • Kosten-Nutzen-Bilanz(Effizienz)
  • Bedarf
  • Nachhaltigkeit
  • Akzeptanz
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Arten von Eva-forsch: Rahmenbedingungen

A

Eva im Feld vs. im Labor
parteilich vs. objektiv
geschlossen vs. offen
vertraulich vs. öffentlich

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

Arten von Eva-forsch: Ausrichtungen

A
  • Makro-Eva
  • Mikro-Eva
  • Programmeva
  • Input-Eva
  • Complience-Eva
  • Output-Eva
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
30
Q

Arten von Eva-forsch: Zeitpunkte

A
  • vor Maßnahme
  • währenddessen
  • nach Maßnahme
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
31
Q

Arten von Eva-forsch: Durchführungsmodi

A

intrinsisch vs. extrinsisch
intern vs extern
formativ vs summativ
vergleichend vs nicht-vgl

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
32
Q

Metaevaluation =

A

Eva der Evastudie durch Metaanalyse

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
33
Q

Warum sollen Fragebögen eingesetzt werden?

A

Vorteile gg-über Interview:

  • Vermeidung v. Interviewereffekten
  • überlegtere Antworten
  • höhere Motivation, wenn Zeitpunkt frei wählbar
  • Kosten-& Zeitersparnis
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
34
Q

Welche Aufgabe haben die Befragten und durch welche Maßnahmen kann ich sie unterstützen?

A

Aufgaben:

  • Frage verstehen
  • relevante Infos abrufen
  • auf Infobasis Urteil bilden
  • Urteil gg-falls in Antwort einpassen
  • privates Urteil gg-falls editieren vor Weitergabe

Maßnahmen:

  • temporal landmarks
  • vorweg Frage stellen, die Erinnerung fördert
  • Itemformulierung (neg. Formulierungen)
  • Tempo-Instruktion
  • Anonymität
  • soziale Erwünschheit bedenken
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
35
Q

Operationalisierung von Merkmalen: latent vs manifest

A
latent:
- theor. Konstrukt
- nicht direkt beobachtbar
- theor. Bedeutung ist erklärbedürftig 
(Intelligenz, Emotionen)
manifest:
- unmittelbar beobachtbar
- leicht feststellbar
- theor. Bedeutung eindeutig/bekannt
(Körpergröße, Alter)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
36
Q

psychometrische Skala =

A

Satz von Item, die als Indikatoren dazu dienen, gemeinsam ein latentes Merkmal zu messen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
37
Q

Vor- und Nachteile von Einzelitems & psychometrische Skalen

A

Einzelitems

  • Vorteil: max. Ökonomie
  • Nachteil: weniger messgenau
    psychom. Skalen
  • Vorteil: mehrere ähnliche Items messen 1 Merkmal/reliablere&validere Daten
  • Nachteil: aufwändiger
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
38
Q

Grobkonzept des Fragebogens

A
  1. FB-titel
  2. FB-instruktion
  3. inhaltliche Fragenblöcke
  4. stat. Angaben
  5. FB-Feedback
  6. Verabschiedung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
39
Q

Fragetypen

A
  1. offen vs geschlossen
  2. Selbstauskunft vs Testen von Leistungen
  3. Aussage, Frage oder Bewertung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
40
Q

10 Gebote der Frageformulierung

A
  • einfach, unzweideutig
  • kurz, nicht komplex
  • keine hypothetischen Fr
  • keine doppelte Verneinung
  • keine Unterstellungen
  • Infos abfragen über die viele verfügen
  • präzise Zeitangaben
  • klare Definitionen geben
41
Q

besondere Fragetypen

A
  1. Quantifizierungen (vage vs exakt)
  2. Einfluss d Vgl-richtung (Ausgangsbasis bekommt mehr Gewicht)
  3. Fiktive Fragen (bsp: Politiker*innen)
  4. Heikle Fragen (mögl. am Ende, Anonymität betonen)
42
Q

typische Fehler bei Fragebogenkonstruktion

A
  1. mangelnder Bezug zw Forschungsfrage & FB-items
  2. Merkmale d Zielgruppe nicht beachtet
  3. Items selbst entwickelt, obwohl etablierte/psychom. Skalen vorhanden
  4. Skalenniveau zu niedrig
  5. häufiger Wechsel d Antwortformats
43
Q

Ratingskalen: Skalenmarken

A
  1. verbale M.
  2. numerische M.
  3. symbolische M.
  4. grafisches Rating (selbst kreuzen,Schieberegler)
  5. Ankerbeispiele
44
Q

Ratingskalen: Anzahl von Stufen

A
  1. gerade vs. ungerade
  2. optimale Stufenanzahl (5-7/9)
    - zu wenige: undifferenzierte Urteile, max. Ordinalskalliert
    - zu viele: mühsam
45
Q

Ratingskalen: Welches Skalenniveau ist anzustreben und warum?

A

Entscheidungskriterium: Gleichabständigkeit

  • Ratingskalen meist als intervallskaliert aufgefasst
  • bei Zweifel: als ordinalskaliert betrachten
46
Q

Semantisches Differential

A
  • spezieller Typ d. psychom. Skala
  • 20-30 Ada-paare
  • Einschätzung auf bipolarer Ratingskala
  • Ziel: Messung der konnotativen Bedeutung beliebiger Objekte/Begriffe
  • Ergebnis: Profilverlauf für Urteilsobjekt
  • Bsp.: m/w
47
Q

Urteilsfehler beim Einsatz von Ratingskalen

A
  1. Antworttendenzen

2. Inhaltliche Verzerrungen

48
Q

Urteilsfehler beim Einsatz von Ratingskalen: Antworttendenzen

A
  • Tendenz zur Mitte
  • Tendenz zu Extremwerten
  • Tendenz zur ersten passenden Kategorie
  • “Mustermalen”
  • Antwortfehler durch Negationen
  • fehlende Antworten
49
Q

Urteilsfehler beim Einsatz von Ratingskalen: Inhaltliche Verzerrungen

A
  • unsystematische Fehler
  • sys Urteilsfehler
    (Halo-effect,Milde-Härte-Fehler, Primacy-Recency, Attributionsf., Self-Serving-Bias)
  • sys Urteilverzerrungen
    (soz. Erwünschtheit, Selbsttäuschung)
50
Q

Unterschied zw sys Urteilsfehler & sys Urteilsverzerrungen

A
  • Urteilsfehler: “wahre” Ausprägung unwillentlich unter-/überschätzt
  • Urteilsverzerrungen: mehr o weniger bewusst
51
Q

Likert-Skala

A
  • am häufigsten verwendet
  • mehrere Items messen dasselbe Merkmal
  • 5-stufige Ratingskala
  • ein- oder mehrdimensional
  • Skalenniveau: intervall
    Skalenkonstruktion:
    1. ITEM-KONSTRUKTION (ca. 100 Items, pos Items= hohe Ausprägung)
    2. SKALEN-PRETEST (Itemschwierigkeit,
    Trennschärfe,Korrelation, Kl.TestTheorie)
    3. ITEM-SELEKTION (10-20 Items, hohe Trennschärfe, untersch Itemschwierigkeiten, Faktorenanalyse)
    4. FINALE PSYCHOM. LIKERT-SKALA (Ausfüllanweisung, Angabe von neg. Items)
52
Q

Guttman-Skala

A
  • Items: Zustimmung o Ablehnung
  • strikt gestaffelt nach Itemschwirigkeit (modellkonformes Antwortmuster)
  • Gesamtscore: bejahte Items
  • aufwändiger als Likert-Skala
  • Reproduzierbarkeit= modellkonform: Bestimmung mit Liste d Zustimmungen
    Gesamtscore: Summe d bejahten Items
    + eindeutig zu interpretieren, viele geprüfte Skalen
  • sehr aufwändig
53
Q

Thurstone-Skala

A
  • mehrere Aussagen messen selbes Merkmal
  • Zustimmung o Ablehnung
  • Gesamtscore: Gewichtungsfaktoren der bejahten Items
    Konstruktion:
  • Erstellung Item-Pool
  • Experten-Rating als Gewichtungsfaktor
    Kritik: Willkür der Experten, kaum Rolle in Praxis
54
Q

Def.: Thurstone-Skala=

A

umfasst Zustimmungsitems (ja/nein), die dasselbe Merkmal erfassen und anhand von Expertenurteilen gewichtet werden.

55
Q

Def.: Likert-Skala=

A

wird aus einem Item-Pool (ca. 100 Items) entwickelt, die dasselbe Merkmal erfassen.

56
Q

Def.: Guttman-Skala=

A

umfasst Zustimmungsitems (ja/nein), die dasselbe Merkmal erfassen und strikt in ihrer Schwierigkeit gestaffelt sind.

57
Q

Warum ein Pretest?

A

Pretests dienen der Revision bzw. Optimierung des FB -> ungünstige Items selektiert, psychom. Kennwerte bestimmt, Dauer schätzen

58
Q

Qualitativer Pretest:Arten

A
BEOPRETEST
- 1-malige Befragung unter realistischen Bed
- Beo von Auffälligkeiten
- billig, schnell, aber grob, schlechte Fragen fallen nicht auf 
BEHAVIOR CODING
- strukturierte Verhaltensbeo
- Identifizierung v Fr-mängeln
- objektiv, reliabel, aber Ursachen unaufgeklärt, aufwändig
RANDOM PROBE
- Fr-verständnis überprüfen
- Zufällig (10%) abfragen
- Zusatzfragen=Probes (Bsp. nennen)
QUAL INTERVIEW
- Feedback in eigenen Worten
- Ideen, Hinweise, infos zu FB
INTENSIV-INTERVIEW
- Begründung von Antworten
- falschen Fr-verständnis aufklären
FOKUSGRUPPEN
- Frage für Frage durchgehen
59
Q

Kognitive Verfahren: Arten

A
LAUTES DENKEN
SYS PROBING
- Zusatzfragen zu best Items
SORTIEREN
- Begriffe kategorisieren
PARAPHRASIEREN
CONFIDENCE RATINGS
- Verlässlichkeit der Antwort bewerten
60
Q

Quantitativer Pretest

A

UNGÜNSTIGE ITEMS IDENTIFIZIEREN
- Varianz, Boden-/Deckeneffekte
PSYCHOM KENNWERTE BESTIMMEN
- Faktorenstruktur, Trennschärfe, Itemschwierigkeit, Reliabilität -> Itemanalyse

61
Q

Itemanalyse: Ziel

A

problematische Items entdecken & durch Modifikation/Eliminierung die Testgüte erhöhen

62
Q

Itemanalyse: Schritte

A
1. ERMITTLUNG V ITEM-KENNWERTEN
(Itemschwierigkeit, Itemvarianz, Trennschärfe)
2. FAKORENANALYSE
(Dimensionalitätsprüfung)
3. TESTWERTBESTIMMUNG
63
Q

Itemschwierigkeit: Def & Ziel

A
  • zu leichte Items: alle ja
  • zu schwere Items: alle nein
    Ziel: diskriminieren zw Personen, die Item lösen o nicht
64
Q

Itemschwierigkeit: Interpretation

A
  • Wertebereich 0-100
  • kleine Werte= schwer
  • große Werte= leicht
65
Q

Itemschwierigkeit: korrigierte Schwierigkeit

A
  • bei Leistungstests

- ???

66
Q

grafische Kontrolle d Boden/Deckeneffekte

A
Bodeneffekte= linkssteil (schwerer Test) 
Deckeneffekte= rechtssteil (leichter Test)
67
Q

Trennschärfe=

A

gibt an wie gut Item die Fäh misst, die Skala messen soll

Wie gut repräsentiert Item Skala?

68
Q

Trennschärfe: Berechnung

A
  • Korrelation v Item mit Summe der übrigen Items (Part-whole-Korrektur)
  • -1 ≤ rit ≤ 1
69
Q

Trennschärfe: Interpretation

A

Faustregeln:

  • ungeeignet: nahe 0
  • mittelmäßig: pos zw .3-.5
  • hoch: >.5
  • neg Items -> Umpolung?
70
Q

Trennschärfe: Itemselektion anhand der Kennwerte

A
  • hohe Var = hohe Differenzierungsfäh
  • Pi=50: differenzieren am besten
  • breites Merkmalsspektrum: .20≤Pi≤.80
  • min. .30
  • nahe 0/neg: Item entfernen
  • nahe 0: kann auf Mehrdimensionalität hinweisen
71
Q

Dimensionalität=

A

gibt an, ob Test mit Items ein globales oder mehrere Teilkonstrukte erfasst.

72
Q

Dimensionalität: explorative Faktorenanalyse

A

EINDIMEN TEST

  • Item-Interkorr kann auf 1 Faktor reduziert werden
  • Items laden hoch auf diesen Faktor
73
Q

Testwertbestimmung

A
  • Kriterien Itemseltektion (Schwierigkeit, Trennschärfe, Varianz, Dimen)
  • Eindimen (hohe Trennschärfe=1-dimen)
74
Q

Haupt-/Nebengütekriterien:

A

Hauptgütekrit:
Objektivität, Reliabilität, Validität
Nebengütekrit:
Ökonomie, Nützlichkeit, Fairness, Normierung, Skalierung, Zumutbarkeit, Unverfälschlichkeit

75
Q

Gütekriterien: norm- vs kriteriumsorientiert

A

normorientiert:
- Vgl mit Bezugsgr
kriteriumsorientiert:
- Vgl mit markanten Merkmalsausprägungen

76
Q

Gütekriterien: Objektivität

A
= unabhängig von Ort, Zeit, Auswerter 
DURCHFÜHRUNGSOBJ
- Standardisierung, um Störeinflüsse zu minimieren
- Konstanz d Fragen/Aufgaben
- Angabe der Dauer
- Festlegung d Instruktion
AUSWERTUNGSOBJ
- Kodierung der Antworten
INTERPRETATIONSOBJ
- klare, anwednerunabhäng Regeln für Testwertinterpretation
77
Q

Allg. Gütekriterien: Nebengütekriterien

A
ÖKONOMIE
- wenig finanz. Ressourcen
NÜTZLICHKEIT
- praktische Relevanz/ Nutzen
ZUMUTBARKEIT
- zeitl, phys & psych für Vpn
FAIRNESS
- keine sys Benachteiligung 
UNVERFÄLSCHLICHKEIT
- faking vermeiden
- soz. Erwünschtheit beachten
SKALIERUNG
NORMERUNG
78
Q

Reliabilität=

A

Grad der Genauigkeit mit dem das geprüfte Merkmal gemessen wird
(Messgenauigkeit, Zuverlässigkeit)

79
Q

Reliabilitätskoeff=

A

Ausmaß der Reliabilität eines Tests

  • 0≤Rel≤1
  • Rel=1: frei v Messfehlern
  • Rel=0: Ergebnis nur durch Messfehler
80
Q

4 Methoden der Reliabilitätsschätzung

A
  1. Interne Konsistenz (Chronbachs Alpha)
  2. Retest-Reliabilität
  3. Paralleltest-Reliabilität
  4. Testhalbierungs-Reliabilität (Split-half)
81
Q

Interpretation Cronbachs α

A
hoch, wenn:
- Items pos korrelieren
- Itemanzahl zunimmt
negativ, wenn:
- Items neg korrelieren
- Reliabilität = 0
- Kodierungsrichtung falsch
- Items inhaltlich verschiedenes messen
82
Q

Validität=

A

liegt vor , wenn der Test das Merkmal, was er messen soll, auch wirklich misst.

83
Q

Formen von Validität:

A

AUGENSCHEIN
=gibt an inwieweit der Gültigkeitsanspruch vom bloßen Augenschein her einem Laien gerechtfertigt erscheint
- Akzeptanz v Test vonseitens der Vpn
INHALTS
=wenn Items so konstruiert sind, dass interessierendes Merkmal repräsentativ abbgebildet wird
KRITERIUMSVAL
=wenn von Testwert erfolgreich auf Kriterium extraploriert werden kann
- Test-Kriteriums-Korrelation
nicht an testtheor Annahmen gebunden
KONSTRUKTVAL
=wenn Zsm-hangsstruktur zw Items & Merkmal wiss fundiert ist
-Prüfung durch 1. struktursuchende &
2.-prüfende Verfahren
1.Dimensionalität, nomologisches Netzwerk,emp Prüfung (Un)Ähn-k zu Tests
2. inferenzstat Prüfung

84
Q

Validität: Konstruktvalidität: konvergente vs diskriminierende Validität

A

KONVERGENTE VAL:
- Übereinstimmung mit konstruktverwandten Merkmalen
DISKRIMINIERENDE VAL:
- Abgrenzung zu konstrukfremden Merkmalen

85
Q

4 Haupttypen von Versuchsplänen

A
  1. Exp Designs
  2. Quasi-exp Designs
  3. Ex post facto-Designs
  4. Korrelative Designs
86
Q

Exp Designs: 4 Arten v Versuchsplänen

A
Kausalschlüsse möglich
- Versuchspläne mit Zufallsgr-bildung
(Btwn-Designs, 2/mehrstichprobenVpläne)
- V-pläne mit wiederholten Messungen
(Within-Designs)
- V-pläne mit Blockgr-bildung
- Mischversuchspläne
87
Q

Between-Designs (Exp Designs)

A

+gleiche Ausgangsbed, Störvs balanciert, Ramdominisierung

- große Stichprbe notwendig

88
Q

Within-Designs (Exp Designs)

A

+kleine Stichprobe mögl. (ökonomischer), “Rauschen” zw exp. Bed eliminiert
- Effekte d Testübung (Zeit lassen, Abfolge variieren)

89
Q

Versuchspläne mit Blockgruppenbildung

A

+kleine Stichprobe mögl., Ausgangsuntersch geringer

- Muss: Kenntnis der StörVs, gr Aufwand

90
Q

Mischversuchspläne

A
  • Kombi aus between&within-Designs

- Untersuchung von Wechselwirkungen zw Faktoren

91
Q

Interne Validität=

A

wenn 1. Messwerte d AV eindeutig auf UV zurückzuführen sind 2. keine wiss Alternativerklärungen mögl sind
-> je besser StörVs kontrolliert werden, umso höher interne Vali

92
Q

Externe Validität=

A

wenn Ergebnisse verallgemeinern lassen
STICHPROBENREPRÄS (andere Personen)
KONSTRUKVALI (andere Operational.)
SIT-REPRÄS (andere Orte/Zeiten)

93
Q

Bedrohungen externe Vali

A

Wechselwirkungen d Kausaleffekts mit

  1. Vpn (untersch Pop nutzen)
  2. Treatmentbed. (untersch Settings)
  3. AVs (mehrere Operat. berücksichtigen)
  4. kontextabh. Mediatoreffekte (Kultur)
94
Q

Bedrohungen internen Validität

A
  1. Reifung (Kontrollgruppe)
  2. Selektionseffekte (Randomninisierung)
  3. Ausfalleffekte (bei Interpret einbeziehen)
  4. mehrfache Testung (untersch Aufgaben, um Testübung auszuschließen)
95
Q

Kontrolltechniken für personenbez. Störvariablen

A
  1. Konstanthalten (gleiche Klassengr)
  2. Messwiederholung (Pre/Posttest)
  3. Matching (gepaarte Stichproben)
  4. StörV als KontrollV
96
Q

Kontrolltechniken für untersuchungsbed. Störvariablen

A
  1. Ausschalten (untersch Ablauf verhindern)
  2. Konstanthalten (Umgebung gleioch halten)
  3. Registrieren (wenn 1.o 2. nicht möglich)
97
Q

Was zeichnet gültige Designs aus?

A
  • Experimentalgruppe
  • Vorher-Nachher-Prüfung an mehr als 1er Versuchsgr
  • Randominisierung
98
Q

Gütekriterien=

A

Qualitätsbeurteilung an wiss. Datenerhebungen & Analysen