Kriterienkatalog

Question 1

Was ist ein Kriterienkatalog?

Answer 1

„Kriterienkataloge enthalten Zusammenstellungen
von Fragen und Einschätzungsskalen zur standardisierten Beschreibung und Beurteilung von Aspekten der technischen, inhaltlichen und
didaktischen Qualität von Bildungssoftware“

 Werden sehr häufig in der Evaluation und zur Qualitätsbeurteilung heran gezogen
 Meistens nur Checklisten
 Von ExpertInnen erstellt
 Meist auch Einteilung in Kategorien

Question 2

Was sind Vorteile von Kriterienkatalogen?

Answer 2

• Schnelle, rasche Beurteilung möglich
• Kostengünstig
• Übersichtlich
• Einheitliches Verfahren
• Vergleichbar
• Gegliedert

Question 3

Was sind Probleme von Kriterienkatalogen?

Answer 3

 Konzeptuelle Mängel
 Schwächen bezüglich Gütekriterien
 Anwendungsprobleme

Question 4

Was ist mit konzeptuellen Mängeln bei Kriterienkatalogen gemeint?

Answer 4

– Unschärfe des Begriffes „Qualitätskriterium” weil: oft Kriterien zusammengefasst werden
– Probleme der Standardisierung: unklar wann ein Kriterium als (nicht) erfüllt gilt
– technische Merkmale werden zu stark gewichtet
– Dominanz eindimensionaler Items
– Mangelnde Kontextbezogenheit
– Theoretische Orientierungslosigkeit
– Mangelnde Ganzheitlichkeit der Qualitätsevaluation

Question 5

Welche Schwächen haben Kriterienkataloge bezüglich der Gütekriterien?

Answer 5

– Geringe Beurteilerübereinstimmung
– Unklare Validität und Gewichtung der Kriterien
– Starke Abhängigkeit der Urteilsvalidität von der Expertise des Beurteilers
– Geringe praktische Signifikanz der Qualitätskriterien

Question 6

Was sind Anwendungsprobleme bei Kriterienkatalogen?

Answer 6

– Unhandlichkeit
– Mangelnde Gerichtetheit der Kriterien für spezifische Verwendungszwecke
– Mangelnde Anpassbarkeit von Katalogen an situative Gegebenheiten
– Informationsverlust durch zusammenfassende Bewertung
– Fehlende oder strittige Bewertungs- und Gewichtungsverfahren
– Fokussierung auf Stand-alone-Systeme

Question 7

Wie ist die Vorgehensweise bei der Erstellung eines Kriterienkatalogs?

Answer 7

 Evaluationsgegenstand wählen z.B. Webseite
 Evaluationsziele festlegen
 Daraus und aus der „Theorie“ Kategorien und Kriterien ableiten.
 Kriterien müssen operationalisiert werden z.B. Design. Was genau versteht man unter Design?
 Kategorien: Design
 Kriterien für Design: Farbgestaltung, Schriftgröße,
Schriftfarbe…
 Kriterien sollten so objektiv wie möglich sein, d.h. klar definiert und messbar sein!

Question 8

Welche Qualitäten eines Lernsystems kann eine Kriterienkatalogs messen? Was nicht?

Answer 8

Kriterienkataloge können Hinweise für die technische, didaktische und inhaltliche Qualität eines Lernsystems liefern, sind jedoch zur Beurteilung hinsichtlich Effektivität ungeeignet. Dabei sind empirische Methoden und die Einbeziehung von potentiellen Nutzern des Lernsystems im praktischen Einsatz notwendig.