Lecture 3: Summative Assessment, E-Exams, Architectures

Question 1

Can you explain the purpose and setting of E-Exams and give advantage and disadvantages for it?

Answer 1

Die Begrenzung der Tools einer schriftlichen Prüfung (“Limited Setting”) schränkt auch das Spektrum der möglichen Aufgaben ein. Durch Integration von Computern in Prüfungen kann man dieses “Limited Setting” auflösen und “echte” Kompetenzen testen.

Vorteile von E-Exams
- Verwendung von domänenspezifischen Werkzeugen, z.B. IDE, Excel, …
- Höhere Fähigkeiten testen, da die Werkzeuge die unteren Ebenen der
Bloom’s Taxonomy abdecken können, z.B. durch automatische Vervollständigung bei der Programmierung
Nachteile E-Exams
- Mit einem Computer werden einige Aufgaben in der Tat komplizierter, z. B.
Skizzieren/Zeichnen
- Abhängigkeit von der Infrastruktur

Question 2

How can we differentiate different kinds of e-exams? (Types of E-Exams)

Answer 2

Softwarearchitektur:
* Client-basiert: Ein spezielles Programm, wie ein VDI-Client oder Proctoring-Software, muss installiert sein.
* Web-basiert: Ein Webbrowser, wie der SafeExamBrowser, stellt die Benutzeroberfläche zur Verfügung.

Mögliche Aufgaben:
* Generisch: Aufgabentypen, die für mehrere Disziplinen gelten, wie Free Text oder Multiple-Choice.
* Spezialisiert: Aufgabentypen, die für eine spezielle Disziplin entwickelt wurden, wie die Programmierbewertung.

Prüfungsort:
* On-Campus: Persönlich überwachte Prüfungen im PC-Pool oder mit BYOD-Ansatz.
* Off-Campus (Remote): Überwachte Prüfungen, die einen BYOD-Ansatz nutzen.

Weitere Aufteilungen:
E-Prüfungen können synchron (Online Exam oder Classic E-Exam) oder asynchron (Exam On Demand), zentral oder dezentral durchgeführt werden

Question 3

Name different design alternatives for designing architectures of e-assessment systems.

Answer 3

1. Allgemeines Komponentenverhalten:
   
   • Passive Dienste: Das sind Teile des Systems, die einfach darauf warten, dass sie angesprochen werden.
   • Aktive Agenten: Hier handelt es sich um aktive Komponenten, die eigenständig agieren, wie ein Roboter, der von alleine Aufgaben erfüllt.
2. Bewertung einer Antwort:
   
   • Synchroner Push
   • Asynchroner Push
   • Asynchroner Pull: Das System “zieht” die Antworten erst bei Bedarf heran und bewertet sie dann.
3. Granularität des Bewerters:
   
   • Monolithisch: Ein großes, unteilbares System, das alles alleine macht.
   • Evaluator mit Unter-Komponenten: Das Bewertungssystem besteht aus kleineren Teilen, die jeweils spezielle Aufgaben übernehmen.

Know relevant standards for e-assessment systems.
* IMS-Spezifikation (QTI - Questions & Tests Interoperability):
* ProFormA (Strickroth et al., 2015):
* ProgSnap2 (Price et al., 2020)

Question 4

What should be considered in a room (Schulz, 2017)?

Answer 4

1. Klimatisierung
2. Verdunkelung und Beleuchtung
3. Akustik
4. Stromversorgung
5. Netzwerkanbindung
6. Anordnung der Prüfungsräume
7. Warte- und Anmeldebereiche
8. Toiletten und Sitze für behinderte Lernende
9. Ergonomie

(temporary or real) E-Asssessment Center, PC Pools

Question 5

Welche rechtlichen Aspekte sollten wir bei summativen Bewertungen berücksichtigen?

Answer 5

• Zulässigkeit gemäß Studien-/Prüfungsordnung
• Datenschutz & Privatsphäre
• Zuordnungsfähigkeit
• Nachvollziehbarkeit
• Integrität
• Gleichbehandlung
• Äquivalenz
• Anfechtungsschutz
• Schutz gegen Betrug

Question 6

What is proctoring and when do you proctor?

Answer 6

Proctoring bezieht sich auf die Überwachung von Prüfungen aus der Ferne über eine Webcam, einschließlich der Authentifizierung von Prüflingen und der sicheren Verwaltung von Tests (Foster, Laymann 2013). Verschiedene Prüfungen erfordern unterschiedliche Proctoring-Stufen: Seminararbeiten (keine), Open-Book-Prüfungen (möglich, aber so gestaltet, dass Betrug verhindert wird), Closed-Book-Prüfungen (normalerweise überwacht). Doch durch diese vielen Massnahmen kann es Datenschutzbedenken aufwerfen.

Question 7

Describe security challenges in E-Exams and approaches how to address these.

Answer 7

Herausforderungen:
* Zuverlässigkeit
* Schutz gegen Betrug
* Kosten der IT-Infrastruktur

Ansätze für E-Exams:
* Zentral verwaltete IT-Infrastruktur: Gut absicherbar, aber kostspielig.
* Leihgeräte & BYOD: Weniger finanzieller Aufwand, aber schwer zu sichern.
* BYOD von überall: Am flexibelsten, aber größte Sicherheitsherausforderungen.

Komponenten von E-Exams Server:
* Authoring-Tools und Korrekturwerkzeuge für den Prüfer
* Login-/Identifikationssystem für Studenten
* manipulationssicheres Speichersystem für Aufgaben und Antworten
* Werkzeuge für die Inspektion und Archivierung der Prüfung

Software Solutions für E-Exams:
1. Lockdown-Software (hard to implement): Beschränkt Geräte nur auf die auf der Whitelist aufgeführten Aktionen.
2. Monitoring und Logging: FLEX-Client-Software, um verdächtige Aktionen zu erkennen und aufzuzeichnen.
3. Virtuelle Desktop-Infrastruktur was auf dem Client PC läuft oder Remote Desktop Infrastructure was auf dem Server läuft aber auf den Client PC gestreamed wird.

Question 8

What are advantages and challenges of BYOD E-Exams?

Answer 8

Vorteile
* Kostenreduzierung (keine verwalteten Computerpools erforderlich)
* eigene gebrauchte Geräte als Arbeitsstation oder Thin Client verwenden

Herausforderungen
* Software erforderlich, die Einstellungen anpasst
* Hardware und System Vielfalt
* erfordert zusätzlichen Verwaltungsaufwand
* kann nicht in jedem Detail von Prüfern kontrolliert werden