H14 - Evalueren introduceren

Question 1

Welke settings zijn er m.b.t. evalueren?

Answer 1

1. Controlled settings with users
2. Natural settings with users
3. Any setting without users

Question 2

Benoem verschillen en overeenkomsten tussen de Cognitive Walkthrough en de Heuristieke Evaluatie.

Answer 2

1. C.W. is taakgericht, H.E. is hollistisch.
2. C.W. en H.E. zijn allebei vormen van Expert Reviews.
3. C.W. heeft vaste aantal vragen, H.E. heeft (vaste?) heuristieken om te beoordelen.

Question 3

Wat is het verschil tussen formatief en summatief evalueren?

Answer 3

Formatief is meer tussendoor pijlen hoe het zit (tijdens het ontwerpen), terwijl summatief meer het eindproduct controleert t.o.v. een meetstaaf (requirements, standaard, benchmark).

Formatief = low stakes, summatief = high stakes

Question 4

Wat is een Usability specification?

Answer 4

Een document waarin samengevat beschreven staat aan welke specificaties een product dient te voldoen, gebaseerd op verleden usability testing.

Question 5

Wat zijn kwantificeerbare meetbare dingen bij usability testing?

Answer 5

Boek p. 503:
1. Tijd om een taak af te ronden
2. Aantal fouten
Oefentoets uitwerking:
1. Tijd om een taak af te ronden
2. Aantal fouten per tijdseenheid

Question 6

Welke onderzoeksmethodes worden veel gebruikt bij gecontroleerde settings?

Answer 6

• Experiments
• Observaties
• Interviews
• Questionnaires

Question 7

Welke onderzoeksmethodes worden veel gebruikt bij natuurlijke settings?

Answer 7

• Observaties
• Interviews
• Interaction logging

Question 8

Welke onderzoeksmethodes worden veel gebruikt bij ongecontroleerde settings?

Answer 8

• Heuristieke evaluaties
• Cognitive walkthrough
• Analytics
• Modellen

Question 9

Benoem voor- en nadelen van gecontroleerde settings.

Answer 9

V:
- Kan specifieke zaken testen
N:
- Gebruikers zullen mogelijk onnatuurlijk gedragen

Question 10

Benoem voor- en nadelen van ongecontroleerde settings.

Answer 10

V:
- Onverwachte data kan worden verzameld.
N:
- Geen controle over wat getest kan worden

Question 11

Wat houden Opportunistische evaluaties in?

Answer 11

Vroegtijdig in het ontwerpproces feedback krijgen op een informele manier die weinig resources kost.

Question 12

Wat is een in-the-wild studie?

Answer 12

Een onderzoek waarbij gebruikers worden geobserveerd bij het gebruik van producten in een alledaagse context.

Question 13

Wat zijn 2 belangrijke zaken bij het regelen van participanten voor evaluaties?

Answer 13

1. Informeren over hun rechten.
2. Bias en betrouwbaarheid

Question 14

Wat is van belang bij het uitvoeren van evaluaties?

Answer 14

1. Betrouwbaarheid
2. Validiteit
3. Ecologische validiteit
4. Bias
5. Scope

Question 15

Wat hoort onder Betrouwbaarheid?

Answer 15

Het onderzoek levert dezelfde resultaten bij het precies nadoen van de beschreven methode.

Question 16

Wat hoort onder validiteit?

Answer 16

Meet de methode wat het hoort te meten?
- De methode zelf
- Hoe het is ingezet

Question 17

Wat hoort onder Ecologische validiteit?

Answer 17

Validiteit specifiek gericht op hoe de omgeving van een evaluatie de resultaten vervormt of beïnvloed.

Question 18

Wat is de Hawthorne effect?

Answer 18

Het effect van onderzoek op participanten wanneer zij weten dat zij meedoen aan een onderzoek.

Dit effect gaat uitsluitend over de effecten van het meedoen aan het onderzoek, niet het onderzoek zelf.

Question 19

Wat hoort onder Bias?

Answer 19

Selectief met de data of resultaten omgaan door persoonlijke meningen of ervaringen;
Data (deels) niet objectief beoordelen door subjectieve aspecten.
- Vragen anders stellen.
- Gezichtsuitdrukking
- Iets als niet belangrijk zien

Question 20

Wat hoort onder Scope?

Answer 20

Hoe erg gegeneraliseerd de verzamelde data kan worden.