Kap. 3 - Experimental design

Question 1

Hva er forskjellen på eksperiment, kvasi-eksperiment og ikke-eksperiment?

Answer 1

True experiment = når et studie har flere C og deltakere får disse tilfeldig tildelt.

Kvasi-eksperiment = når et studie har flere C, grupper, deltakere, men deltakerne ikke får disse tilfeldig tildelt.

Ikke-eksperiment = når det kun er én observasjonsgruppe eller én måling

Question 2

Hvilke hovedproblemer må adresseres ved design av eksperimenter?

Answer 2

Man må vite målet for eksperimentet for å finne ut hvilken måling som egner seg best. Må også vite hvordan å kontrollere IV’ene for å skape flere C.

Question 3

• Hvordan bestemmer man the basic design structure til et eksperiment?

Answer 3

Ved å svare på følgende:

• Hvor mange IV’er vil vi undersøke?
• Hvor mange verdier har hver IV?

Question 4

Hva er between-group design? + og -, og når brukes det?

Answer 4

Hver deltaker er kun involvert i én C. Antall deltakergrupper korresponderer med antall conditions.

+ Enkelt, clean design
+ Unngår læringseffekt og fatigue
+ Tidseffektivt ifht WG
+ Faktorer (som frustrasjon) kan kontrolleres

• Type II errors sannsynlig
• Krever store testgrupper
• Individforskjeller i de ulike gruppene

Brukes når

• enkle oppgaver med begrenset påvirkning av individuelle forskjeller
• Når exp ville blitt påvirket av læringseffekt
• Sammenlikning av feks. noviser og eksperter i BG = umulig, da man ikke kan være begge deler samtidig

Question 5

Hva er within-group design? + og -, og når brukes det?

Answer 5

Kun én deltakergruppe for hele eksperimentet - alle deltakere utfører alle C.

+ Krever få deltakere, trenger ikke ta hensyn til individuelle forskjeller
+ Redusert kostnad og ressursbruk

• Læringseffekt og fatigue

Brukes når

• ved oppgaver med store individuelle ulikheter, som er mindre utsatt for læringseffekt.
• ved exp som er mer kognitivt krevende pga. isolerer indiv.ulikheter fra hovedeffektene (x: C lik i vanskelighetsgrad men ulikt innhold (lese to tekster med ulik font))

Question 6

Hva er fordelen med factorial design ifht exp som undersøker én faktor om gangen?

Answer 6

At man kan undersøke flere IV samtidig, og hvordan flere IV’er kan innvirke som gruppe på DV.

Question 7

Hva er split-plot design?

Answer 7

En blanding av BG og WG-komponenter. én/flere variable undersøkes gjennom BG og de andre med WG.

X: to IV’er: Aldersgruppe og bruk av GPS (6 C). Alder undersøkes gjennom BG pga. kan kun tilhøre en aldersgruppe, og GPS gjennom WG, da alle deltakerne kan utføre oppg. med og uten GPS

Question 8

Hva er forskjellen på random errors og systematic errors?

Answer 8

Begge er error som reflekterer til svingninger i exp pga. mennesker.

random errors oppstår tilfeldig og er ikke relatert til den faktiske verdien. Dytter observert verdi opp og ned rundt faktisk resultat.

Systematic errors dytter alltid observert verdi i samme retning, utligner ikke slik som i RE. Reduserer reliabiliteten til exp resultat voldsomt

Question 9

Hva er hovedkildene til systematic errors og hvordan redusere?

Answer 9

1. Måleinstrumenter (stoppeklokke som måler feil etc)
   - Undersøke instrumenter før bruk, bruke SW-drevene instrumenter.
2. Bias fra eksperimentprosedyre (påvirkes av læringseffekt?)
   - Randomisert rekkefølge på C, oppgaver etc. ved exp som bruker WG/Split-plot.
   - Pilottesting
   - Skriftlige dokumenter
3. Bias fra deltakere (tidligere erfaring etc)
   - Rekrutere deltakere nøye, stressfritt miljø
4. Bias fra eksperimentører (ulike instrukser, ID etc)
   - Tilby opplæring, ha alt klart på forhånd, dokumenterte instrukser

Question 10

Beskriv typisk prosedyre for HCI-eksperimenter

Answer 10

1. Lag forskningshypotese
2. Spesifiser design for studien
3. Pilottest design, system, instrumenter
4. Rekruter deltakere
5. Kjør datainnsamling
6. Analyser dataen
7. Rapportert dataen