Forskningsdesign og - metoder i praksis: Interview, spørgeskemaundersøgelser, observationsstudier, analyse af medieindhold, compuerstøttet indholdsanalyse, og eksperimenter

Question 1

Hvorfor vælge spørgeskemaer?

Answer 1

Styrker:
- Undersøgelser af holdninger og viden, som ikke kan observeres direkte.
- Man kan stille spørgsmål til mange respondenter med begrænset tidsforbrug
- Spørgsmålene er standardiserede (alle får samme spørgsmål, svarmuligheder, osv.), så de nemt kan sammenlignes på tværs af respondenter (og nemt gentageligt)
- Man kan spørge en stikprøve af sin population og lave statistisk generalisering til populationen.

Svagheder:
- Undersøgelser af adfærd hvilder på respondenternes egen opfattelse af adfærd (+social desirability)
- Det er begrænset, hvor mange spørgsmål man kan få folk til at svare på, fordi de oftest ikke gider at bruge meget tid på lange spørgsmål.
- Opfølgende spørgsmål er ikke muligt, man kan ikke svare “uden for boksen”, og man er ikke sikker på forståelsen, hvis spørgsmålene er dårligt formulerede.
- Man kan ikke gå dybere ned i respondentens tanker og refleksioner (bredde fremfor dybde).
- Stikprøve- og dækningsfejl: når for få mennesker undersøges, og når visse dele af populationen ikke kontaktes (e.g. internetmangel). Målingsfejl: e.g. hvis spørgsmålene er dårligt formuleret.

Question 2

Spørgeskemaets faser

Answer 2

1. Udvælgelse af deltagere
2. Udarbejdelse af spørgeskema
3. Dataindsamling
4. Opgørelse af svarprocent

Question 3

Udvælgelse af deltagere

Answer 3

• Det kommer an på forskningdesignet
  Hvis vi vil sige onget om populationen, kan vi:
• Spørge hele populationen
• Spørge en sandsynlighedsbaseret stikprøve
  Hvis ikke, så kan man anvende en ikke-sandsynlighedsbaseret stikprøve:
• Det begrænser vores konklusioner
• Husk dog: Eksperimenter har ikke nødvendigvis behov for repræsentativt sample. Her er det randomiseringen ind i grupper, der er det væsentlige.

Question 4

Potentielle udfordringer ved spørgeskemaer

Answer 4

Respondenterne skal ved hvert spørgsmål:
- Forstå og fortolke spørgsmålet (kan give empiriske problemer - hvordan fortolkes “af og til” og “sjældent” - overlap).
- Hente oplysninger i hukommerlsen, som skal bruges til at svare på spørgsmålet
- Svare i henhold til de svarkateorier, der er defineret.

Question 5

De fundamentale spørgsmål

Answer 5

• Måler vi faktisk det, vi gerne vil måle? (har vi de rigtige indikatorer for det overordnede målingsbegreb?)

Spørgeskemaundersøgelser har den styrke, at man kan spørge mange om nøjagtigt det samme. De skal være så ensrettet som muligt. Det betyder, at der skal overlades så lidt til fortolkning som muligt til respondenten.

• Måler vi det på en konsistent måde?
• Spørgsmål - hvilke og hvordan?
• Svarkategorier/-muligheder (og måleniveauer)

Question 6

Svarkategorier

Answer 6

• Skal være dækkende
• Skal være gensidigt udelukkende
• Man skal overveje, hvor præcise svarene er
• Man skal overveje, hvilke muligheder der er for analyse
• Balancerede/symmetriske svarkategorier er ofte en fordel
• En “ved ikke” kan være godt.

Question 7

Spørgsmål

Answer 7

undgå:
- ledende spørgsmål, der har indbyggede antagelser
- værdiladede spørgsmål
- Dobbeltløbede spørgsmål

Brug enten lukkede eller åbne spørgsmål (lukkede svar, eller uddybende svar). Har hver sine fordele.
Overvej, om en “ved ikke”-kategori skal med.

Question 8

Rækkefølgeeffekter

Answer 8

spørgsmål, der f.eks. leder op til et spørgsmål omkring en overordnet vurdering af noget kan påvirke i begge retninger. Dette kan lede til målingsfejl. Eksempelvis:

• konsistensfejl
• Fokuseringseffekt
• Trækningseffekt
• Betydningseffekt (s. 126-127)

Question 8

Rækkefølgeeffekter

Answer 8

spørgsmål, der f.eks. leder op til et spørgsmål omkring en overordnet vurdering af noget kan påvirke i begge retninger.

Rækkefølge af spørgsmål:

• Overvej at begynde med de mest interessante spørgsmål for respondenten
• Baggrundsspørgsmål er væsentlige, så pas på med at stil dem til sidst, hvis spørgeskemaet er langt
• Sørg for, at strukturen på spørgeskemaet ikke er forvirrende og pas på rækkefølgeeffekter (og framing af spørgsmål).

Question 9

Råd om formuleringen af spørgsmål

Answer 9

Vær præcist!
Frame ikke!
Lav ikke ledende spørgsmål!

• stil enkle og præcise spørgsmål
• Hjælp med at definere, hvad der menes med begreber, som er åbne for fortolkning.
• Undgå svære ord. Overvej formuleringer og ordvalg i forhold til målgruppen for undersøgelsen.
• Undgå at spørge om flere ting ad gangen
• Undgå implicitte antagelser
• Undgå ledende spørgsmål og værdiladede ord
• Overvej, hvad respondenterne kan huske, og hjælp respondenten med at huske tilbage
• Sørg for, at svarkategorierne er dækkende
• Sørg for, at svarkategorierne er gensidigt udelukkende og som regel gerne balanerede/symmetriske, nåd der svares på en skala.
• Tjek spørgsmålsformuleringen i tidligere undersøgelser, og gentag dem, hvis de fungere godt. Det giver også mulighed for at sammenligne aktuelle svar med svar i tidligere undersøgelser.

Question 10

Måleniveauer

Answer 10

• Enhver variabel har et måleniveau
• Det afgør, hvilken analyse

Typer:
Nominal:
- Kan ikke rangordnes
- Værdierne er blot navne (-> nomen)
- F.eks. køn, nationalitet, parti.

Ordinal:
- Kan rangordnes
- Men der er ikke lige langt mellem de mulige værdier
- F.eks. senest afsluttede uddannelse eller “enig”, “meget enig” osv.

Intervalskaleret:
- Kan rangordnes
- Der er lige langt mellem de mulige værdier
- F.eks. indkomst i kroner, afstand i meter, år på arbejdsmarket.

Question 11

Kvantitativ indholdsanalyse

Answer 11

• Når man systematisk vil undersøge et større materiale (tekst, video, lyd)
• Når man vil finde og generalisere mønstre i indhold
• Fordel: Kan håndtere en stor tekstmøngde, og man kan teste hypoteser
• Ulempe: Man er bundet til sine kategorier, og det kan være svært at indfange dybere variationer i betydningen af en tekst.
• Man lærer meget om at arbejde systematisk med målingsvaliditet og reliabilitet.

Indholdsanalysens skridt (se næste cards):
- Hvilke aspekter af indholdet skal undersøges?
- Hvilket indhold skal undersøges?
- Skabe en kodebog/kodemanual med instruktioner for alle variabler - så man har en struktureret, ensrettet kode.
- Kode indholdet
- Analysere indholdet

Husk: det er en fordel at kode sin data så detaljeret som muligt til at starte med - man kan altid bevæge sig højere op!

Question 12

Aspekter af indholder

Answer 12

• Vores problemformulering (det, vi gerne vil undersøge) er styrende for, hvilke aspekter af indholdet vi gerne vil undersøge
• I princippet kan vi tælle alle vokaler i en række artikler, men det giver kun mening, hvis vi vil vide noget specifikt om brugen af vokaler.
• Hvis vi vil undersøge tonen i politikernes valgkampagner, så skal vi kode deres udsagn i forskellige kanaler, hvor de fører kampagne.
• Hvis vi vil undersøge, hvordan medierne dækker politiske reformer af velfærdsstaten skal vi kode indholder for, hvodan reformer fremstilles i medieindhold (framing, kildebrug og tone).

Undersøgelsesformålet (hvad vi er interesseret i) er styrende for, hvad og hvordan vi analyserer.

Question 13

Hvilket indhold skal undersøges?

Answer 13

• Det afhænger også af vores problemformulering (det, vi vil undersøge)
• Hvis vi vil undersøge tonen i politikernes valgkampagner, skal vi sample indhold fra de kanaler, som de anvender (nyhedsmedier, sociale medier, annoncer, pressemeddelelser m.m.), og i valgkampsperioden.
• Hvis vi vil undersøge nyhedsmediernes brug af tænketanke som kilder, skal vi sample det generelle nyhedsindhold.
• Samme principper som for sampling og casevalg, som andre metoder
• Ofte systematisk tilfældig udvælgelse, fordi det i praksis også stratificerer ugedagene.

Question 14

Skabe en kodebog

Answer 14

Variablerne skal defineres, kategoriseres og nummereres.

Question 15

Kode indholdet

Answer 15

Tekst skal omsættes til helt faste kategorier, der omsættes til tal i et skema. E.g., variablen er mediet (hvor DR er 1 og TV2 er 2), og medierne inddeles i talkategorier.
Dernæst kunne man lave indslag fra DR henover tid (2022 er 1, 2019 er 2, osv. i et spørgeskema (efter at have defineret begrebet fra repræsentative spørgsmål) kunne ja være 1 og nej 0 - derefter kan man finde summen for spørgsmålene, og konkludere derfra.

Question 16

Analysere indholdet

Answer 16

Udfra skemaet - lav indekstal for at finde ud af, hvor meget de forskellige variabler fremkommer - sammenlign derefter indextallet fra de to grupper af begreberne, du vil måle. Det kræver gode variabler, der kan begrundes. Der efterlades selvfølgelig lidt til fortolkning.
Der er også forskerens ansvar, at argumenterer for definitionen af begreberne, e.g. bias, og hvordan det skal måles (målingsvaliditet).

Question 17

Reliabilitet i indholdsanalyse

Answer 17

Pilotstudie: prøvekoder en mindre del af sit materiale for derved at undersøge, om man har beskrevet sine kodekategorier godt nok, og om der er dækkende.

man udføre en interkoderreliabilitetstest
- To eller flere kodere koder det samme materiale (som regel en andel af det samlede matierale)
- Man sammenligner, hvor meget overensstemmelse der er mellem koderne
- En høj overensstemmelse indikerer, at vores måling er konsistent
- Interkoderreliabilitet kan beregnes på: dfreelon.org/utils/recalfront/

Alternativt kan man lave en intrakoderreliabilitetstest
- Man koder selv, med et tidsmæssigt mellemrum, noget af materialet to gange og sammenligner derefter.

Hvis man af praktiske og tidsmæssige årsager undlader testen, skal man diskutere hvorfor og samtidig klargøre, hvordan man har arbejdet hen mod konsistens.

Question 18

Krippendorffs alpha

Answer 18

Se billedet i PDF

Question 19

Panel- og tværsnitsundersøgelse

Answer 19

En panelundersøgelse følger de samme respondenter over tid for at undersøge, hvordan de ændrer holdninger eller egenskaber.

En tværsnitsundersøgelse er en spørgeskemaundersøgelse, der kan gentages i forskellige lande eller på forskellige tidspunkter.

Question 20

Dataindsamling og forskeradfærd

Answer 20

Kan være (s. 131):
- personlige interview ansigt til ansigt
- telefon interview
- Selvudfyldelse på papir
- selvudfyldelse på internettet

Husk (s. 133):
- at lave et indbydende invitationsbrev
- at sikre respondenternes anonymitet
- at sige, hvor lang tid spørgeskemaet tager at udfylde

Question 21

Udregning af svarprocent

Answer 21

Mange bortfalder fra undersøgelser, og derfor kræves det, at der er en valid svarprocent (mængde af deltagere). Udregnes:

Dividere antallet af respondenter, der har svaret, med det totale antal af respondenter i stikprøven eller populationen.

Question 22

Brugbare sider

Answer 22

Mediastream
Infomedia
LexisNexis (og Wiso)
Random.org
Statens Mediesamling (fysisk på Statsbiblioteket i Aarhus)
NVivo
SPSS (PSPP) og Stata

Danmarks Statistik (DST)
- Vær opmærksom på selve statistikken - konknluder ikke uden at læse ordenligt efter og sammenligne med andre statistikker (husk perioder, der vælges)
- Aldrig statistikker på enkeltpersoner eller -virksomheder. Tabeller
- Ring gerne for hjælp.

Question 23

Frekvenstabeller

Answer 23

En univariat analyse (analyse af én variabel)
En frekvenstabel er en simpel optællling og gruppering af svar/kodning (variabler) eller andet.
Formålet er at skabe overskuelighed over dataen (svarene) (f.eks. en meningsmåling der viser, hvor mange procent der vil stemme på et bestemt parti (univariat).

• vi lister alle vores værdier og ser, hvor ofte de optræder
• Eventuelt i intervaller (gensidigt udelukkende) (inddel i intervaller/kategorier bagefter - så præcist som muligt, f.eks. spørg “hvor gammel er du?”).

-Terminologi:
- Absolut frekvensfordeling (antal) (rå tal)
- Relativ frekvensfordeling (procent)
- - Procent inkludere alle (selv dem, der ikke har afgivet svar), valid procent er procenten uden de “respondenter”.
- - Kumulative procent: lægger procenter sammen række per række (ikke særlig nyttig - ikke simpel). Lav egen tabel (ikke SPSS).

• Kan danne baggrund for figurer, der kan illustrere resultaterne (cirkel-, søjle- eller kurve-diagram)
• Frekvenstabellerne skal laves til grafer/diagrammer, så enhver kan forstå dem. Tabeller og figurer skal være selvforklarene. Tekst og graf skal kunne forstås hvert for sig. Der skal oplyses hele spørgsmålsforklaringen, hvor mange der har/ikke har deltaget.

Question 24

Forenkling af data

Answer 24

Journalistikken mål - forenkle, sammenfat, gør det intuitivt og letforståeligt at læse dataen for læseren.

Omkodninger af variabler:
- Omkodninger kan være vigtigt
- Hvis man gerne vil forenkle en variabel: f.eks. kommunevariablen fremfor alle beboere i et.
- Ananas på pizza: fire kategorier: Hell no, helst ikke, det går an og yes sir. Disse kan lægges sammen: f.eks. lægge hell no og helst ikke sammen til en “negativ” kategori, og det går an og yes sir til en positiv kategori.
- Hvis man vil vende en variabel om: f.eks. helt uenig=1 og helt enig=5 eller omvendt. Eller ja=1 eller nej=0 eller vice versa.
- Som regel er det bedst at skabe en helt ny variabel.

Question 25

Krydstabeller

Answer 25

Bivariat analyse
- Analyse af kombinationen af to (eller flere) variabler
- Oftest sat op i krydstabeller (kryds af to variabler - to informationer sammen, som muliggøre en sammenligning).
- Bruges ofte til at belyse mulige (årsags-) sammenhænge mellem to variabler. F.eks. Køn påvirker politisk holdning.

Kolonnevariablen
- Den uafhængige variabel
- Årsagsvariablen

Question 26

Krydstabeller

Answer 26

Bivariat analyse
- Analyse af kombinationen af to (eller flere) variabler
- Oftest sat op i krydstabeller (kryds af to variabler - to informationer sammen, som muliggøre en sammenligning).
- Bruges ofte til at belyse mulige (årsags-) sammenhænge mellem to variabler. F.eks. Køn påvirker politisk holdning.

Krydstabeller: Konventioner for opbygning
Kolonnevariablen
- Den uafhængige variabel
- Årsagsvariablen

Rækkevariablen:
- Den afhængige variabel
- Effektvariablen

Procentuér i den uafhængige variabels retning: sammenligning på tværs

Question 27

Grafer

Answer 27

Enheden på y-aksen kan ændre historien markant.

Question 28

Deskriptive mål

Answer 28

Mål for den centrale tendens:
- Typetal (modus, mode)
- Median
- Gennemsnit, middel (mean)

Question 29

Typetal

Answer 29

• Typetal kan bruges til at analysere tendenser i variabler uanset måleniveau
• Den hyppigst forekommende værdi på en variabel.

Question 30

Median

Answer 30

• Den værdi den midterste enhed har, når data rangordnes efter værdier
• Kan findes ved at udregne den kumulative procent (kan sættes ind på x-akse) og aflæse den (første) værdi, som “går” over 50 procent.
• I tilfælde med ekstreme variabler, outliers, fortæller medianen mere end gennemsnittet.

Question 31

Mean

Answer 31

Sum/n - gennemsnit.

Question 32

Konfidensintervaller

Answer 32

• Den statistiske usikkerhed på et estimat beregnet ud fra en stikprøve
• Vi kender (som oftest) ikke værdien i populationen (derfor stikprøve)
• Hvor stor en andel ville stemme på S i morgen?
• Estimatet fra vores stikprøve er vores bedste bud, men vi
  ved, at det er forbundet med usikkerhed, når vi estimerer ud
  fra en stikprøve
• Vi kan beregne et interval, hvori vi med en vis sikkerhed (konfidensniveau, som regel 95% - det beslutter vi selv.) kan sige, at værdien i populationen vil ligge indenfor
• S i en meningsmåling på DR: 28% +/- 2,2 (normalt 1.96)
  – konfidensinterval 25,8-30,2%
  A 95% confidence interval for the standard normal distribution, then, is the interval (-1.96, +1.96), since 95% of the area under the curve falls within this interval.
• Jo flere vi spørger til undersøgelsen, des mere sikker bliver vi (dog stiger sikkerheden langsomt efter vi når 1000 respondenter, fordi 1000 respondenter har større sandsynlighed for at afspejle og inkludere mennesker fra det virkelige samfund - alle har lige stor chance for at blive inkluderet i undersøgelsen (selvfølgelig med et godt repræsentativt sample)).
• Hvis vi spørger 1000 respondenter og laver 1000 meningsmålinger, vil vi højest sandsynligt ramme den sande værdi.
• Jo flere vi har i vores stikprøve, jo smallere er vores konfidensinterval.
• Konfidensintervallerne er bredere, hvis vi vil have et højere konfidensniveau (eksempelvis 99%).

Beregning af konfidensinterval:
konfidensintervel=stikprøveprocent +/- z * kvdrod af stikprøvepct.*(100-stikprøvepct.)/stikprøvestørrelse
e.g.:
- S i måling på DR
- Stikprøveprocent=28%
- Z= 1.96 (=95 procent sikkerhed)
- Stikprøvestørrelse 1634 (se PP)

Standard afvigelse (Z - standarden er 1.96) afhænger af undersøgelsens statistikker. Hvis vi tager en anden konfidensniveau, har vi et andet standard afvigelse. Se PP (lek2 desk stat) for udregning.

Beregn på en-undersoegelse-viser.dk/beregn-usikkerhed-2/

Question 33

Stikprøven

Answer 33

• Stikprøven skal være tilfældig (sandsynlighedsbaseret)

Question 34

Sammenligning (check PP)

Answer 34

• Sammenligning af en andel i en stikkprøve med en andel i populationen
• Sammenligning af en andel i en stikprøve med en anden andel i samme stikprøve
• Sammenligning af to andele fra to forskellige stikprøver.
• Hvis konfidensintervallerne ikke overlapper, kan vi sige, at der er en statistisk signifikant forskel. Hvis overlapperne, så er der ikke (baseret på konfidensintervallerne). F.eks. to partiers størrelse i meningsmåling. hvis B’s interval ligger på 5-7 og Ø’s på 6,7-9,3, så selvom B er faldet og Ø stiget, er der kun en signifikant forskel hvis deres intervaller ikke overlapper (som de gør), og hvis de har fået flere stemmer en konfidensintervallens ramme. Vi kan derfor sige, at Ø og B ikke har rykket sig, rent statistisk. Det er stadigt fint at konstatere at de rykker sig, men sikkerheden (konfidensen) skal inkluderes, for ellers er det upræcist oplyst.

Question 35

Konfidensinterval og signifikanstest

Answer 35

Ved konfidensintervaller tager vi udgangspunkt i et stikprøveestimat og udregner et interval, der angiver usikkerhden omkring det.

Ved signifikanstest sammenligner vi to værdier direkte og udregner, med hvor stor (u)sikkerhed vi kan sige, at de er forskellige fra hinanden. Her skal der udregne en z-værdi (ligesom i konfidensintervaller) der skal omregnes til en p-værdi (findes i tabeller online). P-værdien er et mål for, hvor sandsynligt det er at få den pågældende z-værdi (eller en mere ekstrem z-værdi), hvis andelen i vores stikprøve var den samme som den andel, vi tester op imod. Hvis de to tal er overlappende, er der normalt ikke en statistisk signifikant forskel.

Signifikanstest med en stikprøveprocent og en populationsprocent: one-sample test.
Signifikanstest med to stikprøveprocenter (hypotesetest): independent sample test.

Poolede stikprøveprocent: gennemsnittet af de to procenter.

At der er signifikant forskel på to værdier, er ii praksis det samme som at sige, at vores testværdi ligger uden for konfidensintervallet.