H7 Betrouwbaarheid en Statistiek Flashcards
Wat houdt de betrouwbaarheid in?
De precisie van een meetinstrument en het vermogen van het meetinstrument om bij herhaling dezelfde resultaten te produceren
(bij een inhoudsanalyse slaat dit op een proces, het coderen van de data)
Wat is Intercodeursbetrouwbaarheid?
(= intercoder/interrater / interjudge reliability) = Inter annotater agreement = de betrouwbaarheid waarmee menselijke codeurs een verzameling kunnen labelen of categoriseren.
Wat zijn de meest gebruikte statistieken voor de intercodeursbetrouwbaarheid?
- Percentage agreement
- Cohen’s kappa
- Kirppendorff’s Alpha
- (Fleiss’ kappa: wordt verder niet besproken)
Wat houdt een percentage agreement in?
Hoe vaak zijn de codeurs het eens als percentage
Wat zijn de voordelen van percentage agreement?
Voordeel: eenvoudig
Voordeel: score geeft direct inzicht (je weet het meteen)
Wat is het nadeel van percentage agreement?
Nadeel: Geen kanscorrectie
Wat houdt Kanscorrectie in?
Kanscorrectie verwijst naar het idee dat je ook kijkt naar de kans dat de codeurs het per toeval eens zijn. De kans dat codeurs het met elkaar eens zijn is afhankelijk van de mate waarin ze allebei voor de verschillende opties hebben gekozen.
Wat is de Cohen’s kappa?
De Cohen’s kappa berekend intercodeursbetrouwbaarheid waarbij gecorrigeerd wordt voor de gokkans
Uitkomst is een score tussen 0 (=overeenkomst op kansniveau) en 1 (=perfecte overeenkomst), Kan ook negatief zijn, per toeval of wanneer codeurs het met elkaar oneens zijn
Wat is de formule van de Cohen’s kappa?
(Geobserveerde overeenkomst - verwachte overeenkomst) : (1-verwachte overeenkomst) = kappa
(Geobserveerde overeenkomst = de proportie van items waar codeurs het over eens waren
&
Verwachte overeenkomst = de proportie die je zou verwachten op basis van gedrag van de codeurs
-
Gedrag = hoe vaak ze voor verschillende categorieën hebben gekozen)
Wat zijn de nadelen van de Cohen’s kappa?
- Kan alleen 2 codeurs vergelijken
- Kan alleen nominale variabele vergelijken (categorieën)
- Niet alle disagreements zijn even erg, daar houdt kappa geen rekening mee
Hoe is de interpretatie van de Cohen’s kappa?
- kappa score van > 0.6 om voorzichtige conclusies te kunnen trekken
-Liefst score van > 0.8 of hoger
Hoe kan het gebeuren dat er een hoge overeenstemming is maar een lage kappa score?
Oorzaak: Verdeling van de data, als een niveau relatief weinig voorkomt vergeleken met de andere heeft dat gevolgen
-Onenigheid over laagfrequente categorieën zorgt slechts voor een lichte afname in overeenstemmingspercentage. Immers een klein aantal in het geheel en overeenstemmingsprecentage kijkt naar het geheel
- Onenigheid over laagfrequente categorieën zorgt voor een sterke afname van de kappa-score. Misschien zijn ze het in absolute getallen helemaal niet vaak oneens, maar wel relatief in opzichte van de totale (kleine) hoeveelheid
(klein verschil overeenstemmingspercentage, groot verschil kappa score)
Wat is de Krippendorff’s Alpha?
De Krippendorff’s Alpha
- Corrigeert ook voor gokkans
-Meerdere codeurs
-Verschillende soorten variabele: Nominaal, ordinaal, interval en ratio
-Houdt rekening met de grootte van verschillende codeurs
- -1 (tegenovergestelde mening) / +1 (exact dezelfde mening)
!Niet hetzelfde als Cronbach’s alpha, deze kun je hier niet gebruiken
Waar hangt je keuze voor welke statistiek je gebruikt af?
Het is afhankelijk van:
- Algemene voorwaarden: nominale data kan alles, maar voor andere soorten moet je Krippendorff’s alpha kiezen. Ook met 2 codeurs kan alles, maar met meer kan je geen Cohen’s kappa doen.
–> Conventie = wat doen andere onderzoekers? Vaak voorkeur afhankelijk van vakgebied.
Wat doe je bij een lage betrouwbaarheid?
- Na pilotstudie –> codeerboek herzien
-Anders -> Dubbel gecodeerde data: betrouwbaar, maar kost veel tijd
