7+8 Flashcards
Wat is het percentage agreement en wat is het voordeel en nadeel
Pecentage hoeveel overeenkomst tussen codeurs bijvoorbeeld 40 van 100 is 40 procent
Voordeel: makkelijk te berekenen
Nadeel: geen kanscorrectie
Met welke testen kan je de betrouwbaarheid berekenen
● Percentage agreement
● Cohen’skappa
● Fleiss’ kappa
● Krippendorff’s Alpha
Welke verschillende meetniveaus zijn er
Nominaal: de data kunnen alleen worden gecategoriseerd, zonder duidelijke rangorde gender
Ordinaal: de data kunnen worden gecategoriseerd en er is sprake van een duidelijke rangorde top tien bestsellers
Interval: de data kunnen worden gecategoriseerd, er is sprake van een rangorde en de intervallen tussen de categorieën zijn gelijk temperatuur
Ratio: de data kunnen worden gecategoriseerd, er is sprake van een rangorde, de intervallen tussen de categorieën zijn gelijk en er is een betekenisvol nulpunt lengte
Wat zijn de nadelen van de cohen’s kappa
Cohen’s Kappa is alleen maar te gebruiken voor twee codeurs.
● Zoals gezegd is Kappa alleen maar te gebruiken voor nominale variabelen.
● Nie talle disagreements zijn even erg (sommige categorieën liggen dichter bij elkaar dan andere), maar Kappa houdt daar geen rekening mee
Wat is kanscorrectie
Wanneer er een multiple choice toets is heb je altijd kans dat je 25 procent goed hebt
Stel een toets heeft 40 vragen heb je er automatisch 10 goed maar met kanscorrectie om een voldoende te halen moet je bijvoorbeeld de helft goed hebben dan doe 10 die je automatisch goed hebt plus 30/2 is 25 antwoorden goed voor een voldoende hetzelfde geldt voor coderen
Wanneer kan je de cohen’s kappa gebruiken
Je kunt Cohen’s kappa alleen gebruiken om twee codeurs met elkaar te vergelijken, en alleen voor nominale variabelen. (Dus wel het
categoriseren van items, maar geen Likert-scores om de items te beoordelen.)
Score van 0.6 of meer voorzichtige conclusies
0.8 of meer is goed
Hoe kan er een hoge overeenstemming zijn en een lage kappa
Wanneer er laag frequente categorieen zijn en in die lage categorieen is er weinig overeenkomst is er een hoge agreement omdat die naar het geheel kijkt maar een lage kappa omdat die gaat erom dat codeurs de twee categorieën goed van elkaar kunnen onderscheiden
Wat is de krippendorff’s alpha
Reguleert ook gokkans maar kan ook meerdere codeurs berekenen en nominale, ordinale, interval en ratio
En houdt rekening met de grootte van de verschillen wanneer codeurs bijvoorbeeld
verschillende scores geven op een Likert-schaal
-1 is tegenovergestelde mening 1 is hetzelfde
Welke betrouwbaarheid kies je
Hangt af van het aantal codeurs en nominale data of niet maar je moet kijken van andere onderzoekers doen op het vakgebied en je kan altijd alles geven om een goed beeld te geven
Wat moet je doen bij ambigutieit (soms past iets bij meerdere categorieen
Alle data door éénc odeur laten beoordelen
Alle ambigue gevallen laten markeren door de codeurs, en apart analyseren
Wat is het minimale en maximale om dubbel te coderen
Minimaal 50 items of 10% en maximaal 200 items
Wat moet je doen bij een lage dubbel gecodeerde betrouwbaarheids score
Als 2 het hebben gecodeerd bespreken met meerdere de meerderheid kiezen
Alleen data meenemen die hetzelfde is
3e codeur beslissing laten nemen
Wat zijn belangrijke regels om rekening mee te houden als je twijfelt of je de data analyse door een computer laat doen of niert
Als een mens het niet kan (ook niet met veel moeite), kan een computer het ook niet
Hoe abstracter (of latenter) de analyse, des te moeilijker wordt het voor de computer: computers kunnen geen achterliggende gedachten herkennen
Technologie is nooit objectief
Wat kan je met het programma T-scan
Complexiteit van teksten meten
Op welke manier kan je tekst analyseren
Gebruik van een woordenlijst:
Om bijvoorbeeld verontschuldigingen te meten een lijst maken met alle woorden daarvoor en dan meten
Wat zijn de nadelen van een woordenlijst
Mensen kunne ook op een manier buiten de woordenlijst om excuses aanbieden
Soms gebruiken mensen excuses woorden zonder daadwerkelijk excuses aan te bieden bijvoorbeeld op een sarcastische manier
Wat is LIWC
Idee: de woorden die mensen gebruiken zijn gecorreleerd met hoe mensen zich voelen.
Benadering: tel verschillende soorten woorden, en bereken de proportie (relatieve frequentie) van die categorieën in een tekst
Wat is een sentiment analyse
Programma’s die ontwikkeld zijn om te meten of een tekst positief of negatief is
Aan de hand van machine learning en opgegeven zinnen van de makers die positief en negatief zijn wordt het steeds uitgebreider in beter dan enkel een woordenlijst
Wat zijn de nadelen van een sentiment analyse
Computers zijn minder goed in het begrijpen van niet-letterlijke betekenis. Humor en sarcasme worden dus niet altijd begrepen, omdat de juiste interpretatie sterk afhankelijk is van de context.
Wanneer je weet hoe positief of negatief mensen zijn in hun tekst, weet je nog niet waarover ze zich positief of negatief uitlaten stance detection
Hoe kunnen we ervoor zorgen dat een taalmodel model valide en betrouwbare resultaten geeft
Taalmodellen hebben duidelijke instructies nodig: duidelijke prompts
Taalmodellen moeten getest worden:
behandelen als een pilotstudie en de fouten eruit halen om een werkende versie te hebben
Wat is semi automatisch data analyse
Alle data automatisch laten coderen en vervolgens zelf checken of het klopt
Wat is modulariteit en wat zijn de voordelen
Verschillende onderdelen van je project splitst in losse eenheden, of modules. Dat heeft een aantal voordelen. Wanneer je verschillende taken scheidt van elkaar:
● Krijg je een beter overzicht van de taken die nog verricht moeten worden binnen het project.
● Kunnen verschillende groepsleden tegelijkertijd werken aan verschillende onderdelen.
● Is het achteraf ook duidelijker hoe je verschillende onderdelen aangepakt hebt.
● Kun je in toekomstige projecten eenvoudiger onderdelen uit eerdere studies hergebruiken
Hoe kan je modulariteit toepassen op een opdracht
Dataverzameling en data analyse van elkaar scheiden
Verschillende variabelen scheiden
Coderen en resultaten scheiden:
Nooit automatisch coderen en toetsende statistieken tegelijkertijd berekenen
