thema 4 multilevelmodellen Flashcards
theoretisch kader multilevel analyse en basismodel
Als we een continue variabele willen voorspellen of verklaren uit andere continue variabelen, dan is regressieanalyse de meest toegepaste analysetechniek. Bij regressieanalyse was de aanname dat ieder datapunt volkomen onafhankelijk is. Maar wat te doen wanneer dit niet zo is? Als onderzoek gedaan wordt onder leerlingen: zijn leerlingen binnen dezelfde klas, dezelfde school en misschien wel hetzelfde district niet op zijn minst een beetje afhankelijk van elkaar? Dit zijn databestanden die beter met een multilevelanalyse (MLA) zijn te analyseren dan met een klassieke regressieanalyse, omdat MLA is ontworpen om rekening te houden met het hiërarchische karakter van de data. Multilevelanalyse wordt dan ook steeds vaker toegepast in psychologisch onderzoek. In dit hoofdstuk geven we een beknopte uitleg over wat MLA is, hoe we zo’n analyse (met SPSS) kunnen uitvoeren en hoe we de resultaten ervan moeten interpreteren.
multileveldata
innen de psychologie vormen mensen vrijwel altijd de onderzoekseenheden. Om het verband tussen variabelen te schatten, worden deze variabelen daarom gemeten bij mensen, bijvoorbeeld via vragenlijsten. De onderzochte mensen vormen meestal een steekproef uit een grotere populatie, bijvoorbeeld alle mensen in Groningen met een betaalde baan of alle gepensioneerde mensen met een vaste partner. Daarbij gaan we ervan uit dat de mensen in de steekproef onafhankelijk van elkaar zijn: dat wil zeggen dat de antwoorden of observaties van de ene persoon niet afhangen van de antwoorden van een ander persoon. Deze onafhankelijkheid is een van de voorwaarden bij regressieanalyse. Als we deze voorwaarde schenden, dan levert een regressieanalyse resultaten op die niet zuiver zijn.
Er zijn echter veel voorbeelden te bedenken waarbij de antwoorden of observaties niet onafhankelijk zijn. Stel, we willen onderzoeken of bij werknemers in verschillende bedrijven leiderschapsstijl invloed heeft op werkprestaties. Als er meerdere werknemers uit een bedrijf in de steekproef zitten, dan zullen hun antwoorden van elkaar afhangen omdat ze met dezelfde kenmerken van het bedrijf te maken hebben. De onderzoekseenheden (werknemers) zijn hier dus gegroepeerd binnen bedrijven. De gegevens hebben dus verschillende niveaus (levels): werknemers vormen in dit voorbeeld het eerste niveau en bedrijven het tweede.
Het meest klassieke voorbeeld van multileveldata is afkomstig uit onderzoek naar kinderen op scholen. Prestaties van kinderen (niveau 1) hangen mogelijk af van de klas (niveau 2) waarin ze zitten en de school (niveau 3) waarop ze zitten. Sommige klassen scoren mogelijk hoger dan andere vanwege een goede docent of een positief klimaat. Ook is bekend dat sommige scholen beter scoren dan andere.
Een ander voorbeeld is cross-cultureel onderzoek naar de opvattingen van mensen. De mensen zijn hier gegroepeerd binnen landen. Ook in dit voorbeeld kunnen antwoorden van mensen op bepaalde vragen binnen een land meer op elkaar lijken dan de antwoorden van mensen uit verschillende landen. De cultuur van een land zorgt ervoor dat de antwoorden van landgenoten met elkaar gaan correleren.
In deze voorbeelden zijn de multileveldata hiërarchisch geordend. Een andere term voor multileveldata is dan ook hiërarchische data. Bij hiërarchische data zijn de basisonderzoekseenheden gegroepeerd binnen een variabele op een hoger niveau, die ook weer gegroepeerd kan zijn binnen een nog hoger niveau. Het voorbeeld van drie niveaus werd al eerder gegeven, namelijk kinderen die gegroepeerd zijn binnen klassen die weer gegroepeerd zijn binnen scholen. Een ander voorbeeld van drie niveaus is dat van werknemers die gegroepeerd zijn binnen afdelingen die weer gegroepeerd zijn binnen bedrijven. In beide voorbeelden zijn de individuen (de kinderen of de werknemers) het eerste niveau. Ieder individu heeft een eigen rij in het databestand. Voor alle hogere niveaus (zoals de klas of de school) moeten we een variabele aanmaken die aangeeft in welke categorie het individu zit.
multilevel analyse
Als we zijn geïnteresseerd in een algemene vraag waarbij klassen of afdelingen uit het onderzoek een steekproef vormen (en we dus niet zijn geïnteresseerd in het specifieke resultaat per klas), dan is het uitvoeren van gewone regressieanalyse op het hele bestand niet correct, omdat dan de eventuele afhankelijkheid van de gegevens binnen een groep (klas, afdeling) wordt genegeerd. Een belangrijke aanname bij veel statistische procedures zoals regressieanalyse is namelijk dat de residuen of ‘error-termen’ onafhankelijk zijn. Als de steekproef afkomstig is uit bepaalde groepen van deelnemers (klassen, scholen, afdelingen en bedrijven), dan hebben we een andere analysetechniek nodig, namelijk multilevelanalyse. Bij multilevelanalyse zijn we vooral geïnteresseerd in een verband tussen variabelen over alle groepen heen, waarbij we rekening kunnen houden met de afhankelijkheden tussen de personen binnen de groepen.
Een ander voordeel van multilevelanalyse is dat deze techniek heel geschikt is om met missing data om te gaan. Met name in experimentele designs met herhaalde metingen maakt een multilevelaanpak veel beter gebruik van de beschikbare data dan de variantieanalyse voor herhaalde metingen.
Het doel bij multilevelanalyse is om een intercept en een regressiecoëfficiënt (of meerdere coëfficiënten) te schatten voor de hele groep, waarbij men rekening houdt met de fluctuaties over bijvoorbeeld de bedrijven/scholen. Het gaat daarbij om fluctuaties van de hoogte van de lijnen (intercepts) en van de richting van de lijnen (regressiecoëfficiënten).
fixed en random effecten
Om de werking van een multilevelanalyse helder te maken, kijken we eerst nog een keer terug naar het meest bekende (basis)regressiemodel.
Hierbij is Y de afhankelijke variabele, b0 het intercept (oftewel, het snijpunt met de y-as, en dus de waarde van Y als X nul is), b1 is de richtingscoëfficiënt die de relatie weergeeft tussen de onafhankelijke variabele X en de afhankelijke variabele Y, en e is de individuele variantie (de afwijking van de regressielijn) die niet door het model verklaard wordt De b0 en de b1 in dit model gelden voor de gehele onderzoekspopulatie en noemen we daarom ook wel fixed. De e is een afwijking per individu, en varieert dus binnen de onderzoekspopulatie en noemen we daarom ook wel random. Het basisregressiemodel bestaat dus uit een fixed intercept en een fixed richtingscoëfficiënt die gelden voor de gehele onderzoekspopulatie, en een random error die varieert voor de individuen binnen de onderzoekspopulatie.
Bij multilevelanalyse schat men, evenals bij regressieanalyse, regressiecoëfficiënten die het verband tussen twee variabelen weergeven. Net zoals de onderzoekseenheden van het eerste niveau (bijvoorbeeld mensen) een random steekproef vormen uit een grotere populatie, vormen de eenheden van het tweede niveau (bijvoorbeeld klassen, bedrijven) ook een random steekproef uit een grotere populatie van die eenheden. Bij zowel regressie- als multilevelanalyse zijn we vooral geïnteresseerd in de gemiddelde verbanden of effecten, dat wil zeggen gemiddeld over alle kinderen of over alle klassen. Bij multilevelanalyse houdt men daarbij rekening met de mogelijkheid dat deze effecten kunnen variëren over de verschillende groepen (bijvoorbeeld klassen) binnen de onderzoekspopulatie. Dit noemen we ook wel random effecten. Het belangrijke verschil tussen multilevel- en regressieanalyse is de aanwezigheid van deze random effecten. Bij een standaard regressieanalyse gaan we ervan uit dat de effecten niet variëren over groepen, maar voor de hele steekproef vastliggen. Zoals eerder beschreven, worden dit ook wel fixed effecten genoemd. Het multilevelmodel schat naast de fixed effecten (die dus gelden voor de gehele onderzoekspopulatie) ook nog random effecten die variëren tussen de groepen binnen de onderzoekspopulatie. De random effecten kunnen we dus zien als een extra variantie binnen het model (naast de individuele variantie e van het basisregressiemodel), waarbij een afwijking van de algemene (fixed) regressielijn veroorzaakt wordt door de groep waar iemand zich in bevindt (de niveau 2-variabele).
Als we bijvoorbeeld willen kijken hoe de wiskundescore (Y) afhangt van het IQ van de leerling (X), kan het zo zijn dat dit mede afhankelijk is van de klas waarin de leerling zich bevindt, wat kan leiden tot een afwijking van het algemene regressiemodel. Deze afwijking kan zich bevinden in:
- het intercept (b0): een bepaalde klas heeft bijvoorbeeld een hoger algemeen wiskundeniveau dan de andere klas. In dat geval varieert dus het intercept van het model per klas. Deze variatie tussen de intercepten van de verschillende klassen noemen we ook wel het random intercept. Als alleen het intercept van het model varieert over de klassen, bestaat het regressiemodel dus uit een aantal lijnen (één per groep) die parallel lopen aan elkaar
- de richtingscoëfficiënt (b1): de relatie tussen de wiskundescore en IQ kan bijvoorbeeld in een klas met een betere leraar minder sterk zijn doordat een goede leraar een leerling met een lager IQ ook wiskunde kan aanleren. Deze variantie in de richtingscoëfficiënt noemen we de random slope. Als ook de richtingscoëfficiënt beïnvloed wordt door de groep waar iemand zich in bevindt, betekent dit dus dat de regressielijnen per groep niet langer parallel lopen aan elkaarMerk op dat wanneer de klas de relatie tussen X en Y versterkt of verzwakt (zoals het geval is bij een random slope), dat dit te vergelijken is met het moderatiemodel dat we eerder tegenkwamen in de cursus. Het standaard moderatiemodel is echter op dit moment niet geschikt, omdat deze uitgaat van onafhankelijke metingen, terwijl het multilevelmodel uitgaat van metingen die gecorreleerd zijn binnen de klas.
random slope en intercept
Voor zowel het intercept als voor de richtingscoëfficiënt geldt dat die in de beschrijving van het multilevelmodel een extra index j krijgt als deze afhankelijk is van de groep waarin iemand zich bevindt.
Y= b0j +b1jX + e
De b0j kunnen we hierbij opsplitsen in de b0 die we eerder terugzagen in het basisregressiemodel (het fixed intercept), en de variantie eromheen (het random intercept) die veroorzaakt wordt door de variabele op het tweede niveau (aangeduid met index j). Hetzelfde geldt voor de richtingscoëfficiënt die in dit geval ook bestaat uit een fixed deel (geldende voor de hele onderzoekspopulatie) en uit een random deel (de variatie in de richtingscoëfficiënt afhankelijk van de groep waarin iemand zich bevindt). Oftewel: voor de onderzoekspopulatie als geheel is er een algemeen verband tussen wiskundescore en IQ (fixed richtingscoëfficiënt) waarbij de minimumwaarde van de wiskundescore afhankelijk is van het algemene wiskundeniveau van de populatie (fixed intercept). Per klas kan worden afgeweken van dit gemiddelde in zowel het algemene wiskundeniveau (random intercept) als in de sterkte van de relatie tussen IQ en wiskundescore (random slope). De variantie in het model die afhankelijk is van de groep (zowel in het intercept als in de richtingscoëfficiënt) wordt in de literatuur vaak uitgedrukt met de term G.
intraclasscorrelatie ICC
Een vaak berekende maat bij het uitvoeren van multilevelanalyses is de intraclasscorrelatie (ICC). Met deze maat berekenen we hoe groot de bijdrage van de groepen (variantie van het tweede niveau, uitgedrukt in G) is aan de totale variantie binnen het volledige model (oftewel, de e die we zagen in het basis model, plus de G afkomstig van het tweede niveau). Uitgedrukt in een formule:
ICC = G/ G+e
Een hoge ICC betekent dat een groot deel van de variantie toe te schrijven is aan de groepsindeling. Bij een heel lage ICC (bijvoorbeeld 2 procent) is maar een klein deel van de variantie toe te schrijven aan de groepsindeling, en zijn de gegevens blijkbaar toch onafhankelijk van elkaar. In dat geval kan zonder probleem gewone regressieanalyse worden toegepast. De ICC kan het meest zuiver worden uitgerekend bij het zogenaamde intercept-only (IO) model. Dit is een model waarin alleen een intercept zit als fixed en random effect, dus waarin verder geen predictoren zijn opgenomen.
Een manager bij een grote onderneming wil onderzoeken wat de invloed is van managementstijl op de motivatie van werknemers binnen projectteams. Projecten worden steeds door teams van minstens twaalf werknemers uitgevoerd, ieder met een eigen teamlead die vrij is om een eigen managementstijl te hanteren. In het bedrijf zijn zo’n dertig projectteams actief. Waarom is een ‘gewone’ regressieanalyse in dit onderzoek minder geschikt dan een multilevelregressieanalyse?
Hoewel de eenheid van analyse de individuele werknemer is, hebben werknemers binnen een team meer met elkaar gemeen dan werknemers tussen teams; ze werken samen en delen een teamlead, die zelfs als deze geen unieke managementstijl heeft, nog steeds een eigen persoonlijkheid heeft waarmee de managementstijl wordt ingevuld. De data is hiërarchisch geordend waardoor een analysetechniek nodig is die rekening kan houden met de ‘groepseffecten’ die het verband tussen managementstijl en werknemermotivatie kunnen kleuren.
Een andere insteek kijkt meer datagericht: per team van werknemers is er maar steeds een enkele teamlead; dus voor om en nabij twaalf werknemers is er steeds maar één geobserveerde managementstijl. In een normale regressieanalyse zou dan de managementstijl in een dataset per werknemer worden genoteerd, en dan eigenlijk twaalf keer per observatie meetellen. Managementstijl wordt dan oneerlijk twaalf maal zo zwaar gewogen, wat de kans op type-1-fout vergroot. Door multilevelanalyse wordt managementstijl als een context meegewogen die op het niveau van de groep zich afspeelt; waardoor het effect ervan een eerlijke weging krijgt.
Er zijn hier waarschijnlijk maar twee niveaus/levels: niveau 1 betreft de individuele werknemer, en niveau 2 het team (verenigd onder een teamlead). Het voorbeeld noemt maar één onderneming, dus afgaande op de tekst is er geen derde niveau. Als je had aangenomen dat een onderneming bestaat uit meerdere vestigingen over het land, en dit als derde niveau in gedachten had, dan is dat wellicht iets verder gedacht dan de tekst sec aan informatie geeft, maar dan is jouw redenatie wel in de juiste termen.
Voorbeeld van multileveldata
In het vervolg van deze tekst wordt uitgelegd hoe we zo’n multilevelmodel (en variaties hierop) kunnen analyseren met behulp van SPSS en hoe we de output hiervan kunnen interpreteren. Hierbij gebruiken we een voorbeeldbestand (N = 196) dat bestaat uit 10 klassen met per klas circa 20 leerlingen. De data bestaan uit de afhankelijke variabele wiskundescore (WIS), de voorspellende variabele IQ, en het geslacht van de leerling (Sekse_LL), die per individu gemeten zijn. Daarnaast bevatten de data gegevens over het aantal jaren ervaring van de leerkracht (ERV), de klassengrootte (Aantal) en het geslacht van de leerkracht (Sekse_LK), die gemeten zijn per klas (niveau 2) (zie Tabel 3).
Het aantal klassen (10) in dit voorbeeld is eigenlijk wat te laag voor een multilevelanalyse. Dat heeft te maken met de power (een effect vinden in de steekproef dat aanwezig is de populatie). Hoewel bij een normaal regressiemodel de power afhankelijk is van het aantal personen in de steekproef, is de power voor het schatten van de random effecten afhankelijk van het aantal groepen (niveau 2) in de steekproef, in dit voorbeeld de klassen. Hierbij geldt als vuistregel dat er minimaal 20 groepen moeten zijn voor het uitvoeren van multilevelanalyses (Kreft & De Leeuw, 1998). Maar de precieze berekening van de power hangt van meerdere factoren af. In dit voorbeeld is de power (met slechts 10 klassen) dus aan de lage kant.
Als je een multilevelmodel wilt analyseren via de menustructuur van SPSS, kies je het menu Analyze: Mixed Models en vervolgens Linear.
Met bovenstaande gegevens kunnen we de intraclasscorrelatie uitrekenen, die de verhouding weergeeft tussen die variantie tussen de groepen ten opzichte van de totale variantie: ICC = 0.291 / (1.035 + 0.291) = 0.22. Dit betekent dat circa 22 procent van de totale variantie van de wiskundescores is veroorzaakt door de variantie tussen de klassen. Overigens is dit een ICC, die gecorrigeerd is voor IQ in het model. Voor een ongecorrigeerde ICC zou het IO model moeten worden gebruikt, waarin geen predictoren zijn opgenomen. Het feit dat de variantie van het random intercept dus niet significant was (p = .074), wordt waarschijnlijk veroorzaakt door de te lage power (oftewel, er zijn te weinig klassen in het model om de variatie over het intercept significant te noemen, hoewel deze dus wel varieert over de klassen).
Centreren van de variabelen:
De keuze van de manier waarop we centreren, heeft gevolgen voor de interpretatie van de uitkomsten. Het hangt van de onderzoeksvraag af welke van de twee het meest geschikt is, maar in het algemeen heeft centreren rondom de groepsgemiddelden de voorkeur. Soms neemt men daarbij de gemiddelden als nieuwe variabele op niveau 2 mee in het model.
Het centreren van de predictorvariabelen en eventuele covariaten speelt een belangrijke rol bij multilevelanalyse, vooral om de uitkomsten beter te kunnen interpreteren. Als er twee niveaus zijn, kunnen we op verschillende manieren centreren. In de eerste plaats kunnen we het algemene gemiddelde (van alle observaties) gebruiken om te centreren. De gecentreerde variabele maken we door dit gemiddelde van alle scores af te trekken. In de tweede plaats kunnen we het gemiddelde van iedere groep (bijvoorbeeld klas) gebruiken om te centreren. De gecentreerde variabele wordt dan gemaakt door het desbetreffende groepsgemiddelde van de scores van de desbetreffende groep af te trekken. Anders gezegd: we kunnen centreren voor de dataset als geheel (‘grand mean centering’), of per groep (‘group mean centering’). In het eerste geval geven de individuele scores de afwijking van het algemene gemiddelde weer (net als bij data met maar een enkel niveau) en in het tweede geval de afwijking van hun groepsgemiddelde.
De keuze van de manier waarop we centreren, heeft gevolgen voor de interpretatie van de uitkomsten. Het hangt van de onderzoeksvraag af welke van de twee het meest geschikt is, maar in het algemeen heeft centreren rondom de groepsgemiddelden de voorkeur. Soms neemt men daarbij de gemiddelden als nieuwe variabele op niveau 2 mee in het model.
Model A: een predictor en een groepsvariabele
In het eerste model dat we in SPSS gaan analyseren, gaan we evenals in het eerder beschreven voorbeeld uit van voorspellende variabele IQ, die van invloed is op de afhankelijke variabele wiskundescore (WIS). Hierbij kunnen we veronderstellen dat het effect op de wiskundescores afhangt van de klas waarin iemand zit, een groepsvariabele die het tweede niveau definieert. De klas kan hierbij zowel het intercept (b0) als de richtingscoëfficiënt (b1) beïnvloeden, wat dus leidt tot een random intercept of een random slope (of beide). Of er een multilevelmodel met een random intercept of met een random slope (of beiden) geanalyseerd moet worden, is vaak afhankelijk van iemands eigen verwachtingen. Verwacht de onderzoeker dat de klas van invloed is op het intercept, of op de richtingscoëfficiënt?
Model A1: predictor IQ en random intercept
Het model met alleen een random intercept kunnen we uitdrukken in de volgende formule:
WIS = b0j + b1IQ + e
(4)
Merk op dat alleen de b0 een index-j bezit, en dus een variantie heeft op het tweede niveau. Deze b0j kunnen we op de volgende manier opsplitsen in twee componenten:
b0j =Y00 + u0j
(5)
Hierbij staat γ00 voor het fixed deel van het intercept, een geschat gemiddeld intercept voor de hele populatie, en is u0j de variantie rond het intercept die veroorzaakt wordt door de klas waar iemand in zit. Wanneer we deze uitgesplitste b0j weer invullen in de voorgaande formule, leidt dit tot de volgende formule:
WIS = (y00 + u0j) + b1IQ + e
(6)
Het uitsplitsen van de formule in deze vier componenten (parameters) is van belang om later de SPSS-output goed te kunnen interpreteren. In totaal worden er in dit model twee fixed parameters (γ00 en b1) en twee random parameters (u0j en e) geschat.
Restricted log likelihood
Ook staan in de SPSS-output een aantal schattingen van hoe goed dit model bij de data past. Een van de maten die men hiervoor gebruikt, is de -2 Restricted Log Likelihood (-2LL), deze maat noemen we deviance. Hoe lager deze waarde is, hoe beter het model past bij de data. Er is geen criterium dat aangeeft wat een goede deviance is, omdat de waarde afhangt van het aantal variabelen in het model en het aantal waarnemingen. De deviancewaarden zeggen niet zo veel, maar worden vooral gebruikt om twee modellen met elkaar te vergelijken. Het model met de laagste deviancewaarde past beter bij de data dan een model met een hogere waarde. Op basis van deze maat kunnen we dus niet zeggen of een bepaald model goed is, maar wel of een model beter past dan een ander model. We kunnen toetsen of een verschil in deviance significant is met een χ2-toets als twee modellen genest zijn. Uitleg over wat geneste modellen zijn, staat in het subthema verdieping: toetsen van geneste modellen.
Met behulp van een χ2-toets kunnen we nagaan of het verschil tussen twee deviancewaarden significant is, en het ene model dus significant beter bij de data past dan het andere. Je kunt hiervoor gebruikmaken van de tabel met χ2-waarden in de bijlage van Field (5ed., bijlage A4 ‘Critical Values of the chi-square distribution’, p. 1005). Het aantal vrijheidsgraden (df = degrees of freedom) is in dit geval het verschil in geschatte parameters van de twee modellen. Als het verschil tussen de twee deviancewaarden van de modellen groter is dan de waarde die achter de 1df in de tabel staat, dan is het verschil tussen de twee modellen significant.
Model A2: predictor IQ en random intercept en random slope
Het model met een random intercept en een random slope kunnen we uitdrukken in de volgende formule:
WIS = b0j +b1jIQ +e
(7)
Merk op dat zowel de b0 als de b1 een index-j bezitten, en dus variantie op het tweede niveau hebben. Ook hier kunnen de b0j en de b1j dus worden opgesplitst in een fixed en een random deel. Uitgedrukt in een formule ziet dit er als volgt uit:
b0j = Y00 + u0j (8)
b1j = Y10 +u1j (9)
De γ’s hebben dus in beide gevallen betrekking op het fixed deel, en het u’s op het random deel (oftewel, de variantie veroorzaakt door de klassen). Als we beide uitgesplitste b’s invullen in de eerdere formule, leidt dit tot de volgende formule:
WIS = (y00 + u0j) + Y10+u1j)IQ +e
(10)
Dit model bevat dus in totaal vijf parameters, die we later in de SPSS-output weer zullen tegenkomen.
De output (zie Tabel 5) is weer gesplitst in een fixed en een random deel. Er zijn twee fixed effecten: ten eerste het algemene intercept (γ00) en ten tweede de regressiecoëfficiënt behorend bij het effect van IQ (γ10). Er zijn in totaal drie random effecten: de bekende errorvariantie op niveau 1: var(e) en twee errorvarianties op niveau 2: var(u0j) behorende bij het intercept en var(u1j) behorende bij de slope van IQ.
Verdieping: toetsen van geneste modellen
Definitie: Twee modellen noemen we genest als ze dezelfde termen bevatten en één van de modellen ten minste een extra term bevat.
Voorbeeld:
Model A: y^ = b1x1 +b2x2
Model B: y^= b1x1+b2x2 +b3x3
Model C: y^= b1x1 +b3x3
Model A is genest binnen model B. In model B wordt namelijk een extra parameter geschat (b3) in vergelijking met model A. Model C is ook genest binnen model B, omdat het verschil een parameter is (b2). Model A en C zijn niet binnen elkaar genest.
De vraag is of het model met de extra parameter wel significant beter bij de data past. Dus: is het toevoegen van b3 in model B wel een goede keuze of levert model B nauwelijks een verbetering op ten opzichte van model A? Als twee modellen genest zijn, dan kan het verschil in de -2LL (deviance) waarden van beide modellen worden vergeleken met behulp van de χ2-toets. De -2LL worden eerst van elkaar afgetrokken. Vervolgens trek je ook de df van de twee modellen van elkaar af. Het verschil in -2LL en het verschil in df zijn dan de χ2 en de df die gebruikt worden om de significantie van het verschil tussen de modellen vast te stellen. Is het verschil significant, dan heeft het toevoegen van de extra parameter zin gehad.
