Begreper 2 Flashcards
Variasjonsbredde
Avstanden mellom største og minste verdi
Svært følsomt for ekstremverdier
SE
SE er kvadratroten av variansen
Definer Standardavvik
Standardavviket er et mål på det «gjennomsnittlige avviket fra gjennomsnittet»
- Alternativt mål: Mean absolute deviation
Variasjonskoeffisint(CV)
Variasjonskoeffisient (CV) er standardavviket delt på gjennomsnittet
- CV er et relativt mål og uavhengig av måleenheten
Chebysheffs teorem
Den empiriske regelen bygger på normalitet
Dersom fordelingen ikke er klokkeformet kan vi bruke Chebysheffs teorem til å si hvor mye av fordelingen som minst ligger innenfor k standardavvik (k>1)
Minst 75 % ligger innenfor 2 standardavvik
Minst 89 % ligger innenfor 3 standardavvik
Minst 94 % ligger innenfor 4 standardavvik
Persentiler
Angir den verdien som har p prosent av observasjonene under seg
50 prosent persentilen er medianen
Forholdet mellom 90- og 10-persentilen
Mindre sårbar for ekstremobservasjoner
Persentiler kan oppgis for ordinale data, men ikke avstanden eller forholdet mellom verdiene
Kvartilbredde
Kvartilbredde (avstanden mellom 75 og 25-persentilen
Lite følsomt for ekstremverdier
Box plot
Grafisk oppsummering av flere beskrivende mål
Også velegnet for sammenligninger
se. s.76 i forelesningsnotatene.
Forklar ulike former for presentasjon av kategoridata
Frekvenstabeller (hyppighetstabeller)
- Søylediagram
Tabell med relative andeler
- Kakediagram
Tabell med kumulative andeler
- Ogive
Med krysstabeller kan vi fordele observasjoner på to kategoridimensjoner samtidig og vise samvariasjon
Eks.: Kjønn og holdning til et produkt
Eks.: Karakter kurs og karakter utredning (overgangsmatrise)
Grafisk presentasjon av måledata med en variabel
Histogram
- Med måledata har vi ikke naturlige kategorier
- Må gruppere verdier på x-aksen
Tommelfingerregel for antall kategorier: 1+3,3∙log(n)
Estimert tetthetsfunksjon (Kernel density) - Mer avansert metode for å plotte sannsynlighetsfordelingen uten å lage diskrete kategorier
Hvordan beskrive sammenhengen mellom 2 variabler
Spredningsdiagram
Korrelasjon
Korrelasjonskoeffisienten, r, forteller oss hvor nær vi er en lineær sammenheng
r varier mellom -1 og 1
r forteller om det er positiv, ingen eller negativ samvariasjon, men ikke stigningsforholdet
(Merk: r=0 medfører ikke uavhengighet!., derimøt medfører uavhengighet ukorrelerthet)
For ordinale variable kan vi regne ut rangkorrelasjonen
Hva gjør regresjon?
Finner linjen som beskriver sammenhengen mellom to variabler.
Regresjonsligningen
Y’=a+bX
Eks.
Y’ er den predikerte inntekten for X års utdannig
b er stigningstallet for regresjonslinen
a er konstantleddet
Ikke-lineære sammenhenger kan håndteres ved f.eks. å bruke log(inntekt) eller bruke multippel regresjon med et polynom i inntekt
Determinasjonskoeffisienten
Hvor mye av variasjonen i Y kan vi forklare med variasjonen i X?
Kvadratet av korrelasjonskoeffisienten, r2 (eller R2) er et uttrykk for hvor stor andel av spredningen rundt gjennomsnittet for hver av de to variablene som er felles for begge variablene
Hva består en Sannsynlighetsmodell av?
- Et utfallsrom (diskret, kontinuerlig eller mer komplisert)
- Sannsynligheter tilordnet utfall eller kombinasjoner av utfall
- Diskret utfallsrom: Sum sannsynligheter = 1
Eks.: Terningskast, produktvalg
- Kontinuerlig utfallsrom: Areal under tetthetskurven = 1
Eks.: Dagsomsetning
Stokastisk variabel
en funksjon X(u) som tilordner en tallverdi, x, til ethvert utfall, u, i en sannsynlighetsmodell
Hva er en sannsynlighetsfordeling
en oppregning av de mulige verdiene til X sammen med sannsynlighetene P(X= x) [forenklet; p(x)] for å observere hver enkelt verdi x
Diskret sannsynlighetsfordeling
Tegnes som søylediagram med punktsannsynlighter
Kontinuerlig sannsynlighetsfordeling
Tegnes som tetthetsfunksjon
Når X er kontinuerlig gir det bare mening å snakke om sannsynligheten for at X skal ligge i et intervall
Samplingfordeling
Når enkeltobservasjonene i utvalg er stokastiske variabler må også kjennetegn ved hele utvalget være stokastiske og ha en fordeling. Slike fordelinger kalles samplingsfordelinger.
Hvilke samplingsfordelinger er man spesielt interessert i? Hvorfor?
Fordelingen til gjennomsnittet
Fordelingen til utvalgsvariansen.
Det er fordi disse gir oss informasjon om forventningen og variasen til populasjonen
Hva kan vi si om fordelingen til et gjennomsnitt?
Dersom X er normalfordelt er normalfordelt
- Lineærkombinasjoner av normalfordelte variabler er normalfordelte
Ofte kjenner vi ikke den eksakte fordelingen til X
- Hvilken fordeling har gjennomsnittet dersom X ikke er normalfordelt?
- Hvis X’ene er uavhengige vil fordelingen nærme seg normalfordelingen når n øker
- Følger av sentralgrenseteoremet
Samplingfordelingen til en andel
Gjennomsnitt er bare meningsfylt for målevariabler
For nominale variabler er vi ofte interessert i den sanne andelen i en populasjon
- Andelen av en kundemasse som kjøper «vårt» produkt
- Andelen feilvare i en produksjonsprosess
Andelen i et utvalg kan vi betrakte som resultatet av en binomisk forsøksrekke
Andelen i et utvalg kan vi betrakte som resultatet av en binomisk forsøksrekke
- Observasjonene er tilfeldige trekninger fra populasjonen
- Utfallene er uavhengige (!)
- Hver observasjon klassifiseres som «suksess» eller «fiasko» (f.eks.: SSSSFFFFFF)
- Andel suksesser i vårt utvalg er stokastisk, men sannsynligheten for suksess, p, er den samme i hver trekning
Vi ønsker å finne fordelingen til den observerte andelen
Hvordan finne fordelingen til en andel
La utfallet av hver trekning være representert ved en indikatorvariabel Ij der j=1,2,3 …
Ij=1 hvis suksess, null ellers
En tallfølge av stokastiske variabler kaller vi en stokastisk prosess
Prosessen {Ij; j=1,2,3 …} er binomisk fordi
- Ij bare kan anta to verdier
- Sannsynligheten for å observere Ij=1 er p for alle j
- Ij, og Ik, er uavhengige for alle j og k
- -> En binomisk prosess utgjør en binomisk forsøksrekke
Normaltilnærming for andeler, nominale data.
Antall suksesser, Xn, er binomisk fordelt
Siden Xn er bygget opp av en sum av identisk uavhengig fordelte variabler (Ij) vil Xn nærme seg normalfordelingen når n blir stor
En binomiske fordelingen (n, p) er tilnærmet normalfordelt hvis n er stor
- Tommelfingerregel: np>5 og n(1-p)>5
Statistisk inferens
Komplementært til sannsynlighetsregning og handler om å trekke slutninger om en delvis ukjent virkelighet ut fra observasjoner
- Estimering (Punktestimater og konfidensintervaller)
- Hypotesetesting (Signifikans
Sannsynlighetsregning
Sannsynlighetsregning basert på helspesifiserte stokastiske modeller
- Alle parametere i modellene er kjente og det er derfor mulig å beregne sannsynligheter for ulike mulige utfall eksakt iht. modellen
Inferens(slutningsstatistikk)
Hva kan vi slutte om populasjonens parametre basert på det vi observerer i utvalget?
Vi går frem ved å sette opp en delvis spesifisert modell for utfall
- Eks.: Utleder sampelingfordelingen for gitt (ukjent) μ og σ
Bruker så observerte utfall til å bestemme ukjente parametere i modellen
- Bruker observatorer (estimatorer)
Inferens omfatter også å gi anslag for hvor sikre vi er på de konklusjonene som trekkes
Estimator
En estimator er en “regel” for bruk av observasjoner til å gjette verdien på ukjente parametre i en modell
Siden de observasjonene vi bruker er realisasjoner av stokastiske variable vil en estimatoren i seg selv være en stokastisk variable
Valg av estimator.
Det kan finnes flere alternative estimatorer for en og samme paramter. Hvilken bør velges?
Vi ønsker at estimatoren skal ha en forventning som ligger nær den sanne verdien, og vi ønsker at estimatoren skal ha lav varians/standardavvik
Hvis vi lar θ’ være en estimator for θ så sier vi at estimatoren er forventingsrett dersom
Eθ’=θ
Blant mulige forventingsrette estimatorer vil vi velge den med minst varians; den mest effektive
Vi kan være villige til å kompromisse på forventningsretthet hvis en forventningsskjev estimator kan redusere variansen/standardavviket
Noen ganger kan det være vanskelig å bedømme en estimators egenskaper i små utvalg. Da drøfter vi gjerne egenskapene når “ n → ∞ ”
Konsistent estimator.
Vi ser at en estimator er konsistent dersom forventet forskjell mellom estimatet og den sanne parameterverdien kan gjøres så liten en vil ved å øke utvalgsstørrelsen tilstrekkelig
Merk: En estimator kan være konsistent uten å være forventningsrett og forventningsrett uten å være konsistent!
Hypotesetesting. Hva går det ut på?
Går ut på å teste en oppsatt nullhypotesen H0 mot en alternativhypotesen, HA (eller H1) der en forkaster nullhypotesen til fordel for alternativhypotesen bare hvis data gir grunnlag for det
Testobservator
En hypotesetest er basert på en såkalt testobservator, som er en stokastisk variabel som kan beregnes ut fra observasjonene, og som har en kjent sannsynlighetsfordeling under nullhypotesen
Forklaringsområdet
Forkastningsområdet er de verdier av testobservatoren som skal medføre forkastning av nullhypotesen. Grensen mellom forkastning og godtaking kalles for kritisk verdi
Signifikansnivå
Forkastningsområdet og kritisk verdi bestemmes av alternativ- hypotesen og ønsket (maksimal) risiko for feilaktig forkastning, kalt signifikansnivå (α)
P-verdien
Resultatet av en hypotesetest oppgis ofte ved P-verdien
P-verdien er (den maksimale) sannsynligheten for å observere det vi fikk eller noe enda mer i favør av alternativet beregnet under H0
H0 forkastes når P <= α
Konfidensintervall
Et 95% konfidensintervall er et intervall som med 95% sannsynlighet fanger opp den sanne parameterverdien
Dersom en parameterverdi ikke ligger innenfor 95% konfidensintervallet kan vi med 5% signifikansnivå forkaste en nullhypotese om at dette er den sanne verdien
Forkastningsfeil (Type 1-feil)
Forkaster H0 når H0 er sann.
Vi ønsker åpenbart å unngå begge typer feil, men for ett gitt observasjonsmateriale vil sannsynligheten for den ene type feil øke når vi reduserer sannsynligheten for den andre typen feil
Sannsynligheten for forkastningsfeil er gitt ved signifikansnivået α
Godtakingsfeil (Type 2-feil)
Beholder H0 når H0 er gal.
Sannsynligheten for godtakingsfeil betegnes ofte med β
Teststyrke
Sannsynligheten for at en hypotese blir forkastet når den er er feil, kalles styrken til testen.
Vi har Π= 1- β der Π er styrkefunksjonen Styrken til testen avhenger av - Den sanne parameterverdien - Variansen i populasjonen - Antall observasjoner
Pensum: Inferens om én (uendelig) populasjon med ukjent standardavvik
- Inferens om gjennomsnittet
- antar normalfordelte målevariabler
- repetisjon av «målemodellen» - Inferens om standardavviket/variansen
- antar normalfordelte målevariabler
- nytt pensum - Inferens om en andel
- nominale variabler og binomisk modell
- delvis repetisjon
Inferens om endelige populasjoner. Hva sier teorien vi gjennomgår i kurset?
Teorien vi gjennomgår bygger på trekninger fra en uendelig populasjon
Med endelig populasjon blir trekninger uten tilbakelegging avhengige og variansen mindre
Eksempel stikkprøver i revisjon eller stikkprøver fra et vareparti
Inferens om et gjennomsnitt
Antar at X1, X2, X3 … Xn er uavhengige stokastiske variable med forventning mu og varians std^2.
En naturlig estimator er det aritmetiske gjennomsnittet.
Videre er det også naturlig å benytte det estimerte standardavviket som forventningsrett estimator for standardavviket med hensyn på den stokastiske variabelen(gjennomsnittet).
Hva kan vi si når X’ene er normalfordelte?
Disse standardiserte variablene (Z og T) kan brukes som testobservatorer når vi skal teste hypoteser om μ
For stor n (minst 50) kan t-fordelingen tilnærmes med normalfordelingen
Hvis n ikke er for liten gjelder setning (1) tilnærmet uten at observasjonene selv er normalfordelte pga. sentralgrensesetningen.
Det gjør i streng forstand ikke setning (2), men med stor n vi også den fungere som en tilnærming gitt at X ikke er for “unormalt” fordelt [fordi S da blir et ganske presist estimat for σ slik at (1) vil gjelde tilnærmet og (2) vil være tilnærmet lik (1) pga. stor n].
Testing av hypotese H0= mu = mu0
Når s kjent (el. n svært stor): Bruk Z som testobservator med μ = μ0
Når s ukjent: Bruk T som testobservator med μ = μ0
-Testobservatoren vil da ha kjent fordeling under H0
Kritisk verdi bestemmes av valgt signifikansnivå og av om alternativhypotesen HA er:
Tosidig HA: μ (ulik) μ0 eller
Ensidig HA: μ>μ0 evt. HA: μ<μ0
Dersom en tosidig test med kritiske verdier ± k har signifikansnivå α vil en ensidig test med kritisk verdi k ha signifikansnivå α/2
Når bruker vi ensidig test?
Når vi har a priori informasjon som tilsier at vi kan utelukke at sann verdi ligger til en av sidene for nullhypotesen
Når bare avvik til en av sidene er beslutningsrelevant.
Nullhypotesen bør da uttrykkes ved større eller lik/mindre eller lik, for eksempel H0: μ ≥ μ0
Når bruker vi en tosidig test?
Når alternativet kan ligge på begge sider av nullhypotesen, og avvik til begge sider er beslutningsrelevant
Inferens om et standardavik
I en populasjon med ukjent standardavvik/varians kan det også være aktuelt å teste hypoteser om s2
Slike tester er basert på kjikvadratfordelingen (χ2)(se s. 140 i for.notater)
Inferens om en andel
Anta en binomisk situasjon med to utfall
La X være antall “suksesser” i n forsøk
En rimelig estimator for den sanne andelen suksesser i populasjonen, p, (“population proportion” /sannsynligheten for suksess) vil være p’= X/n
Da har vi at p’ er tilnærmet normalfordelt med
Ep’ = 1/n EX = p
Var(p’) = 1/n^2 * VarX = p(1-p)/n
og vi kan konstruere en testobservator
Z = (p’-p)/sqr(p(1-p)/n) , som er tilnærmet standard normalfordelt.
Hva må til for at vi kan lage et konfidensintervall ved inferens om en andel?
Skal vi lage et konfidensintervall trenger vi et estimat for standardavviket til p’.
Siden Var(p') = p(1-p)/n er det naturlig å bruke
sigma’(p’) = sqr(p’(1-p’)/n) , som et estimat for standardavviket.
Konfidensintervallet blir da på formen: p’+- k*sigma’(p’) . (Hvor k avhenger av størrelsen på konfidensintervallet).
Hvor stor utvalgsstørrelse(n) vi trenger for å oppnå ønsket presisjon på estimatet finner vi ved å løse for B.
Det er derimot et problem at p’ er ukjent. Det gjør at vi har to muligheter.
- Sette p’ = 0,5 (gir maksimal varians)
- Bruke et tidligere anslag for p dersom et slikt er tilgjengelig.
Pensum: Inferens om to populasjoner
- Sammenligning av to gjennomsnitt fra normalfordelte populasjoner
a) Uavhengige utvalg
i. Lik varians
ii. Ulik varians
b) Matchede par - Sammenligning av to standardavvik/varianser fra normalfordelte populasjoner
- Sammenligning av to andeler
Hvordan fastsetter vi om vi skal benytte lik eller ulik varians ved sammenligning av gjennomsnitt fra to uavhengige utvalg?
Beslutningen om å anta lik eller ulik varians kan enten gjøres uformelt med utgangspunkt i estimatene for S1 og S2 og kunnskap om populasjonene, eller beslutningen kan baseres på formell testing av om variansene er like (se senere)
Sammenlikning av to gjennomsnitt: Matchede par (konstanteffektmodellen)
Anta at observasjoner fra de to populasjonene som skal sammenlignes kan ordnes i n par som er sammenlignbare langs en dimensjon som antas å være med å skape variasjon i datamateriale
La XDi være differansen innen par i, (i=1…n)
Da kan vi gjøre inferens omkring forskjellen mellom de to populasjonene ved å teste hypoteser om den gjennomsnittlige parvise differansen
Dermed er problemet redusert til å gjøre inferens om én populasjon av differanser
Forskjellen mellom “toutvalgsmodellen” og “matchede par / konstanteffektmodellen”
Anta at vi ønsker å teste om en ny produksjonsmetode er bedre enn en eksisterende
- Toutvalgsmodellen: La én gruppe med n1 arbeidere produsere med den gamle metoden, og trekk en annen gruppe med n2 arbeidere til å produsere med den nye metoden. Sammenlign gjennomsnittet til de to gruppene.
- Merk at noe av forskjellen mellom gruppene kan skyldes at de består av ulike individer med ulik produktivitet
- Matchede par/konstanteffektmodellen: La n arbeidere produsere først med den ene metoden og så med den andre. Mål forskjellen for hver arbeider og analyser gjennomsnittsforskjellen. Vi har da renset ut variasjon knyttet til systematiske forskjeller i resultat mellom ulike arbeidere
Observasjonsdata og tolkningsproblematikk
Forskjell på et kontrollert eksperiment og “observasjonsdata”.
Ved bruk av observasjonsdata (eks. lar individer velge frokosttype selv(fiberrik mat, mindre kalorier til lunsj-problemet)). kan det gå en årsakssammeheng mellom frokost og lunsjinntak. Det kan finnes en underliggende faktor, uten at det første forårsaker det andre.
Kontrollert eksperiment ville man justert dette slik at det ble likt i begge grupper og tolkningsproblemet hadde ikke oppstått.
Er et forsøksdesign med matchede par alltid bedre enn å bruke to uavhengige utvalg?
Nei, i teorien kan det være dårligere ettersom:
- Man mister mange frihetsgrader på å bruke matchede par til å estimere Var(X1-X2) [(n-1) vs. ( n+n-2) ved lik varians]
- Skal man få økt utsagnskraft må den egenskapen man bruker til å matche være en viktig forklaringsfaktor slik at man får redusert den variasjonen som ikke knytter seg til gruppetilhørigheten
- I eks. 13.5 kunne man kommet dårligere ut dersom karakterer hadde liten innflytelse på lønn
Forutsetningen om normalfordelte populasjoner
Både toutvalgsmodellen og konstanteffektmodellen bygger på en antagelse om at de to populasjonene er normalfordelte
(eller tilnærmet normalfordelte for stor n1 og n2)
Sammenligning av to varianser
Når vi sammenligner to varianser ser vi på forholdet S_1^2/S_2^2 heller enn differansen S_1^2-S_2^2 fordi forholdet kan knyttes til en kjent fordeling dersom de to populasjonene er normalfordelte.
F-fordeling
Forholdet mellom to kjikvadratfordelte variabler delt på deres respektive frihetsgrader er såkalt F-fordelt
Konfidensintervall for forholdet mellom to varianser. Når er dette nyttig?
Se, s, 172-173 i Forelesningsnotatene.
Dette er generelt nyttig når vi trenger en nedre grense fra en F-fordeling siden de nedre grensene ikke er tabulert.
Sammenligning av to andeler
Anta at vi lurer på om det er signifikant forskjell mellom to andeler/sannsynligheter
F.eks
- defektsannsynligheten ved to produksjonsmetoder eller
- Kjøpsannsynligheten blant individer tilhørende to ulike grupper konsumenter
Vi kan tenke på dette som to binomiske forsøksrekker (evt. tilnærmet binomiske hvis endelige utvalg og trekninger uten tilbakelegging)
Vi lar de relative hyppighetene være estimatorer for sannsynligheten p1 og p2 i hver av gruppene
Variansanalyse (ANOVA)
Variansanalyse er en utvidelse av toutvalgsmodellen og konstanteffektmodellen til situasjoner der vi ønsker å sammenligne to eller flere populasjoner (grupper)
Vi har en respons (målevariabel) og ønsker å analysere hvilke faktorer og evt. kjennetegn som forklarer variasjonen i denne
Faktorer (“treatments”/stimuli) kan i prinsippet kontrolleres i et eksperimentoppsett
Kjennetegn (“characteristics”) kan ikke kontrolleres, men kan brukes til å «matche» observasjonene
Hva blir nullhypotese og alternativhypotese ved en ANOVA-test?
Gi noen eksempler på hvor en ANOVA-test kan benyttes.
Nullhypotese: Alle gruppene har lik forventning
Alternativhypotese: Minst en er forskjellig
Eksempel
Testresultat forklart ved treningsopplegg
Salg forklart ved reklamekampanje og tilbudspris
Avling forklart ved bruk av gjødning, jordtype og evt. kombinasjonen av gjødning og jordtype
Produktkvalitet forklart ved produksjonsmetode og valg av råstoff
Pensum: ANOVA, variansanalyse
1. Enveis variansanalyse En faktor (treatment) med flere nivåer (levels) Generalisering av toutvalgsmodellen til flere populasjoner
- Multiple sammenligninger
- Toveis variansanalyse
a) Randomiserte blokker
Inndeling i blokker og én faktor
Generalisering av matchede par til flere populasjoner
b) To faktorer
Matematisk er analysen lik for tofaktormodeller og randomiserte blokker
hvis det bare er en observasjon per celle (kombinasjon) - Samspill
Mulig å analysere hvis vi har gjentatte observasjoner per celle i en toveis analyse
Enveist variansanalyse
Anta at vi har forskjellige observasjoner fra flere grupper som representerer variasjon i én mulig forklaringsfaktor. (eks. kvalitet på proukter produsert med ulike metoder)
X_ij er utfallet for observasjon i (av i alt nj observasjoner). tilhørende gruppe j (av i alt k grupper)
Her blir det som for andre tester slikt at
mu_j=gj.sn.X_j = 1/n_j *(Summen av X’ene)
Gjennomsnittet for alle n observasjonene er gjennomsnittet av hver gruppe av gjennomsnittet av hver observasjon i hver gruppe.
Dersom det er liten forskjell mellom gruppegjennomsnittene trekker det i retning av man beholder nullhypotesen. DA vil også forskjelen mellom gruppegjennomsnittene og det felles gjennomsnittet (X med to streker over) være liten.
Hvordan belyse om forskjellen mellom gruppegjennomsnittene skyldes tilfeldig støy eller systematikk ved ANOVA analyse.
Sammenligner et mål for variasjonen mellom gruppene (variasjon som kan forklares med gruppetilhørighet), med et mål for variasjonen innen gruppene (uforklart variasjon).
Den totale variasjonen i responsvariabelen er summen av disse to komponentene.
MST
SST/(k-1) kalles MST og er et variansmål
“Mean Square for Treatment”
(gjennomsnittlig kvadratavvik mellom grupper)
MSE
SSE/n-k kalles MSE og er et alternativt variansmål
“Mean Square for Error”
(gjennomsnittlig kvadratavvik innen grupper)
Hva kan vi vise formelt i forhold til MST og MSE
E(MST)=Var(X) bare under Ho og større enn Var(X) under Ha
E(MSE)=Var(X) både under Ho og Ha.
Det følger av dette at vi forkaster nullhypotesen om ingen systematiske forskjeller mellom gruppene ved store verdier av F
Multiple sammenligninger
Hvis vi forkaster nullhypotesen om ingen forskjeller mellom gruppene, vil vi gjerne gå videre og rangere gruppene og si noe om hvilke forskjeller som er signifikante
Dette kan gjøres ved å konstruere konfidensintervall for hver parvis differanse
HVa er det konseptuelt viktig å skille mellom når det kommer til multiple sammenligninger?
Konseptuelt er det viktig å skille mellom
- signifikansnivået for hver enkelt parvis sammenligning, dvs. sannsynligheten for feilaktig å påstå at to bestemte grupper har ulik forventning, og
- det felles signifikansnivået for alle de parvise sammenligningene (en totalgaranti), dvs. sannsynligheten for feilaktig å påstå signifikant forskjell mellom minst to grupper av alle dem som sammenlignes
(Signifikansnivået oppgitt ved Fishers LSD gjelder hver enkelt sammenligning, mens signifikansnivået oppgitt for Tukeys omega er totalgarantien
Hvis du i utgangspunktet planla å gjøre alle sammenligningene er det totalgarantien som er relevant)
I eksemplet foran er det tre metoder. Da må det gjøres 3 parvise sammenligninger [n*(n-1)/2]
Metode 1 mot metode 2
Metode 1 mot metode 3
Metode 2 mot metode 3
Med 5% signifikansnivå i de parvise sammenligningene er da sannsynligheten for minst én feil i størrelsesorden (1-0.95^3) = 14 %
Dette er et omtrentlig tall fordi beregningen ikke ta hensyn til avhengighet mellom de ulike parvise testene
Toveis variansanalyse
I mange situasjoner kan data kryssklassifiseres på flere grupper
Randomiserte blokker (Toveis variansanalyse)
Her kryssklassifiseres dataene ihht. en form for “treatment” kalt en faktor og et kjennetegn som ikke kan kontrolleres i forsøket men som antas å være med å forklare variasjonen i dataene
De med like kjennetegn utgjør en blokk, og inne blokken trekker man hvem som skal få hvilket “treatment”
Tofaktoranalyse
Her kryssklassifiseres dataene ihht. to faktorer, dvs. at hvert forsøksobjekt får to former for “treatment” samtidig
Eksempel med en situasjon der hver observasjon kan klassifiseres langs to dimensjoner, faktorene A og B
Eksempel: Planters vekst (X) forklares med faktorene gjødselsblanding (a grupper) og jordtype (b grupper)
Modell med rent additive effekter
Modellen er EX_ij = mu_ij = mu + a_i + b_j.
Her er da a(alfa)_i en estimator for avviket mellom gjennomsnittet og hvert nivå i av faktor A og det felles gjennomsnittet.
En tilsvarende estimator for B(beta) i forhold til hvert nivå j av faktor B og det felles gjennomsnittet.
Avviket mellom hver observasjon X_ij og vår prediksjon for faktorkombinasjonen ij er “uforklart variasjon” slik at vi får:
X_ij - X|(A)_i - X|(B)_j + X||
IV. Samspill mellom faktorer
- I tofaktormodellen uten samspill antas hver faktor å virke uavhengig av den andre
Eks.: De ulike produksjonsmetodene antas å ha samme effekt på kvaliteten uavhengig av hvilket råstoff som brukes - I mange tilfeller er dette lite troverdig
Eks.: En metode kan være mer egnet for en type råstoff enn for en annen type råstoff
Effekten av gjødning vil trolig variere med jordtype
Effekten av tilbudspris kan avhenge av om det har vært kjørt en reklamekampanje eller ikke
Effekten av et treningsopplegg kan være forskjellig for menn og kvinner
Ved samspill mellom flere faktorer kan totalvariasjonen nå spilittes opp i
SS(Total) = SS(A) + SS(B) + SS(AB) + SSE
og vi kan teste om samspilleffekten er fraværende (lik 0 ) med F-test.(formel se s. 219).
Faste effekter ved samspill mellom flere faktorer i en variansanalyse
Hvis alle nivåer av én faktor er representert i forsøket sier vi at estimatene representerer faste effekte.r
Tilfeldige effekter ved samspill mellom flere faktorer i en variansanalyse.
Dersom vi trekker et tilfeldig utvalg blant mulige nivåer for en faktor sier vi at estmatene representerer tilfeldige effekter
Hva kan være ulikt ved bruk av faste effekter eller tilfeldige effekter?
I noen sammenhenger vil estimeringsmetodene være forskjellig avhengig av om vi har et forsøksdesign med faste eller tilfeldige effekter
Formlene gjennomgått gjelder for modeller med faste effekter
Hvorfor kalles det variansanalyse, og ikke gjennomsnittsanalyse?
Av historiske grunner: Fordi det er variasjonen mellom gruppenes gjennomsnitt relativt til variasjonen innen gruppene som avgjør om vi konkluderer at det er signifikant forskjell.
Hvis variasjonen mellom gruppenes gjennomsnitt er stor relativt til variasjonen innen gruppene antar vi at de forskjellene ikke skyldes tilfeldigheter, men hvis det er liten variasjon mellom gruppene relativt til variasjonen innen gruppene kan observerte forskjeller i gjennomsnitt mellom gruppene like gjerne skyldes tilfeldigheter
Hva må man huske i forhold til ANOVA-modeller? (merknad 3)
Husk at ANOVA-modeller forutsetter at observasjonene er normalfordelte. Det finnes fordelingsfrie alternativ
Kruskal-Wallis test (enveis analyse) og Friedmans test (toveis analyse)
Disse bruker observasjonenes rang og er særlig aktuelle når observasjonene er gitt på en rangeringsskala (ordinale data)
Fordelingsfrie tester
Ved hypotesetesting forutsettes ofte de stokastiske variablene å være trukket fra en bestemt fordeling, vanligvis normalfordelingen
Ofte har vi få holdepunkter for å gjøre slike forutsetninger, og vi kan da trekke gale konklusjoner fordi modellen er feilspesifisert
For å unngå dette problemet er det utviklet en rekke såkalte fordelingsfrie (“ikke-parametriske”) tester, dvs. tester som ikke forutsetter at man kjenner hvilken sannsynlighetsfordeling som har generert dataene
Hva tar fordelingsfrie tester utgangspunkt i?
Fordelingsfrie tester tar ofte utgangspunkt i fortegn og rangeringer
- Det innebærer (vanligvis) at man ikke utnytter all informasjonen i datamaterialet, men det er noe av poenget – ved å nedtone ekstreme observasjoner får man resultater som er robuste i forhold til feil i dataene, eller feil antagelse om den bakenforliggende sannsynlighetsmodellen
- Det viser seg at man vanligvis taper lite i styrke, selv om dataene faktisk er normalfordelte
Ofte kan fordelingsfrie tester også brukes på ordinale data
Når benytter vi Wilcoxon test for to utvalg (Mann-Whitney-testen).
Hvordan fungerer den?
Situasjon: Vi ønsker å sammenligne to utvalg.
Eks: Sammenligning av to utvalg hvor det ene utvalget har fått en type “behandling” og det andre utvalget en annen
- Går arbeidet fortere med nytt spesialverktøy?
For å kunne bruke t-test som i kapittel 13 må vi ha normalfordelte målevariable (evt. et stort utvalg hvis dataene ikke er normalfordelte)
Ranger alle observasjonene. Se hvilket utvalg “som er i tet”.
Konseptuelt eksempel: Løper gutter raskere enn jenter i barnehagen?
Still barna opp i premierekkefølge. Er det en tendens til at guttene står lengst fram og jentene lengst bak?
Hvordan måler vi hvem som er i tet?
Vi kan bruke summen av ranger for det ene utvalget som testobservator.
- Den gruppen “som er i tet” vil ha lave tall
Under nullhypotesen om ingen forskjell mellom utvalgene har rangsummen en kjent tabulert fordeling (Tabell 9 i Keller)
Siden vi bare bruker observasjonenes ranger kan Wilcoxons test for to utvalg brukes både på ordinale data og på målevariabler (interval data)
Hvis de to utvalgene (med n1 og n2 observasjoner) er relativt store og jevnstore så er rangsummen under H0 tilnærmet normaltfordelt med
Hvis vi antar at de to utvalgene kommer fra fordelinger med samme “form” (bl.a. samme varians) er
H0: fordelingene har lik lokalisering og
HA: fordelingene har ulik lokalisering
Mer generelt kan testen tolkes som at H0 er like fordelinger og HA er ulike fordelinger
“sign test”
Brukes i situasjoner med parrede observasjoner og ordinale data
Eks.: Individer som rangerer to smaksprøver
Nullhypotesen er at det ikke er forskjell (mer presist; at medianforskjellen er null)
Da er positiv og negativ respons like sannsynlig og situasjonen kan modelleres som en binomisk forsøksrekke med p=0.5
Se testing av andel i kapittel 12
Kan gjøre ensidig eller tosidig test
Observasjoner med lik respons ignoreres
Wicoxons signed rank sum test
Hva er fremgangsmåten ?
Hvis vi har en måleskala kan vi si noe om størrelsen på forskjellen mellom to observasjoner
Tegntesten utnytter ikke slik informasjon
Det finnes imidlertid en test, Wilcoxons test for parrede observasjoner, som utnytter slik informasjon, uten å anta en bestemt underliggende fordeling
Man begynner med å regne ut differansen innen hvert par.
Testen antar at fordelinger av differansene er symmetrisk, og nullhypotesen er at fordelingen er sentrert omkring null (dvs. ingen systematisk forskjell)
Testen går ut på rangerer de differansene som ikke er null etter absoluttverdi og summerer rangen til de negative (evt. positive) differensene
Under nullhypotesen har denne summen en kjent tabulert fordeling (Tabell 10 i Keller)
I store utvalg (minst 20) er summen tilnærmet normalfordelt med (s.238)
Wilcoxons test for parrede observasjoner.
Ser på differansen mellom to utvalg og hver enkelt observasjon. Dersom differansene er normalfordelte kan det benyttes en t-test for å se om differansene er signifiaknt ulik 0. Dersom det er grunn til å tvile på om differansene er normalfordelte, bør vi bruke en fordelingsfri test. Wilcoxons test for parrede observasjoner.
Ved Wilcoxons test for parred observasjoner rangeres differansene etter absoluttverdi.
Deretter summerer man rangsummene for de positive og negative differansene hver for seg . Dette kalles i boka for T+ og T-.
Kuskal-Wallis-testen (“Fordelingsfri enfaktoranalyse”)
Det går ut på en generalisering av Wilcoxons test for to utvalg til flere utvalg
1) Rangerer alle observasjonene etter størrelse fra 1 til n
2) Regner ut rangsummen til hver gruppe, Ti
3) Bruker en kjikvadrattest til å sammenligne faktiske rangsummer, Ti, med forventede
Friedmans test (Fordelingsfri toveisanalyse)
Der man ved to utvalg ville brukt tegntesten, bruker man Friedmans test når det er flere utvalg
Friedmans test brukes når man har et forsøksdesign med randomiserte blokker, men hvor man ikke kan bruke variansanalyse fordi det er grunn til å anta at responsvariabelen ikke er normalfordelt
(den kan f.eks. være en ordinal variabel)
Kjikvadrattester
Pensum:
tester brukt på kategoridata (nominale data) med to eller flere utfall
Testobservatoerene er tilnærmet kjikvadratfordelt - derav navnet på testene
- Kjikvadrattest for modelltilpasning (“Goodness-of-fit”)
- Kjikvadrattest for uavhengighet/samvariasjon (Kontigenstabeller)
Multinomisk situasjon
En situasjon der et forsøk kan ha flere utfall
Relevant i forhold til Kjikvadrattest for tilpasning til en diskret modell
Kjikvadrattest for tilpasning til en dirkret modell
Anta at et “forsøk” har k mulige utfall:
u1, u2 , … , uk
Vi tror at sannsynligheten for at en tilfeldig observasjon tilhører en bestemt kategori er
p1, p2 , … , pk med Σpi=1
Vi har da spesifisert en sannsynlighetsmodell, og vi vil ønske å teste om modellen passer med data
Anta at vi har n observasjoner/forsøk
Antall observasjoner (frekvensen) i kategori i er fi
Forventet antall observasjoner i kategori i er
ei = Efi = n·pi
Vi vurderer om modellen samsvarer med observasjonene ved å sammenligne avviket i hver kategori mellom faktisk antall observasjoner og forventet antall observasjoner (fi - ei)
Dersom enkelte parametre i den modellen vi vil teste estimeres med utgangspunkt i observasjonene, reduseres antall frihetsgrader med én for hver estimert parameter
Intuisjon: Når uspesifiserte deler av modellen blir estimert med utgangspunkt i de samme observasjonene som vi skal bruke til å teste modellen med, forventer vi bedre overensstemmelse mellom modellen og observasjonsmaterialet. Forventningen til χ2, som er lik antall frihetsgrader, bør da bli mindre.
Merk at kjikvadrattesten i utgangspunktet er en tosidig test
Den skiller ikke mellom positive og negative avvik pga. kvadrering og vi forkaster modellen bare for store verdier av χ2
Kjikvadrattesten for modelltilpasning kan brukes til å teste om et datamateriale kommer fra en hvilken som helst fordeling
En aktuell anvendelse er å teste om data er normalfordelte med forventing lik det observerte gjennomsnittet og varians lik det empiriske standardavviket
Del mulighetsområdet opp i intervaller slik at alle intervaller har en forventet frekvens på minst 5, gitt H0 og utvalgsstørrelsen
Regn ut forventet frekvens i hvert intervall og sammenhold med observerte frekvenser ihht. testen
Kjikvadrattest for uavhengighet
Anta at vi har observasjoner som kan karakteriseres ved to kjennetegn, a og b
Eks.: Individdata med opplysning om yrkesstatus og holdning til et bestemt produkt
Anta at a kan klassifiseres i r kategorier og at
b kan klassifiseres i s kategorier
Spørsmål: Er kjennetegnene a og b uavhengige?
Gitt n observasjoner som klassifiseres og tabelleres i en hyppighetstabell med (r x s) mulige utfall
La pij være sannsynligheten for at en tilfeldig observasjon klassifiseres som (ai,bj), og pi@ og p@j (@= svart prikk) være de marginale sannsynlighetene hhv. ai og bj . Vi vil teste
H0 : pij = pi@·p@j for alle i og j (uavhengighet)
De marginale sannsynlighetene kan estimeres med:
p’_1@ = f_i@/n og p’@j = f@j/n.
Ved uavhengighet forventer vi e_ij observasjoner i celle ij der: e_ij = Ef_ij ~n(fi@f@i /n).
Antagelsen om uavhengighet er en antagelse om en bestemt sannsynlighetsmodell siden den tilordner en gitt sannsynlighet pij til ethvert mulig utfall og Σpij=1.
Vi kan da bruke kjikvadrattesten for modelltilpasning til å teste om observasjonene er i overensstemmelse med den antatte modellen (dvs. teste uavhengighet i alle celler)
Samvariasjon mellom ordinale variable
Husk at avhengighet/samvariasjon i seg sevl ikke sier noe om årsaksforhold (kausalitet)
Dersom de kjennetegnene vi analyserer kan ordnes på en skala (dvs. at vi har ordinale, ikke nominale kategorivariable), kan vi snakke om positiv og negativ samvariasjon.
Man kan bruke kjikvadrattest til å analysere samvariasjon mellom ordinale variabler
F.eks. kryssklassifiserte data på aldersgrupper og holdning til et produkt
Men da kaster man (kanskje) bort noe informasjon, siden man ikke utnytter det at kategoriene kan rangeres
Et bedre mål for samvariasjon mellom ordinale data er Spearman’s rangkorrelasjon
Dette er behandlet i kapittel 19.4 (fordelingsfrie metoder)
Spearman’s rangkorrelasjon
Den “vanlige” (Pearson) korrelasjonskoeffisienten måler lineær korrelasjon, og eksakt inferens forutsetter såkalt binormal fordeling (se neste plansje)
Et alternativ er å rangere de n observasjonene av hver variabel innbyrdes fra 1 til n, og bruke korrelasjonskoeffisienten mellom rangene
Dette målet kalles Spearmans rangkorrelasjon, fanger også opp ikke-lineær samvariasjon og forutsetter ikke en spesiell fordeling
Det finnes egne tabeller for hvordan dette målet er fordelt under en nullhypotese om ingen korrelasjon
(Tabell 11 i Keller)
Regresjonsanalyse
Variansanalyse forsøker å forklare variasjon i en målevariabel med gruppetilhørighet, dvs. med kategorivariable
Ofte ønsker vi imidlertid å modellere variasjon (respons) i en målevariabel med variasjon i andre variabler (forklaringsvariabler) uten å måtte begrense oss til kategorivariable
Eksempel I: EY= Beta0 +Beta1 X, der Y er salg og X er reklame
Eksempel II: EY= Beta0 +Beta1 L+ Beta2 K, der Y er produksjon, L er arbeidskraft og K er kapital.
Med utgangspunkt i data ønsker vi å estimere de ukjente parameterene (beta0 , beta1 og beta2), lage konfidensintervaller for estimatene og teste hypoteser om parameterverdiene
Basert på estimatene kan vi også predikere Y for hypotetiske verdier av forklaringsvariablene og konstruere prediksjonsintervaller
Kapittel 16 tar for seg minste kvadraters regresjonsanalyse (“OLS”) med én forklaringsvariabel, såkalt enkel regresjon
Enkel regresjonsanalyse har først og fremst pedagogisk verdi
Formlene er relativt enkle, og teknikken lar seg enkelt illustrere grafisk
Resultatene lar seg generalisere til tilfellet med flere forklaringsvariabler (multippel regresjon), men formelverket blir da mer komplekst (med mindre man innfører såkalt matrisenotasjon)
Langt de fleste anvendelser av regresjonsanalyse inneholder flere forklaringsvariabler
Regresjonsanalyse er trolig “verdens mest brukte” statistiske analysemetode, og det finnes en lang rekke spesialiserte teknikker som ikke omtales i boken
Eksempel:
For bruktbilforhandlere er “listepris” et viktig verktøy for verdibestemmelsen av biler
I USA utgis månedlig en såkalt Red Book med gjennomsnittlig omsetningspris for ulike bilmodeller
Når en spesifikk bil skal verdibestemmes må man imidlertid justere for kjørelengde
En forhandler ønsket å gjør en nærmere analyse av sammenhengen mellom kjørelengde og oppnådd pris
Han plukket tilfeldig ut 100 Toyota Camry i topp stand og med en bestemt utstyrspakke, som hadde vært solgt på bilauksjoner den siste måneden
Pris og kjørelengde ble notert (i datasettet Xm16-02)
Det ser ut til å være en lineær tendens i sammenhengen mellom pris og kjørelengde
Hva er forventet pris for en gitt kjørelengde?
Følgende modell for sammenhengen synes rimelig
E(Pris) = beta0+ beta1 · miles
Pris = beta0+ beta1 · miles + ε , der E(ε) = 0 Koeffisientene beta0 og beta1 kan bestemmes ved å gjøre en regresjonsanalyse basert på minste kvadraters metode Leser dataene inn i Gretl og trykker på “regresjonsknappen”: Model – Ordinary Least Squares … Dependent variable:Price Independent variables:Const Odometer
Den lineære enkle regresjonsmodellen
E(Y|X) = beta0 + beta1X
Git n sammenhørende observasjonssett
(Y_i, X_i) i=1,2,..,n, kan vi skrive
Y_i = beta0+beta1X_i + ε_i
εi ’ene er stokastiske variable (“feilledd”), som antas innbyrdes uavhengige, med Eεi= 0 og konstant varians sigma_ε^2 (dermed er også Yi stokastisk med betinget varians sigma_ε^2 )
X er deterministisk, evt. stokastisk og uavhengige av ε
Dersom vi i tillegg antar at εi ’ene normalfordelte kan vi gjøre inferens
Vi ønsker å estimere de ukjente parameterne beta0 og beta1 basert på observasjoner av Y som varierer tilfeldig omkring sin forventing, E(Y|X), med ε som et stokastisk feilledd
Minste kvadraters metode
Regresjonen E(Y|X) bestemmes ved å legge “linjen” slik at kvadratsummen av forskjellene mellom observert verdi og beregnet forventingsverdi for de n observasjonen er minst mulig, dvs. ved å minimere “Sum of Squared Errors”(SSE), mhp. b0 og b1 som er våre estimater for de ukjente parameterne beta0 og beta1.
Dette kan skje ved å derivere uttrykket mhp. b0 og b1 hver for seg og sette de deriverte lik null. Vi får da 2 ligninger til bestemmelse av de to estimatene
Hvorfor er minste kvadraters metode så populær?
Gitt de forutsetningene vi har gjort om εi og Xi kan en vise at de estimatene for b0 og b1 som en får ved å bruke minste kvadraters metode er
- forventningsrette og har minst varians blant alle tenkelige estimatorer som er lineære kombinasjoner av Y-verdiene
(dvs. kan skrive som ΣwiYi der w er vilkårlige vekter)
Med normalfordelte εi kan en endatil vise at minste kvadraters estimatorene har minst varians blant alle tenkelige forventningsrette estimatorer
I tillegg er metoden enkel!
Forutsetninger for å benytte en regresjonsmodell
1) E(ε) = 0
tilnærmet trivielt når modellen har et konstantledd
“) σ_ε er konstant for alle X
brudd på denne forutsetningen kalles heteroskedastisitet
3) ε_i er uavhengig av εj for alle i og j
et vanlig brudd på denne forutsetningen er autokorrelasjon
4) Dersom X-variabelen ikke er deterministisk, men stokastisk, må den være uavhengig av ε
Brudd på denne forutsetningen er svært alvorlig, fordi det skaper forventningsskjeve estimater. Avhengighet mellom X og ε kalles endogenitet. Det er et sentralt tema i økonometri, men er ikke behandlet i boken.
5) Tilleggsforutsetning: Normalitet
- Forutsetningene på forrige plansje er det som skal til for at estimatene for b0 og b1 skal være forventningsrette og ha minst varians (innenfor klassen av lineære estimatorer)
- Vanligvis er vi ikke fornøyde med bare å beregne b0 og b1 (som er punktestimater for de ukjente parameterne beta0 og beta1)
- Vi ønsker også å kunne teste hypoteser og lage konfidensintervaller basert på modellen
- Da må vi gjøre en tilleggsantagelse om at ε er normalfordelt
Hva kan den estimerte regresjonen benyttes til?
1) Vurdere brukbarheten av modellen
2) Teste forklaringsvariabelens betydning
3) Estimere EY (Ŷ med CI) for gitte X-verdier
estimert EY er en usikker størrelse fordi b’ene er usikre
4) Predikere ny Y (Ŷ med PI) for gitte X-verdier
- faktiske nye Y-verdier vil avvike fra estimert forventet verdi av to grunner:
· avvik mellom estimert og sann EY (usikre b’er som over) de stokastiske feilleddene
1) Hvor godt passer modellen med dataene?
Residualer (restledd eller feilledd)
De beregnede verdiene Y’ = b0 + b1X ligger på regresjonslinjen og forskjellene e_i = Y_i - Y’_i kalles residualer.
Residualene e kan betraktes som estimater for de sanne feilleddene ε. De kan brukes til å
a) Teste hvor godt regresjonslinjen føyer dataene
b) Teste forutsetningene vi har gjort om ε
a1) Standardavviket til residualene, S
Hvis modellen er god bør observasjonene “i gjennomsnitt” ligge nær regresjonslinjen
Et mulig mål for dette er standardavviket til feilleddet, σε
σ_ε er en ukjent parameter, men vi kan estimere den basert på de beregnede residualene e
a2) Forklaringsgraden, R^2
Et annet og enda mer brukt mål på hvor godt modellen passer til dataene er forklaringsgraden, R2, også kalt determinasjonskoeffisienten
R2 er et mål på hvor stor andel av variasjonen i Y modellen kan forklare
Et mål på den totale variasjonen i Y er “Total Sum of Squares”(SS(Total))
Den variasjonen i Y som modellen ikke kan forklare er “Sum of Squared Error”(SSE).
Forklaringsgraden til modellen kan uttrykkes som:
R^2 = (SS(Total)-SSE)/SS(Total) = forklartvariasjon / total variasjon
En kan vise at R2 er kvadratet av korrelasjons-koeffisienten, r, mellom X og Y, derav navnet.
b) Å teste forutsetningene vi har gjort om ε
Vi ønsker å teste om feilleddene har konstant varians, er innbyrdes uavhengige og om de er normalfordelte
Til dette bruker vi de estimerte residualene, evt. såkalte standardiserte residualer som er residualene delt på deres standardavvik
Standardiserte residualer
Resdidualene delt på deres standardavvik. Benyttes når vi skal teste om feilleddene har konstant varians.
b1) Normalfordelte feilledd
Dersom feilleddene er normalfordelte bør et histogram av residualene ha “klokkefasong” og standardiserte residualer større enn 2 i absoluttverdi bør være “uvanlig”
De skal også utgjøre en rett linje (normalfordeling) ved (Normal Probability Plot of the residuals.)
b2) Konstant varians (homoskedastisitet
Feilleddene skal ha lik varians, uavhengig av X
I så fall forventer vi at et plott av feilleddene mot X-verdiene, evt. de predikerte Y-verdiene, ikke skal vise noe spesielt mønster
Ikke sjelden kan variansen til feilleddene øke med økene verdier av X eller Ŷ
Dette kalles heteroskedastisitet
Da er ikke lenger minste kvadraters metode den “beste” estimatoren og inferens er ikke gyldig, men estimatene er fortsatt forventningsrette
b3) Innbyrdes uavhengige feilledd
Avhengighet mellom feilleddene til ulike observasjoner kan oppstå av forskjellige grunner
Den vanligste årsaken er autokorrelasjon
Autokorrelasjon kan oppstå i tidsseriedata og innebærer at feilleddet på tidspunkt t er positivt eller negativt korrelert med feilleddet på tidspunkt t+1
Lik konkjunktursituasjon i to påfølgende perioder kan for eksempel gi positiv autokorrelasjon dersom vår modell ikke kontrollerer for konjunkturer
Med autokorrelerte feilledd er ikke lenger minste kvadraters metode den “beste” estimatoren og inferens er ikke gyldig, men estimatene er fortsatt forventningsrette
2) Å teste hypoteser om stigningstallet beta1
Hvis vi har tilstrekkelig mange observasjoner og det ikke er noen sammenheng mellom X og Y vil vi estimere en flat regresjonslinje.
Med et begrenset antall observasjoner vil vi kunne få tilfeldige avvik fra null selv om det ikke er noen sann sammenheng mellom X og Y
Vi har derfor behov for å kunne teste hypoteser om størrelsen på de sanne koeffisientene (β’ene) med utgangspunkt i de estimerte verdiene (b’ene)
Vi ønsker vanligvis å teste nullhypotesen H0: beta1 = 0 mot H1: beta1 ulik 0.
En egnet testobservator er T.
Som er t-fordelt med n-2 frihetsgrader under H0
For å utføre testen trenger man også standardavviket til b1.
Regresjonsprogrammer som Minitab oppgir T-verdi for hver estimert koeffisient, og tilhørende P-verdi for tosidig test (Hvis ensidig test er det relevante må oppgitt P-verdi halveres)
En kan også bruke T-test til å teste mot andre verdier enn null
Konfidensintervaller for beta-estimatene
Når vi har estimert en effekt som er signifikant forskjellig fra null vil vi være interessert i å beregne et konfidensintervall for størrelsen på effekten
Det er enkelt når vi kjenner standardavviket til koeffienten, slik at konfidensintervallet blir
beta1 = [b1-kS(b1), b1 + ks(b1)], der k hentes fra T-tabell med n-2 frihetsgrader.
Med 95% kofindensintervall og stor n blir k=1,96.
3) Konfidensintervall for EY
Se andre liste.
4) Prediksjonsintervall for ny Y
Et intervall som med gitt sannsynlighet fanger opp enkeltstående nye verdier av Y for gitte verdier av X kalles prediksjonsintervall
Dette vil være videre enn konfidensintervallet til EY, siden det omfatter både usikkerhet i estimeringen av EY og at realisert Y varierer omkring EY
For å beregne et prediksjonsintervall trenger vi å kjenne standardavviket til avviket mellom en ny Y-verdi og dens estimerte forventning: S(Y-Ŷ)
Oppsummering av standardavvikene. Sε S (b1) S (Ŷ) S (Y-Ŷ)
Sε Estimert standardavvik til feilleddet
S (b1) Estimert standardavvik til stigningstallet. (regresjonskoeffisienten til X)
S (Ŷ) Estimert standardavvik til estimert forventet Y
S (Y-Ŷ): Estimert standardavvik til prediksjonsfeilen.
Diagnoseplott: Konstant varians (homoskedastistitet):
Plott residualene mot en variabel du mistenker at variansen er en funksjon av, for eksempel predikert Y eller tid (formelle tester finnes)
Diagnoseplott: Uavhengige feilledd:
Plott residualene mot tid, se etter autokorrelasjon (formelle tester finnes)
Diagnoseplott: Normalitet
Plott residualene i histogram eller bedre; plott residualene mot deres normalskår (formelle tester finnes)
Diagnoseplott: Avvikende observasjoner:
Grovt sett: Sjekk observasjoner med residualer større enn 2 standardavvik (gis av programvare)
Diagnoseplott: Spesielt innflytelsesrike observasjoner (high leverage):
Bruk programvare til å plukke dem ut, sjekk sensitivitet
Vi ønsker å se nærmere på observasjoner som har stor innflytelse på hvor regresjonslinjen legges
Minitab kan plukke dem ut for oss
- Se output på tidligere plansje (“Unusual Observations” merket “X”)
Dette vil typisk være avvikende observasjoner (“outliers”)
Dersom slike observasjoner skyldes feil i dataene, eller er atypiske er de svært skadelige for analysen
Dersom det ikke er noe galt med disse observasjonene er de svært verdifulle for analysen
Er du i tvil bør du vurdere å rapportere resultater med og uten slike observasjoner
Konsekvensen av brudd på forutsetningene som minste kvadraters metode bygger på
- Ikke konstant varians:
- Ikke uavhengige feilledd:
- Ikke normalfordelte feilledd:
- Ikke uavhengighet mellom forklaringsvariablene og feilleddet:
Ikke konstant varians:
- Vanlig minste kvadraters metode gir forventingsrette estimat, men det er ikke lenger den mest “effektive” estimatoren, og inferensen er ikke gyldig
Ikke uavhengige feilledd:
- Vanlig minste kvadraters metode gir forventingsrette estimat, men det er ikke lenger den mest “effektive” estimatoren, og inferensen er ikke gyldig
Ikke normalfordelte feilledd:
- Inferens er ikke gyldig i små utvalg, dvs. at hypotesetester, konfidensintervaller etc. kan bli feil. Hvis avvikene fra normalitet ikke er for sterke går inferens bra i store utvalg, og normalitet er heller ikke en forutsetning for at miste kvadraters metode skal være en “effektiv” estimator
Ikke uavhengighet mellom forklaringsvariablene og feilleddet:
- Får forventningsskjeve estimater!!
- Men, metoden kan fremdeles fungere for prediksjonsformål
