Statistical Outliers in pp data

Question 1

Mitä tutkitaan?

Answer 1

Miten tunnistaa tilastollisia poikkeavuuksia psykofyysisistä tiedoista, joissa taustalla olevia otantajakaumia ei tunneta.

Question 2

Menetelmät karkeasti

Answer 2

8 menetelmää kuvataan, ja jokainen on arvioitu käyttämällä tyypillisen psykofyysisen kokeen Monte Carlo -simulaatiota.

Question 3

Mitkä ovat päätulokset?

Answer 3

Parhaan menetelmän on osoitettu perustuvan leviämismittaan (a measure of spread) ’Sn’
>On osoitettu olevan sensitiivisempi kuin suosittu heurestiikka, joka perustuu keskipoikkeamiin
>On osoitettu olevan luotettavampi kuin ei-parametriset menetelmät, jotka perustuvat prosenttipisteisiin tai kvartiiliväliin

Question 4

muuta?

Answer 4

Mukana on myös MATLAB-koodi Sn laskemiseen

Question 5

Mitä tarkoittaa ’statistical outliers’?

Answer 5

Tilastolliset poikkeamat ovat havaintoja, jotka poikkeavat epänormaalisti tietojen yleisestä mallista. Ne tuotetaan usein prosesseilla, jotka eroavat laadullisesti päätietojoukosta.

Question 6

Mitä menetelmien vertailussa arvioitiin?

Answer 6

• osumatarkkuutta
• väärien osumien astetta
• robustisuutta

Question 7

SD3 tulokset?

Answer 7

SD3-säännöllä menetelmä tunnisti ei-poikkeamat, mutta huonosti poikkeamat (konservatiivisuus) Ongelma korostui kun poikkeamien osuus kasvoi.

Kun poikkeamien osuus oli erittäin pieni, SD3 toimi suhteellisen hyvin, koska se määrittää havainnon helpommin ei-poikkeamaksi verrattuna muihin menetelmiin

Question 8

SD2 tulokset?

Answer 8

Osumatarkkuus parani, mutta se tunnisti useammin ei-poikkeamat väärin, etenkin silloin, kun poikkeamien osuus oli pieni

Question 9

GMM tulokset?

Answer 9

Samat ongelmat kuin SD säännöllä, mutta se oli robustimpi, eli ongelmat eivät korostuneet poikkeamien osuuden kasvaessa

Question 10

rSD tulokset?

Answer 10

Yleisesti korkeat osumatarkkuudet, mutta poikkeamien osuuden ollessa yli 10% siinä oli kuitenkin jyrkkää laskua. Myös väärien osumien aste oli korkea

Question 11

Parametrittomien sääntöjen tulokset?

Answer 11

Parametrittomat säännöt toimivat pääsääntöisesti parametrisiä paremmin.

Question 12

Missä tilanteissa parametriset säännöt olivat parametrittomia parempia?

Answer 12

Poikkeuksena:
- tilanteet, joissa poikkeamien osuus oli hyvin pieni
- prctile sääntö (jos hylkäämisalue oli määritelty hyvin)

Question 13

IQR ja Tukey tulokset?

Answer 13

Sekä IQR että Tukey oli korkea osumatarkkuus, kun poikkeamien osuus oli alle 20% Osumatarkkuus kuitenkin laski korkeammilla poikkeamien osuuksilla
- Tämä oli odotettavissa sillä kvartiilivälin sietopiste on 25%
- Väärien osumien asteet olivat myös Sn sääntöä korkeammat

Question 14

MADn ja Sn sääntöjen tulokset?

Answer 14

Pärjäsivät yhtä hyvin. Pienillä poikkeamien osuuksilla (<20%) olivat yhtä tarkkoja kuin muutkin säännöt, mutta niillä oli muita sääntöjä korkeampi robustisuus

Question 15

Miten Sn eroaa MADn säännöstä?

Answer 15

Sn-menetelmällä oli hieman pienempi väärien osumien aste verrattuna MADn-sääntöön, ja sen toiminta ei vaadi jakauman symmetrisyyttä

Question 16

Mikä aiheuttaa poikkeamia aineistoon?

Answer 16

• tekniset virheet
• virheet aineiston tallennuksessa
• koehenkilöt joko tahallaan tai tahattomasti ovat toimineet ohjeistuksen vastaisesti

Question 17

Mitkä ovat kolme lähestymistapaa poikkeamien tunnistamisessa?

Answer 17

1. Poikkeamia ei huomioida
2. Etsitään manuaalisesti poikkeamat aineistosta omaa harkintakykyään käyttäen
3. Poikkeamat määritellään numeerisesti jotain tilastollista heurestiikkaa eli sääntöä käyttäen

Question 18

Mitkä ovat parametrisiä menetelmiä?

Answer 18

• SD
• GMM
• rSD
• (toimivat parhaiten normaalijakaumalla)

Question 19

Mitkä ovat parametrittomia menetelmiä?

Answer 19

• IQR
• prctile
• Tukey
• MADn
• Sn

Question 20

SD-menetelmän toimivuus?

Answer 20

Yksi käytetyimpiä tapoja, mutta
1. Keskiarvo ja -hajonta ovat sellaisia tunnuslukuja, joita poikkeamat vääristävät helposti
2. Säännön käyttö olettaa, että aineisto on symmetrisesti jakautunut (toimii parhaiten normaalijakaumalla)

Question 21

Mikä on gaussilaisen sekamallin tehtävä?

Answer 21

Primäärin komponentin avulla lasketaan otokselle keskiarvo ja -hajonta

Sekundääri komponentti estää, etteivät poikkeamat vääristä primäärin komponentin otoskeskiarvoa ja -hajontaa

(Voi olla enemmän kuin 2 komponenttia)

Question 22

rDS-sääntö toimivuus?

Answer 22

Vaatii toimiakseen symmetrisesti jakautuneen aineiston ja toimii parhaiten normaalijakaumalla

Question 23

IQR-sääntö toimivuus?

Answer 23

1. Sietää paremmin isoja määriä poikkeamia, koska mediaani ja kvartiilivälin pituus ovat robusteja tunnuslukuja
2. Toimii parhaiten symmetrisesti jakautuneelle aineistolle, vaikkei tarvitsekaan olla normaalijakautunut

Question 24

prctile-sääntö toimivuus?

Answer 24

1. Havaintojen määrittelyssä ei hyödynnetä mitenkään aineiston hajonnasta saatua informaatiota :(
2. Se, kuinka suuri prosenttiosuus havainnoista määritetään poikkeamiksi on tutkijan valittavissa :(

Question 25

Tukey-sääntö toimivuus?

Answer 25

• Hyödyntää hajonnasta saatua informaatiota :)
• Ja näiden käyttö lisää jonkin verran toimivuutta ei-symmetrisesti jakautuneiden aineistojen kanssa :)

Question 26

MADn-sääntö toimivuus?

Answer 26

1. IQR:ää robustimpi -> MADn-hajontaluku vääristyy vasta, kun 50% havainnoista on poikkeamia :)
2. Toimii parhaiten symmetrisesti jakautuneilla muuttujilla :(

Question 27

Sn-sääntö toimivuus?

Answer 27

1. Sn-tunnusluku on hyvin robusti :)
2. Toimiva myös ei-symmetrisesti jakautuneilla aineistoilla :)
3. Haastava laskea :(, tietokonelaskennan kehittyessä ei välttämättä enää ongelma:)

Question 28

Mitkä olivat tulokset otoskoon vertailun osalta? (keskikokoinen ja suuri)

Answer 28

Sääntöjen toimivuudessa ei ollut kauheasti eroa verrattaessa keskikokoista (32) ja suurta (128) otosta
- mutta rSD-säännön väärien osumien osuus kasvoi suurilla otoksilla.
- Sn toimi parhaiten paitsi tilanteissa joissa poikkeamien osuus otoksessa oli erityisen pieni

Question 29

Mitkä olivat tulokset otoskoon vertailun osalta? (pieni)

Answer 29

Pienillä (8) otoksilla suurin osa säännöistä ei pystynyt tunnistamaan enempää kuin yhden poikkeaman
- rSD ja prctile olivat täysin toimintakyvyttömiä
- Sn ja MADn säilyttivät hyvin robustisuutensa
- GMM sääntö toimi hyvin suhteessa muihin: sen osumatarkkuus oli korkeampi kuin Sn ja MADn, kun poikkeamien osuus oli yli 33%

Question 30

Johtopäätökset sääntöjen toimivuudesta?

Answer 30

• Sn paras toimivuudeltaan, kun vertailtiin osumatarkkutta, väärien osumien astetta ja robustisuutta
• Sn:n käyttöä pitäisi suosia ellei ole erityistä syytä sen välttämiseksi
• MADn ja Sn välillä ei ollut paljon eroa > MADn käyttöä voi harkita (tarvitsee kuitenkin symmetrisen jakauman toimiakseen, toisin kuin Sn)
• SD ja sen johdannaiset olivat huonoja melkein kaikissa tilanteissa ja niiden käytölle pitäisi olla erittäin hyvät perustelut

Question 31

Mitä haittoja poikkeamien poistamisella on?

Answer 31

Yleisesti pidetään huonona ratkaisuna, koska harvoin voidaan olla täysin varmoja, että tunnistetut poikkeamat ovat oikeasti poikkeamia, eivätkä esim. vinon jakauman ei-poikkeavia ääriviivoja

Tunnistettujen poikkeamien poistaminen voi tässä tapauksessa johtaa mahdollisesti mielenkiintoisten havaintojen poistamiseen

Poikkeamien poistolla voidaan pahimmassa tapauksessa myös manipuloida tuloksia tukemaan virheellisiä johtopäätöksiä

Question 32

Mitä hyötyjä poikkeamien poistamisesta on ja mitä ohjeita niiden poistoon annetaan?

Answer 32

• tietyissä tilanteissa niiden pitäminen aineistossa vääristää tuloksia merkittävällä tavalla
• Pitäisi tilastollisia sääntöjä käyttäessä hyödyntää myös maalaisjärkeä
• Raportoidessa: poikkeavat havainnot pitäisi merkitä mukaan aineiston esittelyyn ja pitäisi kertoa, jos poikkeamien poisto voi mahdollisesti vaikuttaa jotenkin tutkimuksessa tehtyihin johtopäätöksiin