State-of-the-art methods for identifying statistical outliers

Question 1

Mikä on SD menetelmän kaava?

Answer 1

x<ka-lambdakeskihajonta tai x>ka+lambdakeskihajonta

Question 2

Mikä on GMM kaava?

Answer 2

x<ka-lambdakeskihajonta tai
x>ka+lambdakeskihajonta

Question 3

rSD kaava?

Answer 3

x>ka+lambdakeskihajonta tai
x>ka-lambdakeskihajonta

tätä jatketaan n kertaa niin kauan kuin löytyy outliereitä

Question 4

IQR kaava?

Answer 4

x<md-lambdaiqr
tai
x>md+lambdaiqr

-alakvartiili P25 ja yläkvartiili P75

Question 5

prctile kaava?

Answer 5

x>𝑷(alaviite 𝝀)
x<𝑷(alaviite 𝟏−𝝀)

Esimerkki lasku:
0,10⋅ (12+1) =1,3
0,90⋅ (12+1) =11,7
𝑃 (alaviite10)=1,5 𝑃 (alaviite90)=10

Jossa 12 on otokoko ja nyt hylättäisiin ensimmäinen ja viimeinen arvo

Question 6

Tukeyn kaava?

Answer 6

𝒙 > (𝑷 (alaviite𝟕𝟓) +𝝀𝒊𝒒𝒓)
tai
𝒙 < (𝑷 (alaviite𝟐𝟓) −𝝀𝒊𝒒𝒓)

P(alaviite75) on aineiston 75% kohdalle osuva numero

P(alaviite25) on aineiston 25% kohdalle osuva numero

IQR=P(alaviite75) miinus P(alaviite25)

Question 7

Miten MAD lasketaan MAD kaavassa?

Answer 7

1. Miinustetaan jokainen haviantoarvo aineiston mediaanista
2. Muutetaan jokainen saatu luku positiiviseksi
3. Asetetaan saadut luvut suuruusjärjestykseen ja katsotaan näistä luvuista mediaani
4. MAD

Question 8

Miten lopullinen MAD arvo lasketaan?

Answer 8

1. Miinustetaan aineiston jokainen arvo aineiston mediaanilla ja muutetaan positiiviseksi
2. Jaetaan jokainen luku MAD-arvolla
3. Katsotaan mitkä saadut arvot ovat yli lambda-arvon = outlierit

Question 9

Miten Sn kaavaa käytetään?

Answer 9

1. Miinustetaan jokainen aineiston arvo aineiston jokaisella muulla arvolla (ei itsellään)
2. Otetaan jokaiselta riviltä saatujen lukuarvojen mediaanit
3. Otetaan mediaaneista niiden mediaani
4. Mediaani kerrotaan c-kertoimella = saadaan Sn
5. Nyt jokaiselle riville saatu oma mediaani jaetaan Sn-luvulla
6. Katsotaan onko mikään arvo yli lambda arvon

Question 10

Mitkä testit ovat parametrisiä(keskihajontapohjaisia) testejä?

Answer 10

SD, GMM, rSD

Question 11

Mitkä testi ovat epäparametrisiä (mediaani/kvartiilipohjaisia) testejä?

Answer 11

IQR, prctile, Tukey, MADn, Sn

Question 12

Miksi on SD menetelmää kutsutaan?

Answer 12

Keskihajonta menetelmäksi

Question 13

Mitkä ovat SD:n puutteet?

Answer 13

Keskiarvo ja keskihajonta helposti vääristyvät hyvin poikkeavien arvojen seurauksena
→ masking = suuret outlierit saattavat piilottaa pienempiä

Jos aineisto on normaalijakautunut ja 𝜆 = 2 johtaa siihen että 5% aineistosta hylätään outliereina. Jos data ei noudata normaalijakaumaa, osuus voi pahimmillaan olla 25%

Question 14

GMM menetelmässä kumpi 𝑁(𝜇1 , 𝜎 1) ja 𝑁(𝜇2 , 𝜎2 ) on peräisin oikeasta jakaumasta ja kumpi väärästä?

Answer 14

𝑁(𝜇1 , 𝜎 1) oikeasta
𝑁(𝜇2 , 𝜎2 ) väärästä

Question 15

Mikä idea on GMM menetelmässä?

Answer 15

Tunnistaa tietokoneella kaksi erilaista jakaumaa

Question 16

Mikä idea on kahden eri jakauman tunnistamissa GMM-mentelmässä?

Answer 16

Tunnistamalla kaksi eri jakaumaa pyritään estämään se, että poikkeavat havainnot vaikuttavat aineiston keskiarvoon ja hajontaan

Question 17

Mikä on Gaussin komponentti?

Answer 17

Normaalijakauma

Question 18

Mikä on Gaussin komponentin tehtävä?

Answer 18

Tunnistaa tilastollisia poikkeavuuksia

Question 19

Mitä GMM:ssä voidaan lisätä?

Answer 19

Kolmas tai neljäs normaaljakauma

Question 20

rSD:n nimitys?

Answer 20

Rekursiivinen keskihajontamenetelmä

Question 21

Mikä ero on rSD:llä ja SD:llä

Answer 21

rSD:tä toistetaan niin kauan kun kaikista poikkeavuuksista on päästy eroon

Question 22

Mikä ongelma rSD:llä?

Answer 22

Ei toimi jakaumiin jotka eivät ole symmetrisiä/normaalijakautuneita

Question 23

Mitä tapahtuu rSD:lle jos otokset on harvoja ja vinoutuneita? Miten tätä kompensoidaan?

Answer 23

Testi saattaa poistaa agressiivisesti suuria määriä aitoa dataa.

Kompensoidaan käyttämällä korkeaa lambda-arvoa (kuten 2)
ja/tai
rajoittamalla iterointien (toistojen) määrää esim. kolmeen

Question 24

IQR nimitys?

Answer 24

Kvartiililivälimenetelmä

Question 25

Millä IQR:ssä korvataan keskihajonta ja keskiarvo

Answer 25

Keskiarvo korvataan mediaanilla

Keskihajonta korvataan iqr:llä

Question 26

Mitkä ovat alakvartiili ja yläkvartiili IQR:ssä?

Answer 26

alakvartiili=25
yläkvartiili=75

Question 27

Miksi IQR on robustimpi kuin keskihajontamenetelmät?

Answer 27

Mediaani ja kvartiilivälin pituus ovat robustimpeja

Question 28

Kuinka paljon poikkeavia havaintoarvoja IQR sietää ennen kuin sillä on vaikutusta IQR:ään

Answer 28

jopa 25%

Question 29

Mikä ongelmana IQR:ssä?

Answer 29

Vaatii jakauman jakautuvan keskeltä –> ongelmana epäsymmetriset jakaumat

Question 30

prctile nimitys?

Answer 30

persentiilimentelmä

Question 31

Mikä idea on prctilessä?

Answer 31

Valitaan kuinka iso osa aineiston molemmista päistä on outliereita
–> rajaa daraa hyläten kaikista äärimmäisimmät arvot (pienimmät ja suurimmat)

Question 32

Mikä on positiivista prctilessä?

Answer 32

Ottaa huomioon epäsymmetrian eli toimii aikaisempia menetelmiä paremmin vinoille jakaumille

Question 33

Miksi prctile on epätarkka?

Answer 33

Se jättää huomioimatta informaation joka on sisällytetty havaintoarvojen hajontaan/leveyteen

Question 34

Millainen oletus prctilessä pitää tehdä etukäteen?

Answer 34

Oletus siitä, kuinka monta poikkeamaa aineistosta halutaan tutkia

Question 35

Miksi lambda kertoimen valinta on tarkkaa prctilessä?

Answer 35

Jos lambda kerroin on asetettu väärin aitoa dataa voi jäädä tutkinnan ulkopuolelle:

-Liian iso lambda voi johtaa outliereiden huomaamatta jättämiseen ja
- Liian pieni lambda oikeiden havaintojen hylkäämiseen

Question 36

Mitä Tukey menetelmässä yhdistetään?

Answer 36

IQR:n ja prctilen parhaat puolet

Question 37

Toimiiko Tukey vinojen jakaumien kohdalla?

Answer 37

Toimii sillä kvartiiliväli sisältää tietoa aineiston hajonnasta ja yhdistäminen ala- ja yläkvartiiliin on hyödyllistä etenkin vinojen jakaumien kohdalla

Question 38

Mitä MAD käyttää IQR:n kvartiilivälin sijaan hajontaa mitattaessa?

Answer 38

Mediaanin absoluuttista keskipoikkeamaa

Question 39

Millä menetelmällä on paras mahdollinen breaking point?

Answer 39

MAD:illa sillä se hajoaa vasta kun 50% aineistota on poikkeavuuksia

Question 40

Mikä on MAD:n ongelma?

Answer 40

Olettaa symmetriaa –> ei toimi epäsymmetrisissä jakaumissa

Question 41

Mikä on muuttujan c tehtävä Sn kaavassa?

Answer 41

poikkeavuuden korjaamiseen rajoitetuissa otsikoissa

Question 42

Miksi Sn on vakain mittari?

Answer 42

erittäin vastustuskykyinen poikkeamille/ääriarvoille
→ pystyy kuvaamaan edelleen tarkasti havaintojen hajontaa ja vaihtelua (hajoaa vasta kun 50% aineistosta on outliereita)

Question 43

Ottaako Sn huomioon epäsymmetrian?

Answer 43

Kyllä

Question 44

Mikä on Sn:n huono puoli?

Answer 44

Laskennallinen monimutkaisuus