Schmidt & Hunter (1998)

Question 1

Vilka var de tre bästa prediktorkombinationerna för arbetsprestation enligt Schmidt & Hunter (1998)?

Answer 1

GMA + work sample test (0,63), GM + intergrity test (0,65), GMA + strukturerad intervju (0,63)

Question 2

Schmidt & Hunter (1998):

Vad, utöver urvalsmetodens kvalitet, påverkar prediktionsvärdet?

Answer 2

Variablitet i urvalsgruppen (ingen variabliltet&raquo_space; urvalsmetod tillför inget), urvalsgruppens storlek (om alla måste anställas blir det inget urval)

Question 3

Schmidt & Hunter (1998):

På vilka två sätt brukar man mäta “employee job performance variability”, alltså hur mkt en viss anställd tillför?

Answer 3

Ekonomiskt värde på det som produceras (absolut), och procentsats av det ekonomiska värdet på medelvärdesprestationen (relativt).

Question 4

Schmidt & Hunter (1998):
Vad brukar standardavvikelsen för prestationsvärde, alltså “employee job performance variability”, vara som procentsats av ekonomiska värdet på medelvärdesrepresentationen?

Answer 4

SD = 40% (eller högre!)

Question 5

Schmidt & Hunter (1998):
Vad är den genomsnittliga prestationsvariabiliteten, som procent av genomsnittlig “work output”?, för olika komplexitetsnivåer av arbete?

Answer 5

För enklare jobb (unskilled/semi-skilled) 19%, för medelsvåra (skilled work) 32%, och på högre nivå (manegerial & professional) 48%

Question 6

Schmidt & Hunter (1998):

Var brukar urvalsration (selection ratio) ligga (typ)?

Answer 6

0.30-0.70

Question 7

Schmidt & Hunter (1998):

Hur ser formeln för “genomsnittlig praktisk vinst per nyanställd per år” ut?

Answer 7

Delta(nya urvalsmetodens validitet, gamla urvalsmetodens validitet) * (standardavvikelsen för prestationsvariabilitet) * (urvalstestpoäng i Z-poäng i förhållande till hela urvalspoolen).
OBS - notera att bara en av faktorerna (validitet) är en egenskap av urvalsmetoden.

Question 8

Schmidt & Hunter (1998) nämner tre viktiga poänger angående vinsten av ökad validitet vid urval. Vilka är de?

Answer 8

1. Den ekonomiska vinsten av förbättrade urvalsmetoder är i regel ganska stor
2. Vinsten står i direkt proportion till hur mycket validiteten ökar.
3. Prediktiv validitet är den enskilt viktigaste egenskapen hos en urvalsmetod.

Question 9

Vad var “the theory of situational specificity”?

Answer 9

En tro (som spreds från från ca 1920-talet och var vanlig fram till 1970-talet) på att validitetsskillnader mellan olika studier på samma metod och i princip samma jobb, berodde på subtila skillnader i jobbets natur, och alltså inte kunde åtgärdas genom vidareutveckling av urvalsmetoderna.

Question 10

Vilken var den största felkällan som ledde till “the theory of situational specificity”?

Answer 10

Varierande “sampling error” pga små samples.

Question 11

Schmidt & Hunter (1998):

Varför sticker intelligens ut som prediktivt prestationsmått (bland de 18 andra som listas)?

Answer 11

Av alla mått som kan appliceras generellt på vilket jobb som helst (till skillnad från yrkesspecifika arbetsprover), är GMA…

(1) …lättast och billigast att mäta.
(2) …det (hittills) mest beforskade
(3) …dessutom den bästa prediktorn för “job-related learning”
(4) …det (hittills) mest teoretiskt välgrundade måttet

Question 12

Schmidt & Hunter (1998):

Hur predicerar GMA arbetsprestation för yrken i fyra olika komplexitetsnivåer?

Answer 12

.56 for high level complex technical jobs, .51 for medium complexity jobs, .40 for semi-skilled jobs, and .23 for completely unskilled jobs.

Question 13

Schmidt & Hunter (1998):

Vilken av de fyra komplexitetsnivåerna för arbeten utgör störst andel av USA:s (och rimligen Sveriges) ekonomi?

Answer 13

Medium complexity jobs (61%)

Question 14

Schmidt & Hunter (1998):

Hur påverkas “incremental validity” av korrelationen mellan det ordinarie och det tillagda måttet?

Answer 14

Negativt - ju större korrelationen är, ju mindre tillför det nya måttet.

Question 15

Schmidt & Hunter (1998):

Varför har personlighetstest högre “incremental validity” för medelkomplexa arbeten än arbetsprover?

Answer 15

För att personlighetstest inte korrelerar alls med GMA (medan arbetsprover korrelerar med 0,38).

Question 16

Schmidt & Hunter (1998):

Hur står sig conscientiousness-test mot FFM-test som prediktorer av arbetsprestation, sett till “incremental validity”?

Answer 16

Concientiousness-mått har lägre prediktionsvärde (0,31 vs FFM:s 0,41) och lägre “incremental validity” (18% vs 27%), men är ändå tillräkligt bra som prediktor för att vara intressant (särskilt om man har ont om tid, gissar jag).
(…men när har man SÅ ont om tid?)

Question 17

Schmidt & Hunter (1998):

Vilken “incremental validity” har arbetskunskapstest som tillägg till GMA?

Answer 17

0,07 - alltså mindre än arbetsprov/personlighetstest/stukturerad intervju men ändå en relevant siffra!

Question 18

Schmidt & Hunter (1998):

Hur skiljer sig “off-the-shelf”-arbetskunskapsprover från specialgjorda (arbetsplatsspecifika) arbetskunskapsprover?

Answer 18

Validiteten är något lägre på “off-the-shelf” (vilket är logiskt), men det är ju billigare och enklare att få tag på (och alltså en bättre deal om man bara ska använda provet kortsiktigt).

Question 19

Schmidt & Hunter (1998):

Hur förändras “peer-rating”s prediktionsförmåga om man kontrollerar för vänskap?

Answer 19

Inte nämnvärt - otippat nog!

Question 20

Schmidt & Hunter (1998):

Vilka tre urvalsmetoder har ungefär samma “incremental validity” (tillägg till GMA) som arbetskunskapsprov?

Answer 20

(1) Job tryout procedure
(2) Peer ratings
(3) T & E behavioral consistency method

Question 21

Schmidt & Hunter (1998):
Arbetsprov har högre validitet än strukturerad intervju, men när de kombineras med GMA ger de likvärdiga resultat. Varför då?

Answer 21

Därför att arbetsprov korrelerar lite mer med GMA än vad intervjun gör, och det “äter upp” skillnaden.

Question 22

Schmidt & Hunter (1998):

Beskriv “T & E behavioural consistency method”

Answer 22

The behavioral consistency method of evaluating previous training and experience:
“The best predictor of future performance is past performance.”
Step 1: what achievement and accomplishment dimensions best separate top job performers from low performers?
(this is done on the basis of information obtained from experienced supervisors of the job in question)
Step 2: Applicants are asked to describe (in writing or orally) their past achievements that best illustrate theit ability to perform these functions at a high level.
Step 3: These achievements are scored with the aid of scales that are anchored at various points by specific scaled achievements that serve as illustrative examples or anchors
(T & E står för training & experience)

Question 23

Schmidt & Hunter (1998):

Vilka urvalsmetoder har 12% eller högre i “incremental validity” som tillägg till GMA?

Answer 23

Work sample tests
Integrity tests
Conscientiousness tests
Employment interviews (structured) 
Job knowledge tests
Job tryout procedure
Peer ratings
T & E behavioral consistency method Reference checks

Question 24

Schmidt & Hunter (1998):

Vilken validitet har arbetsprover, på egna ben och inkrementellt som tillägg till GMA?

Answer 24

0,54 och 0,12 (24%)

Question 25

Schmidt & Hunter (1998):

Vilken validitet har personlighetstest, på egna ben och inkrementellt som tillägg till GMA?

Answer 25

0,41 och 0,14 (27%)

Question 26

Schmidt & Hunter (1998):

Vilken validitet har conscientiousness-test, på egna ben och inkrementellt som tillägg till GMA?

Answer 26

0,31 och 0,09 (18%)

Question 27

Schmidt & Hunter (1998):

Vilken validitet har strukturerade arbetsintervjuer, på egna ben och inkrementellt som tillägg till GMA?

Answer 27

0,51 och 0,12 (24%)

Question 28

Schmidt & Hunter (1998):

Vilken validitet har arbetskunskapsprover, på egna ben och inkrementellt som tillägg till GMA?

Answer 28

0,48 och 0,07 (14%)

Question 29

Schmidt & Hunter (1998):

Vilken validitet har provanställning (job tryout procedure), på egna ben och inkrementellt som tillägg till GMA?

Answer 29

0,44 och 0,07 (14%)

Question 30

Schmidt & Hunter (1998):

Vilken validitet har peer ratings, på egna ben och inkrementellt som tillägg till GMA?

Answer 30

0,49 och 0,07 (14%)

Question 31

Schmidt & Hunter (1998):

Vilken validitet har T & E behavioural consistency method, på egna ben och inkrementellt som tillägg till GMA?

Answer 31

0,45 och 0,07 (14%)

Question 32

Schmidt & Hunter (1998):

Vilken validitet har reference checks, på egna ben och inkrementellt som tillägg till GMA?

Answer 32

0,26 och 0,06 (12%)

Question 33

Schmidt & Hunter (1998):

Hur hög är korrelationen mellan conscientiousness och GMA?

Answer 33

0,00 - otippat nog!

Question 34

Schmidt & Hunter (1998):

Vilka konstrukt har figurerat mest i teorier om arbetsprestation?

Answer 34

GMA, job knowledge, job experience, and personality traits

Question 35

Schmidt & Hunter (1998):

Vad verkar främst ligga bakom GMA:s höga prediktionsförmåga?

Answer 35

En indirekt koppling, via arbetskunskap; intelligent personer tar in mer information om hur arbetet ska utföras, och gör det på kortare tid.

Question 36

Schmidt & Hunter (1998):
GMA:s prediktionsförmåga förklaras till störst del av ett indirekt samband via arbetskunskap. Hur stor är den direkt effekten i proportion till den indirekta effekten, för två nivåer av arbetets komplexitet?

Answer 36

For nonsupervisory jobs, the direct effect is only about 20% as large as the indirect effect; for supervisory jobs, it is about 50% as large.

Question 37

Schmidt & Hunter (1998):

Vad verkar främst ligga bakom arbetserfarenhetens (räknat i år) höga prediktionsförmåga?

Answer 37

Up to about 5 years en the job, increasingjob experience leads to increasing job knowledge which, in turn, leads to improved job performance.

Question 38

Schmidt & Hunter (1998):
Arbetserfarenhetens (räknat i år) prediktionsförmåga förklaras till störst del av ett indirekt samband via arbetskunskap. Hur stor är den direkt effekten i proportion till den indirekta effekten?

Answer 38

There is also a direct effect of job experience on job performance, but it is smaller than the indirect effect through job knowledge (about 30% as large).

Question 39

Schmidt & Hunter (1998):

Vilka tre egenskaper verkar (teoretiskt) bäst predicera arbetsprestation?

Answer 39

From a theoretical point of view, this research suggests that the central determining variables in job performance may be GMA, job experience (i.e., opportunity to learn), and the personality trait of conscientiousness.

Question 40

Schmidt & Hunter (1998):
Hur kan man teoretiskt förklara det höga prediktionsvärdet av GMA kombinerat med personlighetstest respektive strukturerad intervju?

Answer 40

Personlighetstestet mäter främst conscientiousness (som tillsammans med GMA hör till de tre teoretiskt bästa prediktorerna för arbetsprestation). Strukturerad intervju kan också antas mäta personlighet (och därigenom conscientiousness).

Question 41

Schmidt & Hunter (1998):

Vilka teoretiska för- och nackdelar finns med arbetsprover?

Answer 41

+ man mäter konkreta färdigheter som arbetet kräver
– det mäter nuvarande kunskap, snarare än utvecklingspotential, och kan alltså inte användas på nybörjare
– är specifikt för vissa arbetsuppgifter och kan alltså inte användas på flera olika yrken

Question 42

Schmidt & Hunter (1998):

Vilka för- och nackdelar finns med FFM-tester?

Answer 42

+ de korrelerar inte alls med GMA (» högre inkrementell validitet)
+ de predicerar både konkreta beteenden och arbetsprestation överlag
– validiteten är bara 0,41 när det inte kombineras med GMA; bara conscientiousness-test och reference checks har lägre validitet

Question 43

Schmidt & Hunter (1998):

Vilka för- och nackdelar finns med arbetskunskapsprov?

Answer 43

+ arbetskunskap är teoretiskt en av de tre främst faktorerna bakom arbetsprestation (detta gör det dock inte till ett bättre alternativ, empiriskt)
– det mäter nuvarande kunskap, snarare än utvecklingspotential, och kan alltså inte användas på nybörjare

Question 44

Schmidt & Hunter (1998):

Vilka för- och nackdelar finns med provanställning (job tryout procedure)?

Answer 44

+ Hög face validity
+ Rimligen kontextrelevant!
– Väldigt dyrt och tidskrävande
– Det är obekvämt både för chef och provanställd om pretationerna är otillräckliga och personen ska “avskedas”; detta hoppas ibland över, vilket underminerar hela metoden
– vinsterna med metoden kan man komma åt ändå genom vanlig anställning (iofs lite beroende på avtal); alltså kan det vara ekvivalent till att anställa utan något urval alls

Question 45

Schmidt & Hunter (1998):

Vilka nackdelar finns med peer ratings?

Answer 45

– kan bara användas för inomorganisationsrekrytering

– vänskap och systematiskt fusk verkar egentligen inte påverka validiteten, men det sänker face validity

Question 46

Schmidt & Hunter (1998):

Vilka för- och nackdelar finns med T & E behavioural consistency method?

Answer 46

+ kräver inte tidigare erfarenhet av samma jobb; ofta går det bra att generalisera till någorlunda likartade yrken
+ “funkar bra på ‘higher level jobs’”
– fungerar dåligt på yngre personer (som inte haft tid att samla ihop de relevanta “beteendemeriterna”)
– kostar mycket tid och pengar att utveckla