Assessment-Center Flashcards
Allgemeine mittlere korrigierte Validität
q = .37
Aktualisierte Ergebnisse zeigten aber eine geringere mittlere korrigierte Validität von q = .28 basierend auf 26 Studien und 27 Validitätskoeffizient
OAR?
Overall Assessment Ratings
Gründe für die unterschiedlichen Validitäten zwischen USA und deutschsprachigem Raum
- Unterschiedliche gesetzliche Anforderungssysteme (USA besser)
- Bildungssysteme (USA schlechter)
- Wirtschaftliche Rahmenbedingngen
- Fähigkeit zum Erwerb und zur Nutzung von Technologie
- Arbeitsmarktschwankungen
- Wertunterschiede zwischen den Kulturen
- Verfügbarkeit von Standard-Assessment-Tools
- Niveau der HR-Erfahrung
- Rolle der Personalabteilung bei der Einstellung
- Vertrautheit mit einem Tool oder einer Praxis
- etc
Was gaben Krause und Gebert für Erklärungen der Unterschiede zwischen USA und Deutschland
- Ideologisch verwurzelte Vorbehalte zu einer bemerkenswert geringen Nutzung psychometrischer Tests (sowohl Intelligenz als auch Persönlichkeit) im deutschsprachigen Raum
- Im Vergleich zu US AC’s eine vergleichsweise mangelhafte Professionalität in der Handhabung (z.B. weniger ausgearbeitete Jobanalysen)
- Unterschiedliche Gesetzgebung (z.B. werden im deutschsprachigen Raum mehr Datenschutzrichtlinien den AC -Nutzern abgegeebben
Wo werden geringere prädiktive Validäten erwartet?
USA oder im deutschsprachigen Raum
Im deutschsprachigen Raum
Was sind die 5 Dimensionen der allgemeinen kulturellen Unterschiede USA vs. deutschsprachiger Raum
- Machtdistanz (USA +)
- Individualismus/Kollektivismus (Individualismus USA +)
- Männlich/Weiblich (Geschlechterrollen USA -)
- Unsicherheitsvermeidung (USA -)
- Lang-/kurzfristige Orientierung (Langfristig USA -)
Kollektivismus Institutionaler Kollektivismus (z.B. Lösung aufkommender organisatorischer Konflikte auf kollektiver Basis z.B. durch Vertreter von Gewerkschaften) ist in Deutschland typischer als in den USA
GLOBE
Global leadership and organizational behaviour effectiveness
Validierungskriterien für AC’s in Deutschland
- Vorgesetztenbewertung
- Beförderungen
- Entwicklung der Gehaltsskala
- Arbeitsleistung
- Ausbildungserfolg
Die Ziele der AC’s waren
Auswahl (für bestimmte Stellen)
Entwicklung (meist für die Selbstentwicklung)
Potenzialanalyse
Mittlere korrigierte Gültigkeit
Die mittlere beobachtete Korrelation, gewichtet nach Stichprobenumfang betrug r = .329 (80% Glaubwürdigkeitsintervalle (80%-CRs) für alle gemeldeten Koeffizienten
Darüber hinaus führte die Korrektur der Unzuverlässigkeit des Kriteriums und der direkten Reichweitenbeschränkung zu einer inkrementellen korrigierten Gültigkeit von q = .396
Bewertung des Vorgesetzten q = .564
Beförderungen q = .389
Ausbildungserfolge q = .324
Entwicklung Gehalt q = .236
Verkaufszahlen waren schlecht vorhersagbar q = .043
Eine Untersuchung der moderierenden Wirkung des AC-Zwecks ergab ebenfalls unterschiedliche Prädiktivengültigkeiten.
Für die Potenzialanalyse verwendete ACs ergaben die höchste prädiktive Validität (q = .512), gefolgt von ACs,
die als Entwicklungsinstrumente verwendet wurden (q = .333) und verwendeten ACs zur Auswahl (q = .258). Im Vergleich der Zielgruppen stellten wir fest , dass interne Kandidaten (q = .442) besser vorhergesagt wurden als externe Kandidaten (q = .216).
die Beurteilten im Durchschnitt jünger als 30 Jahre waren (q = 0,495 vs. q = 0,278 für ältere Teilnehmer), wenn ein Intelligenztest eingeschlossen war (q = .556 vs. q = .251 für ACs ohne Intelligenztests), wenn mehr als 10 Instrumente verwendet wurden (q = .527 vs. q = .266 für ACs mit weniger Instrumenten), wenn der AC nicht länger als einen Tag dauerte (q = .494 vs. q = .264 für längere ACs) und wenn mehr als zwei Jahre zwischen dem AC vergangen waren und die Bewertung des Kriteriums (q = .475 vs. q = .216 für frühere Kriteriumsbewertung
Warum ist die Kriteriumsvalidität von Vorgesetztenbeurteilungen so hoch?
Es könnte argumentiert werden, dass die Korrelation zwichen den AC-Ratings und subjektiven Kriterien aufgrund dergemeinsamen Bewertungsweise aufgebläht sei könnte
Warum sind Verkaufszahlen relativ schlecht durch AC’s vorhersagbar
AC-Dimensionen decken typischerweise breite Dimensionen ab, z. B. Rücksichtnahme / Bewusstsein für andere, Kommunikation, Antrieb, Beeinflussung anderer, Organisation und Planung oder Problemlösung (Arthur, Day, McNelly , & Edens, 2003), die typischerweise durch Verhaltensindikatoren gemessen werden
Es sollte berücksichtigt werden , dass die Prädiktor-Kriteriumsvaliditäten auf struktureller Ebene maximiert werden , wenn
a) eine Übereinstimmung zwischen Prädiktorbreite und Kriteriumsbreite besteht
und wenn
(b) die Die Zuordnung zwischen Prädiktoren und Kriterien direkt erfolgt
Beide Kriterien werden durch subjektive Leistungsbewertungen erfüllt, nicht jedoch durch objektive Leistungsindikatoren
Das Ergebnis, dass in Studien mit internen Kandidaten höhere Validitäten gefunden wurden, steht im Widerspruch zu unseren ursprünglichen Hypothesen zu diesem Moderator.
Eine mögliche Erklärung für diesen Effekt könnte sein, dass die AC- Bewerter oft innerhalb der Organisationen rekrutiert werden. Obwohl einige von ihnen den Assessor vor dem AC gekannt haben könnten und in den Bewertungen auf diese Erfahrungen zurückgreifen konnten
Fasst man die Ergebnisse für alle relevanten (und modifizierbaren) Validitätsmoderatoren zusammen , so lassen sich einige Empfehlungen für das Design und die Bewertung von ACs in der Praxis formulieren
: Eine etwas vereinfachte Empfehlung könnte sein ‘‘behalten es ist kurz, aber komplex und vielfältig.” Es konzentriert sich auf die Gestaltung und die Auswahl der einzelnen Übungen. Basierend auf unseren Ergebnissen sollte eine Vielzahl von Kurzzeitübungen mit relevanter kognitiver Komplexität gegenüber Langzeitsimulationen bevorzugt werden. Dies impliziert auch, dass ACs als “harmonisierte Multimethodenvereinbarungen” betrachtet werden sollten, die nicht nur aus (kurzen) Simulationen, sondern auch aus Interviews und psychometrischen Tests bestehen
Höhe der Validität
Man spricht bei einer inneren Kriteriumsvalidität von 0,3 von zufriedenstellenden Ergebnissen. Ein Wert von 0,5 für die Validität gilt es sehr hoch
Warum ist Validität das wichtigste Gütekriterium
Aus der Tatsache heraus, dass die Objektivität für die Reliabilität vorausgesetzt wird und die Reliabilität für das Kriterium Validität vorausgesetzt wird, ist die Validität das aussagekräftigste Gütekriterium für psychologische Testverfahren. Oder anders ausgedrückt: Um die Validität zu gewährleisten, müssen die anderen Gütekriterien erfüllt sein
Wie hängen Validität und Reliabilität zusammen
Ein valider Test muss reliabel sein, ein reliabler Test kann, muss aber nicht, valide sein. Folgende Rangordnung gibt es bei den 3 Hauptgütekriterien:
- Validität (ein valider Test ist auch reliabel und objektiv)
- Reliabilität (ein reliabler Test ist auch objektiv aber nicht unbedingt valide)
- Objektivität (ein objektiver Test ist nicht unbedingt auch reliabel oder valide)
Prognostische Validität
Ein Beispiel zur Bestimmung der Validität ist die prognostische Validität. Im Falle eines Assessment Centers könnte ein Probe-Assessment mit guten und eher schwachen Mitarbeitern durchgeführt. Die Annahme dabei lautet: Die guten Mitarbeiter sollten im AC deutlich besser abschneiden, als die mittelmäßigen /schwachen. Mit statistischen Verfahren wird dann anhand der Daten aus dem Probe-Assessment das Messinstrument so justiert, dass eine starke Differenzierung der beiden Extremgruppen möglich ist.
Inkrementelle Validität
Validität, inkrementelle [engl. incrementalvalidity; lat. incrementum Zuwachs, Ergänzung], ist ein von Sechrest (1963) eingeführter Begriff zur Bez. des von einem Prädiktor zusätzlich erklärten Varianzanteils (Varianzaufklärung) eines Kriteriums nach Berücksichtigung anderer Prädiktoren (Validität, kriteriumsbezogene Validität).
Inkrementelle Validität ist somit identisch mit der eigenständigen Prognosekraft eines Messinstruments. Bsp.:
(1) Studierfähigkeitstests gelten in dem Maße als inkrementell valide, in dem sie eigenständige Varianz eines Studienerfolgskriteriums (z. B. Abschlussnote eines Studiengangs) nach Berücksichtigung anderer Studienerfolgsprädiktoren wie der Abiturdurchschnittsnote erklären.
(2) Auch bei der Diagnose der beruflichen Eignung (Eignungsdiagnostik) spielt die inkrementelle Validität der einzelnen Instrumente (eignungsdiagnostisches Interview, Assessment Center, Zeugnisse etc.) eine wichtige
Varianzaufklärung
Gibt an, welcher Anteil der Streuung (vgl. Varianz) eines abhängigen Merkmals auf die Veränderung von unabhängigen Merkmalen zurückzuführen ist. Im Idealfall kann die gesamte Streuung auf die jeweilige Kombination unabhängiger Merkmale zurückgeführt werden, was einer 100-prozentigen Varianzaufklärung entsprechen würde. In der Marktforschung ist eine 100-prozentige Varianzaufklärung jedoch unrealistisch. Auch eine 30- bis 50-prozentige Varianzaufklärungen kann u. U. schon als sehr gut bezeichnet werden. Die Varianzaufklärung dient auch zum Aufzeigen von Wechselwirkungen.
Simulationsorientierte Verfahren
Konfrontieren Bewerber bereit sind der Phase der Personalauswahl mit ausgewählten Arbeitsaufgaben des Berufsalltags und überprüfen dabei, inwieweit sie in der Lage sind, entsprechende Aufgaben erfolgreich zu bewältigen.
Vorteile von Simulationsorientierten Verfahren
Bewerber:
Erhalten realistischen Einblick in den Berufsalltag
Können sich selbst und ihre Interessen besser prüfen
Unternehmen
Erhält Informationen über das Leistungsverhalten in explizit alltagsrelevanten Situationen
Formen simulationsorientierter Verfahren
- Arbeitsproben
- Computergestützte Szenarios
- Situational Judgement Tests
- Situative Interviews
- Assessment Center
Prototyp simulationsorientierter Verfahren
Arbeitsprobe
Realitätsbezug einer diagnostischen Methode
Stimuluskomponente
Material mit dem der Bewerber konfrontiert wird (Je stärker der Stimulus den Berufsalltag 1:1 simuliert = höherer Realitätsbezug
- Werkstück bearbeiten
- Frage beantworten (wie würden sie vorgehen)
- Vidofilm über die Arbeit zeigen
Response-Komponente
Möglichkeiten des Bewerbers, auf das Untersuchungsmaterial zu reagieren.
(Soll der Bewerber beispielsweise mit eigenen Worten beschreiben, wie er eine berufliche Aufgabe lösen würde, so wäre der Realitätsbezug geringer als wenn er es direkt ausführen kann. Noch weiter sinken würde er, wenn der Bewerber die Antwort nicht frei formuliert, sondern lediglich aus vorgegebenen Alternativen diejenige auswählen darf, die seinem Verhalten in der Realsituation am besten entspricht.)
Arbeitsproben
Handwerker:
Die interessierenden Fertigkeiten lassen sich direkt beobachten und bewerten.
Wirtschaftswissenschaftliche Berufsfelder
Case Study
Gegenstand der Bewertung kann sowohl der Prozess als auch das Ergebnis sein.
Variationen von Arbeitsproben (nach Allinan & Robertson, 2002)
Prognostische Validität von Arbeitsproben
Ist gut belegt.
Korrigierter Koeffizient von .54
Bei Berufen mit höherer Komplexität fällt die Validität geringer aus: .25
Vor- und Nachteil von Arbeitsproben
Vorteil:
Hohe Akzeptanz
Hohe prognostische Validität
Nachteil
Die Validität einer konkreten Arbeitsprobe vor Ort müsste empirisch überprüft werden. Dies scheitert in der Praxis oft durch die kleinen Stichproben.
Computergestützte Szenarios in Arbeitsproben
Worum könnte es in einem computergestützten Szenario gehen
Eine mittelständische Firma zu führen.
Die Aufgabe des Bewerbers:
Durch richtige Entscheidungen die Entwicklung des Unternehmens positiv zu beeinflussen
Er muss dabei alle Einflüsse auf die verschiedenen Parameter berücksichtigen
Computerimulationen fordern insbesondere die intellektuellen Fähigkeiten heraus.
Jae nach Szenario sind auch fachliche Kompetenzen (wie etwa das Wissen über grundlegende Prinzipien betriebswirschaftlicher Prozesse – von Bedeutung.
Letztlich geht es darum, komplexe Probleme zu lösen, die durch fünf Prinzipien gekennzeichnet sind.
Merkmale komplexer Problemlöseszenarios in computergestützten Verfahren
Die Kriterien der Leistungen in computergestützten Verfahren können u.a. sein
- Anzahl korrekter Entscheidungen,
- Anzahl falscher Entscheidungen,
- Anzahl nicht getroffener Entscheidungen,
- Anzahl unternommener Lösungsversuche, bevor der Bewerber aufgibt,
- Qualität der Zielerreichung,
- Geschwindigkeit der Zielerreichung.
Validität von computergestützten Verfahren
Diese Verfahren sind nur unzureichend auf ihre Validität untersucht worden.
Jedoch wird von kriterienbezogenen Validitäten zwischen .30 und .40 gesprochen
Kosten computergestützter Verfahren vs. Intelligenztests
Computergestützte Verfahren sind teuer
Akzeptanz computergestützter Verfahren
Schneiden positiver ab als Intelligenztests, da Aufgaben weniger abstrakt ausfallen.
Wobei der Test nach dem Black-Box-Prinzip funktioniert. Der Bewerber trifft eine Entscheidung und am Ende zeigt das Computerprogramm Reaktionen. In wieweit dieser Reaktionen die Realität simulieren ist eher unbekannt.
I.d.R hat man es bei vielen computergestützten Problemlöseszenarios daher wohl eher mit animierten kognitiven Leistungstests und weniger mit Simulationen des Berufsalltags zu tun.
Situational Judgement Tests
Sind erst seit 20 Jahren Gegenstand personalpsychologischer Forschung
Vorteil des SJT gegen über der Arbeitsprobe oder dem AC
Sehr viele berufsrelevante Situationen können untersucht werden und auch solche Situationen miteinbeziehen, die sich kaum oder gar nicht real nachstellen lassen.
z.B. Videoclip einer gewalttätigen Demonstration, Geiselnahme, schwerer Verkehrsunfall
Stimulus des SJT
Stimulus:
- Schriftliche Beschreibungen
- Videoclips
Videoclip = aufwändiger dafür realitätsnähere Darstellung der Situationen, da z.B. auch Mimik und Gestik übermittelt werden.
Stimulus, Response und Ineraktivität des SJT
Response beim SJT
Nahezu immer schriftliche Antwortvorgaben.
Denkbar wären auch Videos mit unterschiedlichen Verhaltensalternativen aus denen man auswählen muss.
Aber auch freie Antworten sind denkbar
Should-do-Instruktionen im SJT
Beste Verhaltensalternative kennzeichnen (Wie sollte man sich verhalten)
Erfasst Wissen über soziale Sachverhalte
Would-do-Instruktionen im SJT
Wie man sich selbst verhalten würde.
Erfasst Selbstbeschreibung des Kandidaten
Interaktive SJT
Die einzelnen Situationen stehen nicht isoliert nebeneinander, sondern sind z.T. miteinander verknüpft
= grössere Realitätsnähe
Vorteil interaktiver SJT
Interaktive Items ermöglichen den Bewerbern, ihre Verhaltensstrategien – wie in der Realität – den sich verändernden Bedingungen anzupassen und ggf. auch zu ändern.
Was wird als Grundlage der Testentwicklung (SJT) empfohlen
Eine Anforderungsanalyse nach der Critical Incident Technique
Was liefert die Critical Incident Technique
Sie liefert sämtliche Informationen, die man für die Entwicklung eines SJT benötigt: Die befragten Arbeitsplatzexperten schildern einerseits erfolgskritische Situationen aus dem Berufsalltag und benennen andererseits sowohl positive als auch negative Verhaltensweisen, die ein Mitarbeiter in der jeweiligen Situation zeigen könnte.
Reliabilität des SJT
Keine hohe interne Konsistenz
Dies spricht nicht grundsätzlich gegen die Reliabilität, sondern ergibt sich us der Tatsache, dass SJT heterogene Konstrukte erfassen.
Hier sollte man statt Cronbach Alpha eher die Retest-Reliabilität berechnen
Kriterienbezogene Validität des SJT
Durchweg gute Ergebnisse
Korrigierter Validitätskoeffizient von .34 später .26
Als Validitätskriterien wurden Einschätzungen der beruflichen Leistung herangezogen.
Akzeptanz von SJT
Gute Befunde
Insbesondere videogestützte interaktive Verfahren schneiden besonders gut ab.
Dies stimmt auch mit der Augenscheinvalidität überein.
Aber Aufgrund des hohen Entwicklungsaufwandes sind sie in der Praxis eher selten.
Für den zunehmenden Einsatz von SJT in der Praxis spricht was
- Gute Validität
- Vergleichsweise geringe Verfälschung im Sinne sozial erwünschten Antwortverhaltens
Kriterienbezogene Validität von SJT (aus Christian et al. 2010)
Situative Interviews
Situative Interviews:
Wie würden Sie sich in dieser Situation verhalten?
Worauf basieren situative Interviews
Immer auf einer Analyse der spezifischen Anforderungen der zu besetzenden Stelle
Die meisten strukturierten Interviews arbeiten mit einer Mischung unterschiedlichen Fragetypen
- Biografische Fragen (berufliche Vergangenheit, Fachfragen, wichtige Grundlagen des Berufserfolges
- Überprüfung mit situativen Fragen, inwieweit er zukünftigen Anforderungen gewachsen ist.
Entwicklung Situativer Interviews (in Anlehnung an Latham, 1989)
Validität Situativer Interviews
Minderungskorrigierte, kriterienbezogene Validität von .47 später .43
Die höchste Validität bei Arbeitsplätzen mittlerer Komplexität .51
Die geringste Validität bei sehr komplexen Tätigkeiten .30 (= noch zufriedenstellend)
Inkrementelle Validität situativer Interviews
Valider als Behavior Description Interview (kommt einer Arbeitsprobe näher, auch wenn es nur über beabsichtigte Verhalten berichtet)
Behavior Description Interviews
Beschäftigen sich mit den vergangenen beruflichen Erlebnissen eines Bewerbers während Situative Interviews sich mit zukünftigen beruflichen Situationen befasst
Akzeptanz situativer Interviews
Schneiden durchweg positiv ab
Höhere Akzeptanzwerte für das situative Interview als zu einem unstrukturierten Interview
Warum sind Situative Interviews valide, obwohl die Bewerber die Ergebnisse doch leicht verfälschen könnten?
Assessment Center
Sind sehr aufwändige Verfahren der Personaldiagnostik, die ursprünglich der Auswahl von (Nachwuchs-)Führungskräften vorbehalten war.
Inzwischen hat sich der Einsatz der Methode hinsichtlich Zielgruppen als auch in Bezug auf den Zweck deutlich erweitert.
Historische Ursprünge der AC-Methode
Deutsche Wehrmacht, die bereits im ersten Weltkrieg entsprechende Prinzipien zur Auswahl von Offizieren eingesetzt wurde
Diese Methode geriet etwas in Vergessenheit und kehrte in den 1970er Jahren aus den USA nach Deutschland zurück
Beispiel eines AC bei Nachwuchskräften
Sie müssen e beispielsweise in einem Rollenspiel zeigen, wie sie ein Mitarbeitergespräch gestalten würden, oder in einem Vortrag ihre Konzeption für die Weiterentwicklung der eigenen Abteilung darlegen. Während dieser Übungen wird das Verhalten der Kandidaten von mehreren geschulten Beobachtern stichwortartig protokolliert und hinsichtlich zuvor festgelegter Kriterien bewertet.
Multimethodialität im AC
Neben verhaltensbezogenen Simulationsübungen auch psychologische Tests und Interviewmethoden
Diese Form der Multimethodialität steigt die Validität des gesamten Auswahlverfahrens in der Regel
Einzel AC
Jeder Kandidat durchläuft das gesamte Verfahren ohne den Mitbewerbern zu begegnen.
Aufwändiger und teurer
Ein Einzel-AC kommt meist dann zum Einsatz, wenn es sich um sehr hochkarätige Bewerber handelt, die ihre Bewerbung nach aussen hin geheim halten möchten
Lernpotential-AC
Lernfähigkeit der Bewerber abschätzen
- Übung
- Feedback
In den nächsten Übungen müssen sie zeigen, ob sie aus dem Feedback lernen und ihr Verhalten positiv verändern können
Dynamisierte AC
Übungen werden inhaltlich miteinander verknüpft.
Das Thema einer Gruppendiskussion wird bspw. In einem Rollenspiel wieder aufgegriffen, bevor die Bewerber in einer dritten Übung in Form einer Präsentation ihre individuelle Lösung für das anstehende Problem darstellen
Dadurch wird aber auch die Reliabilität des Verfahrens in Frage gestellt. (Problem der Konstruktvalidität)
Task-Based-AC
Verschiedene Übungen
Die Auswertung erfolgt jedoch übungsweise und nicht bezogen auf Kompetenzdimensionen. Daher erhält man am Ende kein Kompetenzprofil sondern eine Aussage darüber, wie er sich in unterschiedlichen arbeitsplatzrelevanten Situationen verhalten hat.
Im Grunde handelt es sich um eine Aneinanderreihung einzelner Arbeitsproben.
Trennscharfe Definition und Messung spezifischer Kompetenzdimensionen
Klassisches AC
Struktur folgt dem Multitrait-Multimethod-Ansatz
Mehrere interessierende Kompetenzdimensionen (=traits) werden in mehreren voneinander unabhängigen Übungen (=methods) untersucht.
Die Auswahl und stellenspezifische Definition der Kompetenzdimensionen ergeben sich aus der zuvor durchgeführten Anforderungsanalyse
Im 2. Schritt legt man die Grundlage für die Auswahl und inhaltliche Spezifizierung der Übungen. D.h. zunächst muss man wissen, welche Kompetenzen für die fragliche Stelle wie stark ausgeprägt sein müssen, damit man anschliessend überlegen kann, welche Situationen zur Untersuchung dieser Kompetenzdimension im AC simuliert werden sollten.
Struktureller Aufbau eines Assessment Centers
Klassikerübungen im AC
Rollenspiel
Dies wird ca 10 Minuten dauern
Der Rollenspieler hat z.B. den Auftrag einen schwierigen Kunden zu spielen und muss darauf achten, dass er sich bei jedem Bewerber gleich verhält (= hohe Durchführungsobjektivität)
Einsatzhäufigkeit verschiedener Übungen
Was beinhaltet die Präsentation im AC
Vortrag halten
Vorbereitung 30-60 Minuten
Nebst dem Inhalt konzentriert man sich häufig auf Rhetorik
Danach noch einige standardisierte Fragen um zu prüfen wie er mit Kritik umgeht.
Stegreifrede im AC
Keine Vorbereitungszeit
Er erhält zu Beginn der Uebung ein Thema zu dem er ca 3 – 5 Minuten unvorbereitet (aus dem Stegreif heraus) einen kurzen Vortrag halten soll
Hier werden weniger die Inhalte sondern der Umgang mit einer solchen spontanen und belastenden Situation geachtet.
Postkorb aus dem AC
Das Verhalten wird nicht unmittelbar beobachete.
Hier handelt es sich eher um kognitive Fertigkeiten des Analysierens, Planens und Organisierens
Er soll nach dem Urlaub eine Vielzahl von Briefen und Notizen vor sich haben und sinnvoll darauf reagieren
Hierzu sind zahlreiche Entscheidungen zu fällen
Lösungsstrategien können später mit einem Punktesystem bewertet werden
= keine realistische Simulation somit Validität fraglich
Planungsaufgabe im AC
= kognitive Einzelübung
Sie entspricht einer kleinen Arbeitsprobe und wird jeweils für die Aufgabe eigens entwickelten Punktesystem bewertet.
z.B. Aufbau einer neuen Dependance in China. Er erhält 10 Mitarbeitende und soll das bestmögliche Team bestimmen und spezifische Aufgabenbereiche zuordnen
Neben der fachlichen Qualifikation müssen auch die zwischenmenschliche Passung der zukünftigen Teammitglieder im Auge behalten werden.
Fallstudie im AC
Man bearbeitet eine schriftliche Arbeitsprobe, die eine besonders grosse Nähe zum betreffenden Berufsfeld aufweist. Die Übergänge zur Planungsaufgabe sind allerdings fliesend
Fallstudien sind insbesondere Wirtschaftswissenschaftlern aus ihrem Studium als «case studies» geläufig und setzten nicht selten wirtschaftswissenschaftliches Grundwissen oder doch zumindest unternehmerisches Denken voraus.
Beispiele für Übungsinstruktion
- Stegreifrede
- Rollenspiel
Unterschied Planungsaufgabe – Fallstudie
Planungsaufgabe eher abstrakter gestaltet, ohne dass ein aktueller Bezug
zum Arbeitgeber gegeben sein muss
Bei einer Fallstudie bearbeitet der Bewerber eine schriftliche Arbeitsprobe, die
eine besonders große Nähe zum fraglichen Berufsfeld aufweist.
Gruppendiskussion in der AC
Optimal 5 – 6 Bewerber gleichzeitig und besprechen ein vorgegebenes Thema.
Es lassen sich Teamsitzungen simulieren
Gruppendiskussionen können geführt oder ungeführt ablaufen.
Ungeführt
Alle Teilnehmer sind in der selben Ausgangsposition
Geführt:
Ein Teilnejmer übernimmt die Vorgesetztenrolle
Methodisch ist es nicht sinnvoll, da die führende Person im Vergleich zu den Mitbewerbern eine andere Übung durchläuft (Dies widerspricht dem grundlegenden Prinzip der Durchführungsobjektivität, nach dem alle Bewerber denselben Untersuchungsbedingungen auszusetzen sind
Führungsverhalten sollte man daher lieber in Rollenspielen untersuchen
Unabhängig hiervon kann man mit Rollenanweisungen arbeiten und dabei den Bewerbern in der Diskussion z. B. die Aufgabe zuweisen, dass sie verschiedene Abteilungen des Unternehmens vertreten. Aus Gründen der Durchführungsobjektivität muss man bei der Formulierung derartiger Rolleninstruktionen sehr genau darauf achten, dass niemand in einen Vorteil gesetzt wird bzw. eine Rolle übernehmen muss, in die er sich nur schwer hineinversetzen kann.
In der Regel ist eine hohe Durchführungsobjektivität leichter zu erreichen, wenn man auf unterschiedliche Rollenanweisungen verzichtet, die Bewerber sich also ganz einfach selbst präsentieren und eigene Überzeugungen vertreten. Hierdurch ist am ehesten gewährleistet, dass die Teilnehmer ihre eigene Persönlichkeit in die Übungen hineinlegen und nicht eine Rolle spielen
Konstruktionsübungen
= zweite Form der Gruppenübungen
Die Bewerber müssen eine Bastelübung in Kleingruppen absolvieren
Durch die fehlende inhaltliche Nähe zur realen beruflichen Aufgaben = Skepsis bei den Bewerbern
Es geht mithin vor allem um die Art und Weise, wie die Kandidaten miteinander umgehen
Akzeptanz unterschiedlicher Verfahren im AC
Die unterschiedlichen Verfahren lassen sich in 3 Gruppen sortieren
Höchste Akzeptanz
- Strukturierte Interview
- Präsentation
- Selbstvorstellung in einem Kurzvortrag
Mittlere Aktzeptanz
- Rollenspiele
- Gruppendiskussionen
Geringere Akzeptanz
- Stegreifreden
- Planungsaufgaben
- Testverfahren bzw. Fragebögen
- Konstruktionsübungen
Übungen werden umso eher akzeptiert, je valider sie den Bewerbern erscheinen, je stärker die Bewerber glauben, das Ergebnis selbst kontrollieren zu können und je positiver sie, der eigenen Wahrnehmung nach in einer Übung abgeschnitten haben
AC’s wie man es besser nicht machen sollte:
Komplexer Zeitplan im AC
Aus der Abfolge der Uebungen wird ein Beispiel eines eintätigen Verfahrens mit 5 Bewerbern gegen.
Das Verfahren besteht aus
5 klassischen Verhaltensübungen
- Rollenspiele
- Präsentation
- Stegreifrede
- Gruppendiskussion
1 strukturiertem Interview mit biografischen und situativen Fragen sowie
3 psychologischen Testverfahren
- Zwei Fragebögen
- 1 Leistungstest
Geprägt wird das AC durch 4 Personengruppen, die unterschiedliche Funktionen übernehmen
- Bewerber
- Moderator
- Beobachter
- Assistenten
Moderator im AC
Leitet das gesamte Verfahren
Leitet die Beobachterkonferenz
Beobachterkonferenz
In der Beobachterkonferenz werden die Einzelbeurteilungen der Beobachter zunächst zusammengetragen
- Schritt: Pro Kandidat einigt man sich auf einen Punktwert in der Kompetenzdimension
Ergebnis: Kompetenzprofil wird mit dem Anforderungsprofil verglichen
Statistische Urteilsbildung
Statt Beobachterkonferenz
= Ergebnis rein mathematisch durch eine Berechnung der durchschnittlichen Punktewerte pro Kompetenzdimension
Vorteil:
Zeitersparnis
Dominante Beobachter haben weniger Einfluss
Beobachter
Haben die Aufgabe, den Bewerbern in den Verhaltensübungen aufmerksam zuzuhören, ihr Verhalten zu beobachten und sich Notizen machen.
Sie bewerten jede Übung des Bewerbers
Nicht subjektiv sondern mit der verhaltensverankerten Beurteilungsskala
Beispiel:
Die Kompetenzdimension Rhetorik wird in dieser Übung durch drei Subdimensionen repräsentiert. In jeder der drei Zeilen müssen die Beobachter ein Kreuz setzen und anschließend einen Mittelwert bilden
Verhaltensregeln der Beobachter im AC
- Neutral gegenüber jedem Bewerber
- Kein Austausch mit den Kandidaten zwischen den Uebungen
Psychologen fällt es aufgrund ihres methodischen Grundverständnisses evtl. leichter, eine Rolle einzunehmen (= Steigerung der Validität)
Schulung der Beobachter
- Training über systematische Urteilsfehler und deren Beseitigung (siehe Kasten, S. 242/243).
- Trainings zum praktischen Umgang mit den Beobachtermaterialien; hier lernt man, wie Protokollbögen und Beurteilungsskalen im Laufe des AC zu handhaben sind. Zentral ist dabei die richtige Interpretation der Beurteilungsskalen.
- Trainings zur Vermittlung von Bezugssystemen; die Beobachter lernen dabei, ein und dasselbe Verhalten der Bewerber mit gleichen Punktwerten zu belegen.
- Trainings zur Verhaltensbeobachtung; im Zentrum steht hier die Unterscheidung zwischen Wahrnehmung und Bewertung. Ein bestimmtes Verhalten des Bewerbers in einem Rollenspiel zu erkennen, wäre demzufolge die erste Aufgabe eines AC-Beobachters. Erst im zweiten Schritt geht es darum, das beobachtete Verhalten auch zu bewerten. Dies wiederum geschieht auf der Grundlage der verbindlich festgelegten Bewertungskriterien
Systematische Fehler der Personalbeurteilung
Systematische Fehler der Personalbeurteilung
Selektive Wahrnehmung
Aus der Vielzahl der über einen Bewerber zur Verfügung stehenden Informationen wählt jeder Beobachter (z.T. unbewusst) unterschiedliche Informationen aus, die ihm wichtig erscheinen
Systematische Fehler der Personalbeurteilung
Verzerrtes Erinnern
In der Erinnerung wird nur ein Teil der ursprünglich zur Verfügung stehenden Information rekonstruiert.
Erinnerungslücken werden mit stereotypen Erwartungen aufgefüllt. Ein Bewerber mit Marketing-Hintergrund könnte daher im Nachhinein als selbstsicherer wahrgenommen werden, als er tatsächlich auftrat, sofern Selbstsicherheit dem Stereotyp der Berufsgruppe entspricht
Systematische Fehler der Personalbeurteilung
Halo-Effekt:
Einzelne Merkmale eines Menschen werden in der Bewertung übermächtig. Sie überstrahlen. Sie überstrahlen die Person wie ein Heiligenschein (engl. “halo”). So könnte man z.B. leicht die Leistungsfähigkeit eines Bewerbers, der auf einem renommierten Eliteinternat seine Schullaufbahn abgeschlossen hat, überschätzen.
Allerdings beschreibt der Halo-Effekt nicht nur auf Über-, sondern auch auf Unterschätzung (z.B. Abwertung eines Bewerbers aufgrund unkonventioneller Kleidung).
Insofern ist die Assoziation zum Heiligenschein ein wenig irreführend
Systematische Fehler der Personalbeurteilung
Erwartungseffekt
In Abhängigkeit von der Erwartung, die man von einer bestimmten Person hat, wird die Person im AC postiv oder negativ verzerrt wahrgenommen.
Systematische Fehler der Personalbeurteilung
Aehnlichkeits-Attraktivitäts-Effekt
Personen, die uns ähnlicher sind als andere, erscheinen uns auch attraktiver und werden dementsprechend positiver bewertet
Systematische Fehler der Personalbeurteilung
Milde- vs. Strenge Effekt
Manche Beobachter tendieren grundsätzlich dazu, Bewerber eher zu milde als zu streng zu beurteilen
Systematische Fehler der Personalbeurteilung
Tendenz zur Mitte
Manche Beobachter drücken sich vor einer Bewertung der Bewerber, indem sie bevorzugt die mittlere Stufe der Beurteilungsskala ankreuzen
Systematische Fehler der Personalbeurteilung
Was gibt es für systematische Fehler (grob)
- Selektive Wahrnehmung
- Verzerrtes Erinnern
- Halo-Effekt
- Erwartungseffekt
- Aehnlichkeits-Attraktivitäts-Effekt
- Milde- vs. Strenge-Effekt
- Tendenz zur Mitte
Assistenten im AC
Sind dafür zuständig, dass die Bewerber zur richtigen Zeit am rechten Ort sind.
Übernehmen die Durchführung und Auswertung der Testdiagnostik
Sowie Funktion der Rollenspieler (standardisiert)
Prognostische Validität des AC
Durchschnittlicher Wert .37
Je nach Validitätskriterium schwank dieser Wert, fällt aber nie unter .33, wodurch das AC prinzipiell als nützliches Instrument in der Personalauswahl identifiziert wird.
Obwohl wir heute über die Methode des AC sehr viel mehr wissen als noch vor 30 od. 40 Jahren, scheint ihre Validität über die Jahre hinweg zu sinken.
Warum?
Inkrementelle Validität des AC gegenüber kognitiven Leistungstests
Die aufgeklärte Varianz konnte um fast 20% gesteigert werden
Konstruktvalidität
Wäre die Konstruktvalidität perfekt, so sollten innerhalb der Übungen die Werte für unterschiedliche Kompetenzdimensionen nur sehr gering miteinander korrelieren
während gleichzeitig die Werte für die unterschiedlichen Messungen derselben Kompetenzdimension über mehrere Übungen hinweg hoch korreliert sein sollten
(= hohe konvergente Validität).
Meist fällt der Koeffizient der konvergenten Validität nicht höher oder sogar geringer aus als der Koeffizient der diskriminanten Validität, was insgesamt für eine schlechte Konstruktvalidität des Verfahrens spricht
(= hohe diskriminante Validität)
Wie kann die Konstruktvalidität verbessert werden.
Wenn die Kompetenzdimensionen möglichst trennscharf sind bzw. verwandte Dimensionen nicht in derselben Übung gemessen werden, nicht zu viele Dimensionen pro Übung einzuschätzen sind,
die Beobachter nicht viele Bewerber gleichzeitig bewerten müssen,
die Übungen dimensionsspezifisch entwickelt werden,
Die Beobachter im Hinblick auf die
Diskriminierung der Dimensionen sowie auf ein einheitliches Bezugssystem intensiv geschult werden und Psychologen als Beobachter zum Einsatz kommen
Tipps für die AC-Praxis
Tipps für die Praxis
