prov. Fragebogen 46 - 50 Flashcards
- Was ist Testverfälschung? Wodurch entsteht sie? Was bzw. wieviel kann man dagegen tun?
Von Testverfälschung kann gesprochen werden, wenn Personen den Test zu ihren Gunsten manipulieren,
da Testergebnisse meistens nicht belanglos sind. Dabei werden unterschiedliche Arten der
Testverfälschung unterschieden:
a) Simulation: gezielter Versuch hohe Testwerte zu erreichen
b) Dissimulation: gezielter Versuch niedrige Testwerte zu erreichen
c) Selbstdarstellung
d) soziale Erwünschtheit: Angst vor sozialer Verurteilung führt zu konformen Verhalten
Es gibt verschiedene Möglichkeiten, wie man der Testverfälschung entgegen wirken kann:
a) Ausbalancierte Antworten: Die Antwortalternativen sollen hinsichtlich der sozialen Erwünschtheit
gleich attraktiv sein (aber hoher Konstruktionsaufwand & gleich attraktive Antwortmöglichkeiten
verunsichern Befragte)
b) Kontrollskalen: à (= Lügenskala; z.B. „Manchmal werde ich wütend.“ „Ich bin immer freundlich und
hilfsbereit“)
c) „objektive“ Tests: Das Testziel wird hierbei durch geeignete Aufgabenwahl und Auswertungstechnik
verschleiert (geringe Augenscheinvalidität); z.B.: Arbeitshaltung: wie schnell hört man auf, an einem Item
zu arbeiten
d) Aufforderung zu korrektem Testverhalten: Zusatzinstruktion
- Erklären Sie die random-response-Technik.
Die Annahme dahinter ist, dass sich die verfälschten Antworten reduzieren, wenn die geprüfte Person
absolut sicher ist, dass sich ihr wahres Antwortverhalten nicht rekonstruieren lässt. Durch diese Technik
weiß der Interviewer nicht, ob die heikle Frage mit „Ja“ oder „Nein“ beantwortet wurde.
Beispiel: Jeder Befragte bekommt drei Karten vorgelegt, wobei auf der ersten die Frage steht „Haben Sie
schon einmal Drogen konsumiert?“, auf der zweiten Karte steht „Ist hier ein schwarzes Dreieck zu sehen?“
(wobei kein schwarzes Dreieck zu sehen ist) und auf der dritten Karte steht wieder „Ist hier ein schwarzes
Dreieck zu sehen? (wobei ein schwarzes Dreieck zu sehen ist.) Der Befragte zieht anschließend eine der drei
Karten und beantwortet diese, wobei der Interviewer nicht weiß, welche der drei Karten der Befragte
gezogen hat. Wenn man sehr viele Personen befragt, kann man davon ausgehen, dass ein Drittel die Frage
mit „Ja“ beantwortet hat, ein Drittel mit „Nein“ und der Rest stellt die Anzahl der Personen dar, die auf die
Frage nach dem Drogenkonsum geantwortet haben.
- V: Ein mittels random-response-Technik vorgegebener Fragebogen gibt die Instruktion zur Falschantwort, wenn man in einem Monat von Dezember bis Februar geboren ist (Annahme: Wahrscheinlichkeit ¼). Wenn 40% der Befragten eine Frage zustimmend beantworten, für wie groß schätzen Sie den tatsächlichen Anteil in der Population? (Zur Kontrolle: die gesuchte Zahl ist 30%.)
z = % positiver Antworten = 0.4
p = tatsächlicher Anteil in der Population
z ≈ ¾*p + ¼*(1-p)
0.4 ≈ ¾*p + ¼*(1-p)
0.4 ≈ ¾*p + ¼ - ¼*p |-¼
0.15 ≈ ¾*p - ¼*p
0.15 ≈ ½*p |*2
0.3 ≈ p
Ich schätze den tatsächlichen Anteil in der Population auf ca. 30%.
- Erklären Sie die unmatched count-Technik.
Die Befragten werden per Zufall in zwei Gruppen geteilt. Eine Gruppe erhält dabei x harmlose Items,
die andere dieselben Items sowie zusätzlich ein sensitives Item. Beide Gruppen werden lediglich gefragt,
auf wie viele Items sie mit „Ja“ antworten würden. Aus der Differenz lässt sich dann abschätzen wie viele
auf das Sensitive mit „Ja“ geantwortet haben.
- Was ist Kausalität, und warum ist sie so schwierig nachzuweisen?
Kausalität beschriebt einen klaren Zusammenhang von Ursache und Wirkung. Im Alltag sind Ursache
und Wirkung oft „offensichtlich“ (z.B. Straßennässe durch Regen). Meist ist Kausalität aber schwer
nachzuweisen, weil viele Faktoren gelten müssen, damit Kausalbeziehungen schlagend werden können.
Außerdem sind Kausalbeziehungen eigentlich immer kontextabhängig, oft ist aber nicht alles über die
relevanten Kontextfaktoren bekannt.
- Was ist Kausalität bei John Stuart Mill, und warum schneidet bezüglich seiner Kriterien ein Experiment besser ab als eine Korrelation aus einer Feldstudie?
Nach Mill existiert eine Kausalbeziehung wenn
• die Ursache dem Effekt vorangeht.
• die Ursache zum Effekt in Beziehung steht,
• es keine andere plausible Erklärung für den Effekt gibt als die Ursache.
Im Experiment wird zuerst die Ursache manipuliert, dann folgt der Effekt; wir können
prüfen ob eine Beziehung zwischen Effekt und Ursache besteht; wir können Alternativerklärungen
ausschließen.
Bei einer Korrelation aus einer Feldstudie gilt hingegen: Correlation does not prove causation! Weil:
• oft nicht klar ist welche Variable welcher vorangeht
• die beiden Variablen nicht notwendig in Beziehung miteinander stehen (sog. „Scheinkorrelationen“)
• es im allgemeinen alternative Erklärungen für korrelative Zusammenhänge gibt –
Moderatorvariablen!
- V: Ein online-Fragebogen arbeitet mit Random-Response-Technik und der Anleitung: „Antworten Sie wahrheitsgemäß, wenn die (zweistellige) Sekundenangabe Ihrer Uhr, wenn Sie genau jetzt hinsehen, nicht durch 4 teilbar ist, ansonsten genau das Gegenteil.“ Wenn Sie auf die Frage nach Missbrauchserfahrung nun 35 % Ja-Antworten erhalten, was schätzen Sie für den tatsächlichen Anteil in Ihrer Stichprobe?
- V: Zwei zeitlich gleich angesetzte parallele Gruppen einer Lehrveranstaltung haben völlig verschiedene Durchschnittsleistungen auf die Abschlussprüfung. Können Sie das auf die/den LehrveranstaltungsleiterIn zurückführen? Gehen Sie die Millschen Kriterien für Kausalität durch, und erstellen Sie eine Liste an möglichen alternativen Erklärungen. Sind diese alternativen Erklärungen plausibel?
1) Die Ursache (LV-Leiter*in) kam vor der Wirkung (Leistungen) – ja, das tat sie in dem Fall.
2) Ursache und Wirkung stehen in einem Verhältnis zueinander – ich denke schon, dass man von einem
Verhältnis ausgehen kann, der/die Leiter*in unterrichtet immerhin den Stoff, der abgefragt wird.
3) Es gibt keine plausiblen Alternativerklärungen – das ist in dem Fall nicht gegeben.
Mögliche Alternativerklärungen:
- Die Parallelgruppen unterschieden sich von vornherein (z.B. in ihrer Aufmerksamkeitsspanne). Das ist
durchaus möglich, nur stellt sich die Frage, ob es plausibel ist, dass z.B. alle diejenigen mit einer besseren
Aufmerksamkeitsspanne sich in der gleichen Gruppe befinden. Aus der Aufgabenstellung können wir nicht
entnehmen, wie die Gruppeneinteilung abgelaufen ist. Wurden die Studierenden per Zufall den Gruppen
zugeteilt (Randomisierung), so kann man davon ausgehen, dass es keine solche systematischen Gruppenunterschiede gibt. Ansonsten kann man diese Alternativerklärung nicht ausschließen.
- Die Räume, in denen die LVs (und die Prüfungen) stattgefunden haben unterscheiden sich. Womöglich
gibt es in einem eine Lärmbelastung, welche das Aufpassen während der Lehrveranstaltung, als auch die
Konzentration bei der Prüfung, gestört hat. Dies ist durchaus plausibel.
- V: In zwei verschiedenen Schulen wird nach zwei verschiedenen Lehrplänen unterrichtet, um festzustellen, welcher besser ist. Um welches Versuchsdesign handelt es sich? Welche alternativen Erklärungen für allfällig beobachtete Effekte kann es geben?
Es handelt sich um ein quasi-experimentelles Design, da mit „natürlichen“ Gruppen gearbeitet wird.
Durch das Fehlen der Randomisierung kann man nicht ausschließen, dass sich die Gruppen (die Schüler,
oder aber auch die Lehrer) von vornherein unterscheiden. Gibt es systematische Unterschiede bei den
Schülern, so können sich diese darauf auswirken, wie der Lehrplan aufgenommen wird. Unterscheiden
sich die Lehrkräfte, so könnte es drastische Unterschiede in der Umsetzung der Lehrpläne geben. Zu
einem gewissen Grad kann man dem mit baseline comparisons entgegenwirken.
- Fassen Sie die wissenschaftskritischen Überlegungen aus der Vorlesung zusammen, und untermauern Sie sie durch zwei selbst gewählte Beispiele.
• In Wahrheit ist Wissenschaft manchmal (oft?) kein stetiger Prozess von streng rationaler
Verifikation/Falsifikation und entsprechender Theoriemodifikation im Popperschen Sinne (s. Kuhn: Die
Struktur wissenschaftlicher Revolutionen)
• Kulturelle Vorstellungen oder sogar kultureller Druck
• Politischer oder ökonomischer Druck, Einfluss von Interessensvertretungen
• Objektivität und Neutralität anzweifelbar
• Wichtige Informationen oft nicht allgemein zur Verfügung gestellt
• Modeerscheinungen, Hypes (Medizin: „Modediagnosen“)
• Anwendung von Modellen „um des Anwendens willen“
• Bzw. nach Motivation des/der WissenschaftlerIn (z.B. qualitativ vs. quantitativ: hat oft mehr mit
Vorlieben zu tun als mit sachlichen Argumenten)
• Selektives Aufgreifen/Akzeptieren von Ergebnissen durch die scientific community à „unplausible
Ergebnisse“ versucht man zu „reparieren“
• Systemrechtfertigung
Beispiele:
1. Ein Unternehmen möchte nachweisen, dass ein neu eingeführtes Pausensystem die Zufriedenheit der
Mitarbeiter erhöht. Objektivität und Neutralität sind anzweifelbar, da ein klares Interesse hinter der
durchgeführten Studie steht à Systemrechtfertigung
2. Ein Junior Scientist möchte sich in seiner Branche etablieren und steht unter dem Druck, viel zu
publizieren. Er wählt seine Forschungsvorhaben nur noch nach der Wahrscheinlichkeit einer Publikation
aus und nicht nach dem eigentlich angestrebten wissenschaftlichen Erkenntnisinteresse.
- Was ist Konstruktivismus? Welche Abstufungen kennen Sie?
Die grundlegende Idee des Konstruktivismus besteht darin, dass Individuen nicht auf Reize aus einer
objektiven Welt reagieren, sondern anhand von Sinneseindrücken eine subjektive Realität erzeugen.
Abstufungen:
• Radikalste Form: es gibt überhaupt keine von uns losgelöste Wirklichkeit, alles ist nur ein Konstrukt,
eine Vorstellung
• Weichere Form: unsere Vorstellung von der Welt (wissenschaftliche Ergebnisse eingeschlossen) ist nur
ein Konstrukt, aber es gibt im Prinzip schon so etwas wie eine objektive Welt.
- Was beinhaltet das UTOS-Modell?
Nach Cronbachs UTOS-Modell bezieht sich die kausale Generalisierbarkeit auf:
- Units (bzw. Teilnehmer*innen) – Sind Ergebnisse, die mit den jeweiligen Probanden gewonnen wurden,auf bestimmte Zielpopulation(en) generaliserbar?
- Treatments – Sind Ergebnisse, die mit der verwendeten Manipulation erzielt wurden, auf andere, theoretisch äquivalente Manipulationen generalisierbar?
- Observations (bzw. Messung) – Sind Effekte, die wir mit den jeweiligen Maßen (Fragebogen, Tests etc.) gefunden haben auf andere, theoretisch äquivalente Maße generalisierbar?
- Settings, in welchen das Experiment stattfindet – Sind Ergebnisse auf andere Settings generalisierbar als jene, in denen die Untersuchung durchgeführt wurde?
Es geht also um die kausale Generalisierbarkeit der Ergebnisse der Untersuchung. Wenn die Repräsentativität an irgendeiner Stelle nicht gegeben ist, müssen die Schlussfolgerungen entsprechend eingeschränkt werden!
- V: Um den Effekt von home jobbing auf die Arbeitsmotivation (mittels Fragebogen erhoben) festzustellen, werden an einigen Standorten eines Großbetriebs home office-Möglichkeiten gezielt forciert. Was wäre nach dem UTOS-Modell hinsichtlich der Generalisierbarkeit der Resultate konkret angewandt auf das Beispiel zu beachten?
Units: Sind die Mitarbeiter der Standorte vergleichbar mit Mitarbeiter in anderen Standorte bzw. Betrieben?
Lassen sich Ergebnisse, die an den Personen hier gefunden werden, auf andere Populationen anwenden?
(Randomisierung?)
Treatments: Sind die forcierten home office-Möglichkeiten vergleichbar mit Alternativen, die evtl. in
anderen Organisationen angewandt werden?
Observations: Sind die Ergebnisse der Fragebögen generalisierbar? Würde man mit vergleichbaren
Alternativen zu ähnlichen Ergebnissen kommen?
Settings: Ist der Großbetrieb als Setting repräsentativ für Organisationen dieser Art? Würde man an einem
anderen Betrieb zu vergleichbaren Ergebnissen kommen?
- V: Worin besteht konkret im vorigen Beispiel 52 externe bzw. interne Validität?
Die interne Validität beschäftigt sich mit der Frage der Kausalität: Kann hier wirklich von einer Wirkung der UV (home office) auf den Effekt der AV (Arbeitsmotivation) geschlossen werden? Dazu ist es wichtig, sich Moderator- und Störvariablen anzusehen. Zum Beispiel wäre es problematisch, wenn sich zur gleichen Zeit etwas anderes im Unternehmen ändern würde.
Die externe Validität bezieht sich auf z.B. darauf, inwiefern lassen sich die Ergebnisse auf andere Populationen generalisieren (z.B. andere Mitarbeiter in dem Betrieb, andere Betriebe etc.) lassen.
- Welche möglichen ethischen Probleme stellen sich bei der Durchführung experimenteller Designs?
- Nicht-Behandlung der Kontrollgruppe (Möglicher Umgang: Dose-response design: Medikament in
stärkeren/schwächeren Dosen; Teilbehandlung aller Personen vor dem Versuchen; Teilweise
Behandlung „on demand“; Wartegruppen mit Behandlung hinterher) - Randomisierung: Möglicherweise Missverständnisse beim Einverständnis (Möglicher Umgang:
Abschwächen der Randomisierung für besonders dringende Fälle)
