Lecture 22: Critical thinking about psychological theories Flashcards
observations are …
theory laden. assumptions about the world/humans drive observations.
wat is een voorbeeld van observations are theory laden
atomism: we denken dat mensen power hebben. -> assumption that we make about what power is, we think an explanation for the functioning of the research object can be found in the object itself. dus als je denkt dat power in een individual zit, of juist de verschillen tussen mensen. hoe je dit interpreteert, heeft een grote invloed op hoe je research doet. dus belangrijk om deze observations over theorie goed te specificeren
relatie tussen smoking and covid
kuchen door smoking -> deciding to get a test <- kuchen door covid
dus deciding to get a test is een effect van beiden smoking en covid. daardoor zal het overgrote deel van de smokers niet echt covid hebben. dus als je kijkt naar de mensen die besluiten om te testen, zullen smokers overrepresented zijn. dus dan conditioning on a collider!!!
good theory makes these assumptions….
visible and verifiable!
wat zijn dus de drie redenen dat we duidelijke theory nodig hebben
- observations are theory laden
- technology/world situation influences our perceptions
- te veel research papers, we need theory to integrate these results of different research findings
wat laat de anova zien over theory
we gebruiken anova om psychologische dingen te testen, terwijl dit allemaal ja/nee vragen zijn. terwijl deze testen eigenlijk alleen zijn voor simpele hypothesen.
maar kunnen we deze hele cascade aan reacties wel op die manier testen? dit moet je duidelijk maken
hoe ga je van theory naar hypothese
substantive hypothesis - research hypothesis - statistical hypothesis
hoe ga je van substantive hypothesis naar research hypothesis
apply to the research context, more specific. maar goed beargumenteren waarom je dit denkt.
je moet ook explicitly staten hoe je van research hypothesis naar statistical hypothesis gaat
want nhst is niet duidelijk. hier moet je echt voor beargumenteren!!
mensen assumen dat de null hypothesis testing het gouden standaard is. maar dat is niet zo, dus gebeurt vaak niet
wat zijn dingen die fout waren aan het elderly onderzoek met langzaam lopen
- hypothesis myopia: er zijn andere explanations
- circular reasoning (walking slow <-> eldery concepts are activated)
- straw target
The ideal is therefore a clear theory from which an experimental and statistical hypothesis is distilled by means of a number of logically powerful steps.
oke
maar wat zien we vaak in de praktijk?
- Argumentation steps that are left implicit or are completely absent
- Misleading forms of argumentation that we should recognize from block 1 of this course
- Begging the question/circular reasoning
- Trading on equivocation
- Confirming the Consequent
- Null ritual: Straw target
- Null ritual: False dilemma
- Null ritual: Common practice
wat zie je vaak bij circular reasoning
‘theory’ is an almost literal reformulation of
experimental findings, without further explanation
Reformulation is not necessarily useless!
want soms is het goed om te generaliseren, en research findings aan elkaar connecten.
“In concrete terms, activation of the professor
stereotype is expected to result in intelligent
behavior because activation of the professor
stereotype leads to activation of intelligence”
waar is dit een voorbeeld van
circular reasoning
3 types of circular reasoning =
- repeat the premisis (bananas)
- premise presupposes the truth of the conclusion
- premise is logically/semantically equal to the conclusion
P The bible states that God exists
P The Bible is the Word of God.
C God exists
premise presupposes the truth of the conclusion
P Jan reacts more quickly to aggression-related words
C Aggression-related words are more accessible in the long-term memory of Jan
premise is logically/semantically equal to the conclusion
wat ging er mis met circular reasoning in het eldery studie ding
ze gingen van priming -> walking speed, zonder een tussenliggende theory.
priming is experiment, walking speed is observation: wat zit daar tussen??? dus dit is circular reasoning.
Equivocation=
One-word explanations: The same word (without further additional assumptions) describes several underlying processes
Without further explanation you can predict opposite results.
wat was de fallacy bij representativeness
- Hot hand fallacy: “Representativeness causes people to expect more good throws from people who have thrown a good series.
- Gamblers fallacy: Representativeness causes people to expect ‘black’ to be more likely after a long series of ‘red’.
representativeness is hier boven dezelfde term, waarbij verschillende resultaten kunnen worden predict (als je het niet verder uitlegt)
= trading on equivocation
(1) Set up a statistical null hypothesis of “no mean difference” or “zero correlation.” Don’t specify the predictions of your research hypothesis or of any alternative substantive hypotheses.
waar is dit een voorbeeld van?
straw target
(2) Use 5% as a convention for rejecting the null. If significant, accept your research hypothesis.
waar is dit een voorbeeld van?
common practice & false dilemma
3) Always perform this procedure
waar is dit een voorbeeld van?
common practice
kan je straw target uitleggen
dan maak je het argument van de ander zwakker, of distorted in het debat. turn it into something that is easily debunked.
- Critical reader Jan: “Precognition cannot
exist because it is not in line with the laws of
nature/standard assumptions in other
sciences.” - Researcher Darryl: “If pre-cognition didn’t
exist/standard assumptions in other sciences
are correct, no groups would ever
outperform random guessing on this funny
computer task. I find a different proportion
than 50% so pre-cognition does exist.”
straw target: the counter argument is boiled down to a very weak and distorted argument
- Critical reader Jan: “The perception behavior
link is not a scientific theory because it does not exclude any specific behavior from occuring.” - Researcher John: “If PBL isn’t correct, then
people would just walk towards the elevator at
their usual speeds after doing this weird
computer task, but they don’t.”
straw target
= weakened version of the counter argument
null ritual: “either my theory is right or the null will not be rejected”
wat gebeurt hier?
false dilemma
waarom is de null een false dilemma
It is unlikely (even in experimental designs) that there are no differences between two groups. This is what Meehl called the “Crud factor”
want… als je lang genoeg zoekt zul je binnen het sociale domein altijd wel een effect ergens vinden.
wat zou beter zijn dan de null ritual
- Making predictions about ES that are consistent and inconsistent with the theory would be better.
- It would also be stronger to compare competing predictions
waarom is de null ritual ook een straw target
Rejecting H0 and accepting your research hypothesis on finding any difference is not a stringent test of a theory.
(het is een weakened version van je argument!)
hoe kan je hypothesis testing als deductive argument
if theory P, then observation Q
Q
then P
dit is affirming the consequent: je kan dit niet zeggen. het enige wat je kan doen is de theorie proberen te falsificeren, dit kan wel. maar je kan nooit een theory bewijzen.
- P1 If the perception behavior link is correct,
then people walk more slowly to the elevator
after exposure to age-related words. - P2 People walk more slowly to the elevator
after exposure to age-related words - C Perception behavior link is correct
confirming the consequent!!
resultaten vinden betekent dus niet dat je theorie klopt
want dat is confirming the consequent
wat als je via popper kijkt naar 4 studies, waarvan 2 een positief en 2 een negatief resultaat vonden
dan wegen de falsifications veel zwaarder dan de positieve resultaten.
duhem-quine problem
P1 Substantive assumptions & assumptions about measurement & assumptions about research etc.
C1 If someone is in the exp condition, then higher score than in the contr condition.
je hebt al die assumpties, en je weet niet welke degene is die niet klopt. is het de assumptie over theory, over measurement???? we weten niet waar het fout is gegaan. dus je kan niet zomaar zeggen dat je meting niet klopte bij een nul resultaat. we testen namelijk niet alleen de theory, het is een groep van assumpties waarvan iets gefalsificeerd is (maar we weten niet wat!)
you should always add another explanation!! no one sided explanation!!
oke
wat was er met de caffeine shampoo
hypothesis myopia/confirmation bias:
washing your hair with caffeine extract, een simpelere explanation = washing your hair is good for your shininess (any shampoo would have that effect)
people often jump to the most specific explanation, instead of going to the simpler one
(=caffeine)
wat was er met mortality salience
ze probeerden uit te leggen waarom mensen meer usa vlaggen etc gingen kopen na 9/11, volgens mortality salience: mensen exposed to thoughts about own death, look for signals that assure you that you are part of the culture that goes on.
off……. lack of control (hierdoor meer dingen kopen)
dus wat moeten we doen met parsimonious explanations en specifieke explanations?
eerste de parsimonious explanation falsificeren, voordat we de specifieke uitleg accepteren!
abduction =
inference to the best explanation
wat doen mensen meestal in science, in plaats van te falsificeren
A
B, if true, would best explain A
B
dus ze doen abduction. niet falsificatie. dit kan je eigenlijk alleen doen als je echt een robust phenomenon hebt
thinking too much: introspection can reduce the quality of preferences and decisions. 2 theorieen
- unconcious thought is better
- conscious thought may backfire
8 verschillende criteria voor het kiezen van de theorie die het beste past
- descriptive adequacy
- precision and interpretability
- coherence and consistency
- prediction and falsifiability
- postdiction and explanation
- parsimony
- generative/original
- breadth
descriptive adequacy=
is the theory in line with the data
meest voor de hand liggende, er zijn vaak andere theorieen die het ook zouden kunnen uitleggen. dus verder kijken dan dit!
wat is de emerald theory
- All emeralds are green, vs all emeralds are grue (green until 3333, then blue)
wat laat de emerald theory zien
dat je altijd wel een andere theorie kan bedenken naast de theorie die je nu hebt (en dat descriptive adequacy dus niet genoeg is)
= identification problem
identification problem =
the available data can be explained by an infinite number of models
In the case of equal adequacy (or fit), other factors must be taken into account:
Prediction, postdiction, precision etc.
- precision =
formalizing your model leads to more precise theories.
verbal model vs formal model (meer specifiek)
wat is een voorbeeld van precision
verbal theory: people are weird with money inschatten
formal theory: concave function, hoe meer mensen omhoog gaan, hoe minder ze het geld valuen
Rescorla–Wagner model (“R-W”)
verbal:
- If a stimulus is followed by reinforcement, the relationship is strengthened (or weakened in case of negative reinforcement).
- ‘Cells that fire together wire together’ (Webb)
- Or even more vague: It is very difficult to learn something very well
formal:
ΔV=α(λ-V)
waar staat alles voor in deze formule:
ΔV=α(λ-V)
V: current association strength (or strength of the connection
between two neurons)
* λ : maximum association strength (or maximum strength of the joint)
* α: learning speed (or how fast can the connection change?)
dus wat zegt het RW model
it becomes increasingly difficult to become better at something
wat is een nadeel aan formal models
overfitting!
er is namelijk een upper limit of how precise we should be, want anders niet meer generalisable naar andere dingen!!!
overfitting =
the better the model fits the current data, the more likely it is that it does not fit the new data so well. -> simple/linear models are usually more robust
dus minder error comes at the cost of the generalizability (try to explain the noise!)
overfitting decreases…
the generalizability of the model
google flue
google fitted the data too well on the noise, waardoor het na een jaar niet meer predictable was voor andere dingen, zoals door nba (wat niet was in de lente)
should we focus on predicting stuff or understanding stuff?
making predictions is a good check for how good your model is. sommigen zeggen dat we niet meer hoeven te understanden
Understanding such phenomena is relevant (but opinions are divided on this):
* Causal relationships should be invariant
* So predictions based on causal mechanisms would be more robust over different datasets
bononi paradox
Increased complexity of the model can cause us to be able to better predict the outcome value, without a better understanding of what we are modelling.
coherence =
het moet gewoon logisch op elkaar aansluiten.
- Unconscious thinking is choice-relevant processes
without attention - A conscious thinking is a choice-relevant process
with attention - So distraction excludes conscious thinking
(because no attention) - But without distraction?
- No unconscious thinking?
- Why expect a difference?
waar is dit een vb van
coherence (incoherence)
wat bedoelen we als we zeggen dat een theorie falsifiable moet zijn
- Make a specific statement about the circumstances in which it can be demonstrated that your theory is not correct.
- Subject your theory as much as possible to such circumstances
- Ensure that these tests are as stringent as possible
waar moet je nog meer bij kijken voor falsifiability
the degree to which your theory is falsifiable: depends on how strict your test is, or how much you expose your theory to falsification.
hoe maak je de degree van falsifiability hoger
- Specific predictions
- Contrast with alternative explanations -> Avoid null ritual
- Strong connection between theories and operationalisation
A theory is more falsifiable if ….
it contains more ‘classes of falsifiers’.
wat is dus het verschil tussen:
1. Choice quality depends on alcohol consumption
2. Alcohol consumption results in deteriorated choice quality
3. Only extreme alcohol consumption leads to deteriorated choice quality
de tweede is meer specifiek, en dus meer falsifiable.
wat zei popper over 2 models en falsifiability
According to Popper, if two alternative models fit the data equally well, the specificity of the prediction (i.e. the degree of exposure to falsification) should be decisive.
A theory that is more falsifiable (excludes more and has been tested in several different situations) has more …..
versimilitude
you should prefer the theory that…
had a more specific prediction
dus wat was er bij de unconscious/conscious theory aan de hand
de unconscious theory is niet parsimonious, veel te uitgebreid.
Originality is less important than…
the fact that the theory works generatively:
* Does it generate new predictions?
* Is it an insightful new way to solve a difficult problem?
So if a new theory predicts exactly the same
thing as an old theory, there is no reason to
switch
