Lecture 2 Flashcards
Validity of Experiment Findings / Валидность результатов эксперимента
Cook & Campbell (1979) identified 4 criteria:
1. Statistical conclusion validity
2. Internal validity
3. Construct validity
4. External validity
Note: The validity of experiment findings is not the same as the validity of the measure! (Although they are related).
Кук и Кэмпбелл (1979) выделили 4 критерия:
1.Валидность статистических выводов
2.Внутренняя валидность
3.Конструктная валидность
4.Внешняя валидность
Примечание: валидность результатов эксперимента — это не то же самое, что валидность измерения! (Хотя они связаны).
External Validity
The ability to generalize the results beyond populations, times, and situations.
Способность обобщать результаты на другие популяции, времена и ситуации.
Threats / Угрозы:
Interaction testing × treatment
Can we generalize results to participants who did not go through pretest measures?
Solution: Control group with no pretest measure, only posttest.
Взаимодействие предтеста и воздействия
Можно ли обобщить результаты на участников без предтеста?
Решение: контрольная группа без предтеста, только посттест.
Interaction selection × treatment
Findings only generalize to the sample population.
Solution: Random sampling, narrowing population, replication on other samples.
Взаимодействие отбора и воздействия
Результаты обобщимы только для исходной выборки.
Решение: случайная выборка, сужение популяции, репликация на других выборках.
Interaction of setting/history × treatment
Findings depend on environment or time (e.g., lab vs. street).
Solution: Replicate in different settings or include time/place as IV.
Взаимодействие условий/времени и воздействия
Результаты зависят от условий/времени (например, лаборатория против улицы).
Решение: повторение в разных условиях или включение времени/места как независимой переменной
Establishing External Validity - Установление внешней валидности
Three factors:
Sampling – how participants were selected
Ecological validity – procedures mirror real life?
Replication – need to replicate findings
Три фактора:
Выборка – как отбирались участники
Экологическая валидность – отражает ли процедура реальность?
Репликация – необходимость повторения результатов
Replicating Research Findings
Replication: repeating or duplicating previous study systematically.
Types:
Exact replication
Partial replication
Conceptual replication
Репликация — систематическое повторение исследования.
Типы:
Точная репликация
Частичная репликация
Концептуальная репликация
The Reproducibility Crisis / Кризис воспроизводимости
Fewer replication studies are published than expected. Why?
Меньше публикаций репликаций, чем ожидалось. Почему?
The Reproducibility Project (2015) / Проект воспроизводимости (2015)
Replicated 100 studies from top journals
Less than half (36%) statistically significant in expected direction
Replicated effect sizes were only half as large as original
Повторили 100 исследований из ведущих журналов
Менее половины (36%) дали значимые результаты в ожидаемом направлении
Эффекты были в два раза меньше оригинальных
Consequences of the Reproducibility Project / Последствия проекта
Confirmed replication crisis
Shook public trust
Doesn’t mean psychology is unscientific
Part of scientific process: pruning weak ideas
Подтвердил кризис репликации
Пошатнул доверие к науке
Не значит, что психология — не наука
Часть научного процесса — отбраковка слабых идей
Threats to Reproducibility / Угрозы воспроизводимости
- Publication bias (Смещение публикаций)
- Low statistical power (Низкая статистическая мощность)
- P-hacking (много анализов, выбор значимых)
- HARKing (гипотезы после результата)
Barriers to Replication / Препятствия для репликации
- Questionable research practices (Сомнительные практики)
- Fraud / fabrication (Фальсификация данных)
Pre-registered studies harder to replicate (Предварительно зарегистрированные исследования труднее воспроизводимы)
Solutions to Improve Replication / Решения для улучшения репликации
- Involve original authors (Вовлекать оригинальных авторов)
- Detailed method (Подробная методика)
- Result-blind peer-review (Слепое рецензирование)
- Cross-lab collaborations (Сотрудничество между лабораториями)
