Kryzys w nauce

Question 1

Simmons, Joseph, Nelson, Simonsohn, 2011: “False-Positive Psychology Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant.

Answer 1

• konieczność ustalenia przed rozpoczęciem badania reguły dotyczącej zbierania danych i ujawnienie jej w publikacji
• koniecznść zbierania co najmniej 20 obserwacji na warunek (lub uzasadnić mniejsze próby)
• konieczność raportowania wszystkich zmiennych rejestrowanych w badaniu
• konieczność raportowania wszystkich warunków eksperymentu, w tym nieudane manipulacje
• informacja o wykluczonych obserwacjach
• podanie wyników po usunięciu współzmiennej
• transparentność w zarządzaniu danymi

Question 2

Self corrective nature of science

Answer 2

• najlepszą metodą na eliminowanie wyników przypadkowych jest powtarzanie badań.
• Im więcej badań, tym wyniki bardziej zbliżać się będą o efektu prawdziwego (zakładając, że nie powtarza się w każdym z nich tego samego błędu).

Question 3

Wnioskowanie Bayesowskie

Answer 3

• klasyczne wnioskowanie - wykazanie różnicy istotnej statystycznie
• współczynnik Bayesa definiuje się jako stosunek prawdopodobieństwa a posteriori do a priori H1 do H0 (Kass i Raftery 1995 → porównanie prawdopodobieństwa hipotezy badawczej do alternatywnej
• BF>1 wskazuje na korzyść alternatywnej hipotezy H1 (o istnieniu różnicy)
• współczynnik Bayesa w przedziale 0<BF< 1 wskazuje na korzyść hipotezy zerowej (o braku różnic)
• Dzięki niemu można wykazać, że brak różnicy wynika z faktu, że jakieś zależności nie ma, a nie, że np. popełniliśmy jakiś błąd metodologiczny.

Question 4

Open science

Answer 4

• udostępnianie danych i materiałów użytych do badań w celu poprawy powtarzalności badań
• otwarte uzasadnienie wyboru użytych w badaniu progów istotności statystycznej, aby umożliwić bardziej wiarygodną interpretację wyników badań
• prerejestracja badań, wyraźne rozróżnianie badań konfirmacyjnych od eksploracyjnych
• angażowanie się w replikacje badań w celu oceny w jakim stopniu uzyskiwane wyniki badań naukowych da się uogólniać
• usuwanie barier finansowych (pay-walls) w celu zwiększenia dostępnośc
  opublikowanych wyników badań
  zmiana systemu zachęt w celu motywowania badaczy do reformy środowiska naukowego w kierunku otwartej nauki

Question 5

Prerejestracje: Pham, Oh

Answer 5

3 zalety:
* zmniejszenie selektywnośći publikowanych wyników
* redukcja QRP wątpliwych praktyk badawczych
* zapobieganie HARKingowi stawianiu hipotez po znaniu wyników

ale nie jest to konieczne

Question 6

Niebezpieczeństwa prejrejestracji

Answer 6

• iluzja transparentności - klony badania z rożnymi hipotezami, PARKing (prerejestracja po zdobyciu wyników)
• iluzja powtarzalnosci
• nadużywanie narzędzia do typu badań, do którego nie jest ono przeznaczone
• powtarzalna, ale bezcelowa nauka

Question 7

Badania nad zgubionymi portfelami: Cohn i wsp., 2019

Answer 7

• zgubuli 17 tys portfeli
• częściej zwracano portfele z gotówką w środku + im większa kwota, tym częściej zwracano
• hipoteza: wpływ sytuacji na samoocenę (czujemy się źle jak nie oddamy pieniędzy)

Question 8

Świadoma zgoda

Answer 8

• jeden z kluczowych elementów oceny, czy badanie mozę sie odbyć
• koncepcja instytucjonalizacji oceny teycznej badań: przekształcenie organów opiniujących w organy posiadajace władze
• radykalizacja poglądów: kontrola zwiększa nieufnosć, nieufność usprawiedliwia nasilenie kontroli
• komisje etyczne skupione na wyszukiwaniu negatywnych aspektów projektów