תוקף המסקנה הסטטיסטית Flashcards
הגדר תוקף המסקנה הסטטיסטית
המידה שבה ניתן להאמין להסקה הסטטיסטית לגבי הקשר הסטטיסטי שנמצא בין המשתנים האופרציונליים.
ישנן שתי טעויות מהותיות בהסקה סטטיסטית
מהן?
טעות מסוג 1
טעות מסוג 2
הגדר טעות מסוג 1
הסקתי שהקשר קיים, אך למעשה הוא לא קיים
מהו שם נוסף לטעות מסוג 1?
ניפוח אלפא
הגדר טעות מסוג 2
הסקתי שאין קשר בין המשתנים, אך למעשה יש קשר
יש ארבעה גורמים אפשריים שיכולים לערער את תוקף המסקנה הסטטיסטית.
מהם?
- טעות בקביעת מקדם הטעות
- מדגם קטן מדי
- איכות המדדים התלויים נמוכה
- איכות המניפולציה נמוכה
האם טעות קביעת מקדם הטעות היא טעות מסוג 1 או 2?
טעות מסוג 1
האם מדגם קטן מדי גורם לטעות מסוג 1 או 2?
טעות מסוג 2
האם איכות מדדים תלויים נמוכה גורמת לטעות מסוג 1 או 2?
טעות מסוג 2
האם איכות מניפולציה נמוכה גורמת לטעות מסוג 1 או 2?
טעות מסוג 2
הגדר טעות בקביעת מקדם הטעות
ניפוח האלפא
ה-
p
עליו אני מצהיר הוא הערכת חסר של הסיכוי האמיתי לקבל את התוצאות שקיבלתי, בהינתן השערת האפס.
אני טוען/חושב שהסיכוי לתוצאות שמצאתי לא גבוה מ-5%, אבל בעצם הוא גבוה מ-5%.
מהם מספר גורמים שכיחים לניפוח האלפא?
- ריבוי משתנים תלויים.
- הגדלה רב-שלבית של המדגם.
- ריבוי דרכים לחישוב המדד התלוי.
- הסרת נבדקים חשודים.
כל המקרים הללו הם למעשה מקרים פרטיים של ריבוי מבחנים סטטיסטיים.
הגדר ריבוי מבחנים סטטיסטיים
נניח מצב שבו אנחנו מבצעים 20 מבחנים סטטיסטיים כדי לבחון 20 קשרים שונים בין משתנים בניסוי שלנו. סביר להניח שבאחד מהמבחנים הללו, נמצא שיש סיכוי של 5% בלבד למצוא את הקשר שהתקבל בניסוי למרות שבמציאות אין קשר כזה. כלומר, בממוצע, כשבוחנים בניסוי 20 קשרים שאינם קיימים במציאות, מוצאים שאחד מהם מובהק ברמה של 5%.
מה יכול להיות פתרון עבור בעיית ריבוי מבחנים סטטיסטיים?
הצהרה מראש איזה קשר בדיוק מכל הקשרים האפשריים בניסוי שלי יהיה מובהק פותרת את הבעיה הזו (=השוואה מתוכננת).
במקרה כזה, הסיכוי למצוא שהקשר מובהק הוא עדיין 5% (כי זהו קשר אחד בלבד).
הגדר ריבוי מדדים
הסיכוי למציאת הבדל מובהק (קטן מ-5%) בלפחות אחד המדדים אינו 5%, כי החוקרת בחנה חמישה מדדים שונים.
הסיכוי שבלפחות אחד מחמישה מדדים תהיה תוצאה מובהקת (קטנה מ-5%) גבוה מ-5%. ההגיון הוא בדיוק כמו במקרה של ריבוי מבחנים סטטיסטיים, כי ריבוי המדדים גרם לריבוי מבחנים סטטיסטיים.
במקרה של ריבוי מדדים, מהי הדרך הכי טובה לוודא שהתוצאה אינה מקרית?
לערוך את הניסוי שוב. הפעם יש לחוקרת השערה ברורה (תדע באיזה מדד להתמקד)
אם תמצא תוצאה מובהקת (ערך
p
קטן מ-5%), נדע שהסיכוי לכך שזוהי תוצאה
ה מקרית הוא קטן מ-5%, כי זו היתה ההשערה של החוקרת מראש, וגם היתה כבר תוצאה אחת מובהקת קודם לכן.
במקרה של ריבוי מדדים, מה יש לעשות כאשר לא ניתן לשחזר את הניסוי ולוודא שהתוצאה אינה מקרית?
במקרה כזה, חשוב לפרסם את תוצאות הניסוי כי יתכנו שחזורים בעתיד, אולם חשוב מאוד גם לציין במפורש בפרסום שיש סכנת ניפוח אלפא.
הגדר הגדלה רב-שלבית של המדגם
דרך נוספת לנפח את האלפא היא להוסיף נבדקים למדגם, לאחר שבדקתם את התוצאות עד עתה ומצאתם שהן עדיין אינן מובהקות.
מה הבעיה העיקרית בהגדלה רב-שלבית של המדגם?
הבעיה אינה בדיקת התוצאות אחרי כל הוספה של נבדקים, אלא שמחליטים לעצור רק כשהאפקט מובהק, ולהמשיך כל עוד אינו מובהק.
ניפוח בהוספת נבדקים: מהם פתרונות לבעיה?
- צמצום בדיקות הביניים
- לא לעצור את הניסוי בטרם גמרו להריץ את כל הנבדקים שתיכננו להריץ, רק כי התוצאות מובהקות
- שחזור התוצאות בניסוי דומה או זהה
- דיווח על שיטת קביעת מספר הנבדקים
- יש שיטות לעדכן את ערך ה-
p
בהתאם לתוכנית הפעולה הראשונית
הגדר ריבוי דרכים לחישוב המשתנה התלוי
דרך נוספת לניפוח האלפא היא לבחון מספר דרכים שונות לחשב את המדד התלוי. למשל, אם משתמשים בשאלון חדש יחסית, ניתן לבחון אם התוצאות מובהקות כשמעיפים פריטים חשודים
הבעיה היא שכל חישוב חדש הוא עוד הזדמנות למצוא תוצאות מובהקות. כך, יתכן שקל מאוד להפוך תוצאה כמעט מובהקת
(נגיד, p = .07)
לתוצאה מובהקת, על-ידי הסרת פריט חשוד. אך זהו כמובן ניפוח של האלפא, כי הדבר גורם לריבוי מבחנים סטטיסטיים.
הגדר הסרת נבדקים חשודים
חשד הוא מטבעו לא דבר בטוח. לכן, חוקרים בדרך-כלל בודקים את התוצאות עם כל הנבדקים, ולאט-לאט מנסים לזהות נבדקים חשודים ולראות אם התוצאות מובהקות יותר בלעדיהם. זו כמובן בעיה, כי אנחנו נותנים לעצמנו הזדמנויות נוספות למצוא הבדל מובהק. גם הפעם, התוצאה היא ניפוח של אלפא.
הגדר דרגות החופש של החוקרת
בזמן איסוף הנתונים וניתוחם יש לחוקרים חופש להחליט מספר החלטות שמנפחות את האלפא.
ישנם 3 פתרונות ישירים להתמודדות עם ניפוח האלפא.
מהם?
- התחייבות מראש
- תיקון ה-P
או עדכון האלפא - שחזור
הגדר פתרון ישיר 1: התחייבות מראש
די למנוע מעצמכם ניפוח האלפא, אתם יכולים להתחייב מראש, בשלב תכנון הניסוי, מה בדיוק אתם הולכים לעשות במה שמכונה
pre-registration.
ניתן לקבוע:
באילו מדדים תשתמשו
כמה נבדקים תריצו
איך תחליטו על הסרת נבדקים
מה קורה אם תיכננתם להריץ 50 נבדקים, אבל בעצם אתם מבינים שכדאי לכם להריץ עוד 50 נבדקים?
אפשר להמשיך בכך, אבל: יש לדווח שזה מה שעשיתם, ואפשר גם לתקן את האלפא. כלומר, אפשר לומר שהיות שהשתמשתם בשני מבחנים, אז בעצם הסיכוי למצוא הבדל במובהקות של p הקטן מ-0.05 הוא גדול מ-5%.
הגדר פתרון ישיר 2: תיקון ה-
p
או עדכון האלפא
החוקרים יכולים לנסות לחשב מה האלפא הנכונה שלהם, בהינתן הבחירות שעשו במהלך הרצת הניסוי וניתוח התוצאות.
מהי משמעות תיקון האלפא?
למשל, החוקרת מעדכנת את הקוראים שלנוכח ריבוי המבחנים שערכה, הסיכוי לטעות מסוג 1 בתוכנית הפעולה שלה היה למעשה 6% ולא 5%. הדבר מאפשר לקוראים להחליט עד כמה הם מרגישים בטחון בתוצאות שהתקבלו.