 |
| יחסים מסוכנים ציירה: סיון יונה |
יחסים מסוכנים
על צרות בצרורות כשמנסים למצע יחסים
שלמה יונה
רכזת השכבה בבית הספר אוספת נתונים ממחנכות הכיתות שבשכבה. מכל מורה היא מבקשת לדעת מה אחוז התלמידים מכתתה שנכשלו במבחן הארצי במתמטיקה. הנה הנתונים שמסרו המורות שבשכבה:
בכתה ראשונה: תלמיד אחד נכשל מתוך 40 תלמידים. בכתה השנייה: 2 תלמידים נכשלו מתוך 32 תלמידים. בכתה השלישית: תלמיד אחד נכשל מתוך 39 תלמידים. בכתה הרביעית: 2 תלמידים נכשלו מתוך 33 תלמידים. בממוצע נראה שכ-6% מהתלמידים בשכבה נכשלו. הרכזת בדקה גם כמה תלמידים בסך הכל נכשלו (6 תלמידים) מתוך 136 התלמידים שבשכבה וקיבלה ש-בקירוב נכשלו 4 אחוזים מהתלמידים. אז איך זה יכול להיות שהתקבלה מסקנה שונה מהמסקנה שהתקבלה בחישוב הקודם? נשוב לבעיה הזאת מאוחר יותר.
ירחמיאל חש ברע ולכן ניגש לרופא, אשר רושם לו טיפול מקובל. ירחמיאל מקבל מרשם לקניית תרופה שאותה יש לצרוך כך וכך פעמים במשך כך וכך ימים. ירחמיאל צרכן נבון ולכן הוא שואל את הרופא על אחוזי ההצלחה של הטיפול המדובר. הרופא מפשפש ברשימותיו ומספר שיש לטיפול הצלחה ב-40% מהמקרים לפי מחקרים מסוג אחד (ירחמיאל חקרן בלתי נלאה ולכן דרך להבין כמה מקרים טופלו כך וכמה מהם הסתיימו בהצלחה והרופא פירט: 4 הצלחות מתוך 10 ניסיונות) ואילו מחקרים מהסוג האחר מראים על כ-70% הצלחה (63 הצלחות מתוך 90 ניסיונות). המחשבה על צריכת תרופה ואחוזי ההצלחה מביאים את ירחמיאל לחשוב על בדיקת פתרון חלופי. השכנה המליצה על מרפא-אלטרנטיבי-הוליסטי-נפלא. ירחמיאל קובע פגישה אצל המרפא המופלא שמציע שילוב של קינסיולוגיה והומיאופתיה. ירחמיאל מבקש גם כאן להבין את אחוזי ההצלחה. המופלא מספר שיש לטיפול בקינסיולוגיה 50% הצלחה (45 הצלחות מתוך 90 ניסיונות) ולהומיאופתיה 80% הצלחה (8 הצלחות מתוך 10 ניסיונות).
ירחמיאל סבור שהוא חזק בחשבון. הוא ממצע בראשו את אחוזי ההצלחה בכל סוג של טיפול: הוא מקבל שלפתרון של הרפואה המקובלת יש 55% הצלחה (מחבר 40 ועוד 70 ומחלק ב-2) ואילו לפתרון שמציעה הרפואה האלטרנטיבית יש 65% הצלחה (50 ועוד 80 לחלק ב-2). ירחמיאל בוחר בטיפול שלהבנתו יש לו יותר סיכויים להצליח ופונה לטיפול האלטרנטיבי.
נדמה שירחמיאל פעל ובחן את הנושא בשיטתיות והסיק מסקנה הגיונית שמתבקשת מהנתונים. אך זה רק נדמה ואין זה נכון. אם נשים בצד את העובדה שבדיקות מסודרות לפי עקרונות מדעיים מראות באופן עקבי שקינסיולוגיה והומיאופתיה לא מועילות יותר מאשר אינבו (פלאסבו) ואם נניח בצד את העובדה שאין בתיאוריה שמאחורי קינסיולוגיה והומיאופתיה שום צידוק פיסיקלי אמיתי (ההפך הוא הנכון, בדיקה מראה שהפעולות לא יכולות להיות אלא חסרות משמעות) -- אפילו אם רק נשתמש בנתונים נבין שירחמיאל מסיק מסקנות שגויות. ירחמיאל נפל קורבן לפרדוקס סימפסון.
כדי להבין מהם אחוזי ההצלחה של הטיפול הרפואי נסכום את ההצלחות משני המחקרים (67 הצלחות) ונסכום גם את סך הניסיונות (100 ניסיונות) ונקבל שהחלק היחסי של ההצלחות מהניסיונות הוא 67/100 שהם 67%. באותו אופן נקבל שהפתרון האלטרנטיבי נותן 53 הצלחות (45 ועוד 8) מתוך 100 ניסיונות (90+10) שהם 53%.
אבל רגע! הממוצע הראה שהטיפול הרפואי המקובל נותן רק 55% הצלחה לעומת 65% הצלחה בממוצע לטיפול האלטרנטיבי.
האם יש פה סתירה? ממש אין כאן סתירה. יחסים מסתירים מאיתנו את הכמויות האמיתיות שאנחנו עוסקים בהן. מלבד זאת, אין משמעות לחבר או למצע יחסים כי בעצם אנחנו איננו שומרים על חיבור של דברים בעלי אותו הכינוי (אותה המשמעות) -- בדומה לחיבור של תפוחים לתפוזים.
הבלבול נובע מההרגל לחפש מכנה משותף ולחבר. כך התרגלנו בשברים ואחוזים הם מאיות ואם הכול מבוטא במאיות אז גדול הפיתוי לחבר כי יש מכנה משותף. אבל מכנה משותף אינו הולם כאן. המשמעות של הביטוי, הצלחה, אינה מתאימה לחיבור היחסים. המשמעות של אחוז ההצלחה היא מנת סכום כלל מקרי ההצלחה בסכום כלל המקרים. ומשעה שחישבנו כך קיבלנו את המשמעות שאליה התכוונו. לעומת זאת, אין משמעות כזאת לחיבור או לממוצע של היחסים.
ישנם יחסים שמשמעותם נתונה לפי הגדרה שלנו. זה המקרה כאן אצל ירחמיאל: כשאנו מגדירים מספר הניסויים שהסתיימו בהצלחה לחלק למספר הניסויים בסך הכול. עתה נתבונן בשני המקרים שבהם ביצעתי ניסויים וננסה מנסה לסכם את התוצאות. איננו יכולים לקחת את היחס שמתאר הצלחה במקרה הראשון ולחבר אליו את היחס שמתאר הצלחה במקרה השני. עלינו לסכם את ההצלחות בניסויים משני המקרים ולחלק את הסכום ב-סכום מספר הניסויים משני המקרים. רק כך נוכל להסיק את ההצלחה משני המקרים ביחד. זאת דוגמה שמציגה שמכנה משותף, גם באחוזים, לא מועיל לנו. כלל חשוב בחשבון, בסטטיסטיקה ובמתמטיקה (ואולי בחיים בכלל): לא להתעסק בחישובים אלא בחשיבה: יש להבין מה המשמעות ולפי המשמעות לבחור את הכלי המתאים לייצוג הבעייה (התרגיל בחשבון, או האופרטור המתמטי, במקרה שלנו היחס וכלל החיבור המיוחד).
ננסה לתאר בייצוג אלגברי:
היחס שמתאר הצלחה במקרה א': a/b, כאשר a מתאר את מספר הניסויים שהצליחו מתוך b ניסויים. באופן דומה, היחס שמתאר הצלחה במקרה ב': c/d, כאשר c מתאר את מספר הניסויים שהצליחו מתוך d ניסויים. אם נרצה להסיק מהו היחס שמסכם בעבורנו את ההצלחה משני המקרים גם יחד עלינו לחשב כך (a+c)/(b+d), ואיננו יכולים לקבל תשובה עם משמעות כאשר נחבר את השברים a/b ו-c/d כמקובל. כי זה ייתן תשובה שאינה מתארת את ההצלחה לפי ההגדרה שלנו.
הבא ונתבונן בדוגמה שונה ומתחום אחר לחלוטין שגם שם נדמה שיש סתירה ולמעשה אין. הדוגמה מבוססת על חידה שחד לי שלומי בושי:
אתר אינטרנט מצליח ניזון מפרסומות. כדי לפשט את ניהול המפרסמים אצלו בעל האתר מעסיק שלוש חברות פרסום שמספקות פרסומות לאתר שלו. הוא מודד את אחוזי ההצלחה של כל אחת משלוש החברות באמצעות מדד CTR. זה בעצם יחס שמראה כמה פעמים הקליקו על מודעה מתוך סך הפעמים שהמודעה הוצגה. בדוח היומי שלו גילה בעל האתר שבעוד שסוכנויות הפרסום א' ו-ב' שמרו על אחוז ההצלחה שלהן, סוכנות ג' שיפרה את אחוז ההצלחה שלה. מרוצה מהשיפור פנה בעל האתר לחשב את ההשפעה של השיפור על ה-CTR של הפרסומות באתר שלו. לתדהמתו, הוא גילה שה-CTR באתר ירד. האם זה ייתכן?
הנה המספרים:
ביום הראשון, סוכנות א' השיגה CTR של 3%=18/600, סוכנות ב' השיגה CTR של 4% 64/1600 ואילו סוכנות ג' השיגה CTR של 1% 4/400. אלה מספרים מרשימים מאוד בפרסום מקוון.
ביום השני, סוכנות א' נשארה עם CTR של 3%=18/600, וסוכנות ב' נשארה עם CTR של 4% 64/1600 ואילו סוכנות ג' השיגה שיפור ב-CTR והעלתה אותו ל 1.1% 110/10000. מרשים!
עתה נחשב את ה-CTR באתר, הרי זה מה שמעניין את בעל האתר:
סך כל הקליקים על מודעות ביום הראשון הוא 86 קליקים וסך כל ההופעות של מודעות הוא 2600 ולכן ה-CTR ביום הראשון הוא כ-3.3%.
סך כל הקליקים על מודעות ביום השני הוא 192 קליקים וסך כל ההופעות של מודעות הוא 12200 ולכן ה-CTR ביום השני הוא כ-1.6%.
אוי ואבוי! ה-CTR באתר ירד ביום השני ביותר מ-50% מאשר ביום הראשון.
איך זה ייתכן? זה ייתכן כי אנו מחשבים יחס. ביחס אנחנו יכולים לשלוט על שני גדלים: על המונה ועל המכנה. אם משווים שני יחסים ונצמצם כל אחד מהם ככל האפשר אז נוכל לטעון את הדברים הבאים:
* היחסים שווים אם המונים של הצורה המצומצמת שלהם שווים וגם המכנים של הצורה המצומצמת שלהם שווים
* יחס א' גדול מיחס ב' אם המונה של הצורה המצומצמת של יחס א' גדול מהמונה של הצורה המצומצמת של יחס ב' כאשר המכנים של הצורה המצומצמת של שני היחסים שווים
* יחס א' גדול מיחס ב' אם המכנה של הצורה המצומצמת של יחס א' קטן מהמכנה של הצורה המצומצמת של יחס ב' כאשר המונים של הצורה המצומצמת של שני היחסים שווים
משום שבשתי הדוגמאות שלנו (זאת של ירחמיאל וזאת של בעל אתר האינטרנט) הגידול בערך המכנה במקרה השני לעומת המקרה הראשון היה באופן ניכר רב יותר מאשר הגידול (הקטן יחסית) בערך המונה -- אזי ערך היחס קטן לעומת המקרה הראשון.
מדוע לא חיברנו את היחסים? כי איזו משמעות יש לחיבור היחסים? יש משמעות ליחס עצמו: מעצם הגדרתו של היחס עלינו לבנות אותו שוב באותו האופן גם כאשר אנחנו מסכמים ואיננו יכולים לפנות לסכום רגיל.
נחזור למרכזת השכבה שמתחילת המאמר: מה הסיבה לפער? כדי לדעת מה אחוז הנכשלים בשכבה אין משמעות לחשב את הממוצע שכך הגדלים אינם מתוך אותו השלם. דווקא החישוב השני שלה (סכום הנכשלים לחלק לסך כלל התלמידים שבשכבה) נכון ומתאים ומתאר נאמנה את הבעיה. עדיין מבולבלים? הנה דוגמה נוספת.
אבל, האמת היא שכל אחת מהקייטנות מהווה שלם בגודל אחר ואופן החישוב הנכון הוא לחשב כמה אינם יודעים לשחות בסך הכל בשתי הקייטנות ולחלק בסך כל הקייטנים ואז נקבל:
נחזור למרכזת השכבה שמתחילת המאמר: מה הסיבה לפער? כדי לדעת מה אחוז הנכשלים בשכבה אין משמעות לחשב את הממוצע שכך הגדלים אינם מתוך אותו השלם. דווקא החישוב השני שלה (סכום הנכשלים לחלק לסך כלל התלמידים שבשכבה) נכון ומתאים ומתאר נאמנה את הבעיה. עדיין מבולבלים? הנה דוגמה נוספת.
בקייטנה א' יש 55 קייטנים. בקייטנה ב' יש 31 קייטנים. בקייטנה א', 20 מהקייטנים אינם יודעים לשחות. בקייטנה ב' יש קייטן אחד שאינו יודע לשחות. המסקנה היתה: כ-20% מהקייטנים בשתי הקייטנות אינם יודעים לשחות. המסקנה הזאת התקבלה מתוך חישוב ממוצע פשוט:
(20/55+1/31)/2 ~ 19.8%
(20+1)/(55+31) ~ 24.4%
התשובה שונה: האם חמישית או רבע מהקייטנים אינם יודעים לשחות? התשובה הראשונה (הממוצע) שגויה. התשובה השנייה נכונה. למה הדבר דומה? הנה שאלה: כמה זה חצי שקל ועוד חצי שקל? התשובה: 1 שקל! זה קל. ועכשיו: כמה זה חצי שקל ועוד חצי דולר? אוי! זה כבר לא כ"כ קל. ברור לנו שמדובר בחיבור חצאים של שלמים שונים (במקרה הזה שונים בערכם). גם במקרה של ההקייטנים, בכל קייטנה יש כמות שונה של קייטנים.
אז אי אפשר להשתמש בממוצע?! אפשר להשתמש בממוצע משוכלל -- כזה שמביא בחשבון את התרומה היחסית של כל שלם שמשתתף בחישוב. אפשר. דוגמאות נוספות לכשל שכזה אפשר למצוא ברשימה של הסטטיסטיקאי יוסי לוי ב-נסיכת המדעים. יחסים הם מסוכנים ולרבים מאיתנו החישובים ביחסים מבלבלים ומטעים. אז מה עושים? עוצרים, חושבים, מבינים את המשמעות וכשברור לנו מה עלינו לעשות, רק אז מחשבים.
***
כדאי לקרוא עוד על פרדוקס סימפסון:
