מקצוען בפיתוח אלגוריתמים, חבר וגם ראש הצוות שלי בעבודה, שלומי בושי, חד לי חידה מעשית מתחום הפרסום המקוון באינטרנט. השאלה מצאה חן בעיני כל כך עד שהחלטתי לכתוב גלגול שלה עם דוגמה נוספת וניסיון להסביר. אבל לפני שאספר לכם את החידה ההיא ואת פתרונה, אפתח בסיפור הזה:
ירחמיאל חש ברע ולכן ניגש לרופא, אשר רושם לו טיפול מקובל. ירחמיאל מקבל מרשם לקניית תרופה שאותה יש לצרוך כך וכך פעמים במשך כך וכך ימים. ירחמיאל צרכן נבון ולכן הוא שואל את הרופא על אחוזי ההצלחה של הטיפול המדובר. הרופא מפשפש ברשימותיו ומספר שיש לטיפול הצלחה ב-40% מהמקרים לפי מחקרים מסוג אחד (ירחמיאל חקרן בלתי נלאה ולכן דרך להבין כמה מקרים טופלו כך וכמה מהם הסתיימו בהצלחה והרופא פירט: 4 הצלחות מתוך 10 ניסיונות) ואילו מחקרים מהסוג האחר מראים על כ-70% הצלחה (63 הצלחות מתוך 90 ניסיונות). המחשבה על צריכת תרופה ואחוזי ההצלחה מביאים את ירחמיאל לחשוב על בדיקת פתרון חלופי. השכנה המליצה על מרפא-אלטרנטיבי-הוליסטי-נפלא. ירחמיאל קובע פגישה אצל המרפא המופלא שמציע שילוב של קינסיולוגיה והומיאופתיה. ירחמיאל מבקש גם כאן להבין את אחוזי ההצלחה. המופלא מספר שיש לטיפול בקינסיולוגיה 50% הצלחה (45 הצלחות מתוך 90 ניסיונות) ולהומיאופתיה 80% הצלחה (8 הצלחות מתוך 10 ניסיונות).
ירחמיאל סבור שהוא חזק בחשבון. הוא ממצע בראשו את אחוזי ההצלחה בכל סוג של טיפול: הוא מקבל שלפתרון של הרפואה המקובלת יש 55% הצלחה (מחבר 40 ועוד 70 ומחלק ב-2) ואילו לפתרון שמציעה הרפואה האלטרנטיבית יש 65% הצלחה (50 ועוד 80 לחלק ב-2). ירחמיאל בוחר בטיפול שלהבנתו יש לו יותר סיכויים להצליח ופונה לטיפול האלטרנטיבי.
נדמה שירחמיאל פעל ובחן את הנושא בשיטתיות והסיק מסקנה הגיונית שמתבקשת מהנתונים. אך זה רק נדמה ואין זה נכון. אם נשים בצד את העובדה שבדיקות מסודרות לפי עקרונות מדעיים מראות באופן עקבי שקינסיולוגיה והומיאופתיה לא מועילות יותר מאשר אינבו (פלאסבו) ואם נניח בצד את העובדה שאין בתיאוריה שמאחורי קינסיולוגיה והומיאופתיה שום צידוק פיסיקלי אמיתי (ההפך הוא הנכון, בדיקה מראה שהפעולות לא יכולות להיות אלא חסרות משמעות) -- אפילו אם רק נשתמש בנתונים נבין שירחמיאל מסיק מסקנות שגויות. ירחמיאל נפל קורבן לפרדוקס סימפסון.
כדי להבין מהם אחוזי ההצלחה של הטיפול הרפואי נסכום את ההצלחות משני המחקרים (67 הצלחות) ונסכום גם את סך הניסיונות (100 ניסיונות) ונקבל שהחלק היחסי של ההצלחות מהניסיונות הוא 67/100 שהם 67%. באותו אופן נקבל שהפתרון האלטרנטיבי נותן 53 הצלחות (45 ועוד 8) מתוך 100 ניסיונות (90+10) שהם 53%.
אבל רגע! הממוצע הראה שהטיפול הרפואי המקובל נותן רק 55% הצלחה לעומת 65% הצלחה בממוצע לטיפול האלטרנטיבי.
האם יש פה סתירה? ממש אין כאן סתירה. יחסים מסתירים מאיתנו את הכמויות האמיתיות שאנחנו עוסקים בהן. מלבד זאת, אין משמעות לחבר או למצע יחסים כי בעצם אנחנו איננו שומרים על חיבור של דברים בעלי אותו הכינוי (אותה המשמעות) -- בדומה לחיבור של תפוחים לתפוזים.
הבלבול נובע מההרגל לחפש מכנה משותף ולחבר. כך התרגלנו בשברים ואחוזים הם מאיות ואם הכול מבוטא במאיות אז גדול הפיתוי לחבר כי יש מכנה משותף. אבל מכנה משותף אינו הולם כאן. המשמעות של הביטוי, הצלחה, אינה מתאימה לחיבור היחסים. המשמעות של אחוז ההצלחה היא מנת סכום כלל מקרי ההצלחה בסכום כלל המקרים. ומשעה שחישבנו כך קיבלנו את המשמעות שאליה התכוונו. לעומת זאת, אין משמעות כזאת לחיבור או לממוצע של היחסים.
ישנם יחסים שמשמעותם נתונה לפי הגדרה שלנו. זה המקרה כאן אצל ירחמיאל: כשאנו מגדירים מספר הניסויים שהסתיימו בהצלחה לחלק למספר הניסויים בסך הכול. עתה נתבונן בשני המקרים שבהם ביצעתי ניסויים וננסה מנסה לסכם את התוצאות. איננו יכולים לקחת את היחס שמתאר הצלחה במקרה הראשון ולחבר אליו את היחס שמתאר הצלחה במקרה השני. עלינו לסכם את ההצלחות בניסויים משני המקרים ולחלק את הסכום ב-סכום מספר הניסויים משני המקרים. רק כך נוכל להסיק את ההצלחה משני המקרים ביחד. זאת דוגמה שמציגה שמכנה משותף, גם באחוזים, לא מועיל לנו. כלל חשוב בחשבון, בסטטיסטיקה ובמתמטיקה (ואולי בחיים בכלל): לא להתעסק בחישובים אלא בחשיבה: יש להבין מה המשמעות ולפי המשמעות לבחור את הכלי המתאים לייצוג הבעייה (התרגיל בחשבון, או האופרטור המתמטי, במקרה שלנו היחס וכלל החיבור המיוחד).
ננסה לתאר בייצוג אלגברי:
היחס שמתאר הצלחה במקרה א': a/b, כאשר a מתאר את מספר הניסויים שהצליחו מתוך b ניסויים. באופן דומה, היחס שמתאר הצלחה במקרה ב': c/d, כאשר c מתאר את מספר הניסויים שהצליחו מתוך d ניסויים. אם נרצה להסיק מהו היחס שמסכם בעבורנו את ההצלחה משני המקרים גם יחד עלינו לחשב כך (a+c)/(b+d), ואיננו יכולים לקבל תשובה עם משמעות כאשר נחבר את השברים a/b ו-c/d כמקובל. כי זה ייתן תשובה שאינה מתארת את ההצלחה לפי ההגדרה שלנו.
הבא ונתבונן בדוגמה שונה ומתחום אחר לחלוטין שגם שם נדמה שיש סתירה ולמעשה אין. הדוגמה מבוססת על החידה שחד לי שלומי:
אתר אינטרנט מצליח ניזון מפרסומות. כדי לפשט את ניהול המפרסמים אצלו בעל האתר מעסיק שלוש חברות פרסום שמספקות פרסומות לאתר שלו. הוא מודד את אחוזי ההצלחה של כל אחת משלוש החברות באמצעות מדד CTR. זה בעצם יחס שמראה כמה פעמים הקליקו על מודעה מתוך סך הפעמים שהמודעה הוצגה. בדוח היומי שלו גילה בעל האתר שבעוד שסוכנויות הפרסום א' ו-ב' שמרו על אחוז ההצלחה שלהן, סוכנות ג' שיפרה את אחוז ההצלחה שלה. מרוצה מהשיפור פנה בעל האתר לחשב את ההשפעה של השיפור על ה-CTR של הפרסומות באתר שלו. לתדהמתו, הוא גילה שה-CTR באתר ירד. האם זה ייתכן?
הנה המספרים:
ביום הראשון, סוכנות א' השיגה CTR של 3%=18/600, סוכנות ב' השיגה CTR של 4% 64/1600 ואילו סוכנות ג' השיגה CTR של 1% 4/400. אלה מספרים מרשימים מאוד בפרסום מקוון.
ביום השני, סוכנות א' נשארה עם CTR של 3%=18/600, וסוכנות ב' נשארה עם CTR של 4% 64/1600 ואילו סוכנות ג' השיגה שיפור ב-CTR והעלתה אותו ל 1.1% 110/10000. מרשים!
עתה נחשב את ה-CTR באתר, הרי זה מה שמעניין את בעל האתר:
סך כל הקליקים על מודעות ביום הראשון הוא 86 קליקים וסך כל ההופעות של מודעות הוא 2600 ולכן ה-CTR ביום הראשון הוא כ-3.3%.
סך כל הקליקים על מודעות ביום השני הוא 192 קליקים וסך כל ההופעות של מודעות הוא 12200 ולכן ה-CTR ביום השני הוא כ-1.6%.
אוי ואבוי! ה-CTR באתר ירד ביום השני ביותר מ-50% מאשר ביום הראשון.
איך זה ייתכן? זה ייתכן כי אנו מחשבים יחס. ביחס אנחנו יכולים לשלוט על שני גדלים: על המונה ועל המכנה. אם משווים שני יחסים ונצמצם כל אחד מהם ככל האפשר אז נוכל לטעון את הדברים הבאים:
* היחסים שווים אם המונים של הצורה המצומצמת שלהם שווים וגם המכנים של הצורה המצומצמת שלהם שווים
* יחס א' גדול מיחס ב' אם המונה של הצורה המצומצמת של יחס א' גדול מהמונה של הצורה המצומצמת של יחס ב' כאשר המכנים של הצורה המצומצמת של שני היחסים שווים
* יחס א' גדול מיחס ב' אם המכנה של הצורה המצומצמת של יחס א' קטן מהמכנה של הצורה המצומצמת של יחס ב' כאשר המונים של הצורה המצומצמת של שני היחסים שווים
משום שבשתי הדוגמאות שלנו (זאת של ירחמיאל וזאת של בעל אתר האינטרנט) הגידול בערך המכנה במקרה השני לעומת המקרה הראשון היה באופן ניכר רב יותר מאשר הגידול (הקטן יחסית) בערך המונה -- אזי ערך היחס קטן לעומת המקרה הראשון.
מדוע לא חיברנו את היחסים? כי איזו משמעות יש לחיבור היחסים? יש משמעות ליחס עצמו: מעצם הגדרתו של היחס עלינו לבנות אותו שוב באותו האופן גם כאשר אנחנו מסכמים ואיננו יכולים לפנות לסכום רגיל.
כדאי לקרוא עוד על פרדוקס סימפסון:
יש לי שתי בעיות עם הרשימה הזאת:
ReplyDeleteהראשונה, הקטנה:
4+63=67, 192/12200=~1.6% 86/2600=3.3%
והבעיה השניה:
ברגע שאמרת "שיש לטיפול הצלחה ב-40% מהמקרים לפי מחקרים מסוג אחד ... ואילו מחקרים מהסוג האחר מראים על כ-70% הצלחה (63 הצלחות מתוך 90 ניסיונות)", יש להבין מה ההבדלים בין המחקרים. חיבור הצלחות במחקרים מסוג אחד להצלחות במחקרים מסוג אחר הוא חסר משמעות כחיבור תפוחים לתפוזים. נכון ש
(4+63)/(10+90)=67%
אבל מה היה קורה אילו המחקר מהסוג הראשון היה נערך על 100 נסיונות? האם 4 מתוך 10 זו רק "סטיה סטטיסטית", ולכן כשמספר הנסיונות יגדל כנראה נתקרב לממוצע, כלומר קרוב ל67%? או אולי יש הבדל מהותי בין המחקרים. לדוגמה המחקר מהסוג הראשון נעשה על גברים, והשני על נשים, או אולי המחקר השניהגדיר הצלחה כ-"הטבה במצב המטופל" ואילו הראשון הגדירה כ-"ריפוי מוחלט". לסיכום, לא רק ש-"איננו יכולים לקחת את היחס שמתאר הצלחה במקרה הראשון ולחבר אליו את היחס שמתאר הצלחה במקרה השני", אלא שגם איננו יכולים גם לקחת הצלחה במקרה הראשון ולחבר אליה הצלחה במקרה השני.
תודה רבה על ההערות. את טעויות החישוב תיקנתי.
ReplyDelete