תשיגו לי את מינה צמח: על סקרים, מתמכרים ומבקרים

1. שלושה סקרים ותובנות בצִדם

"תיקו עם יתרון קל לפרס" (חיים יבין מנסח כותרת שהציבור לא מבין, ופרס שוב מנצח רק בסקרים)

ה־29 במאי של שנת 1996 היה יום מיוחד. יום בחירות יוצא דופן, כי זו היתה הפעם הראשונה שנערכו בישראל בחירות ישירות לראשות הממשלה. האזרחים, כלומר אנחנו, הטילו לקלפי שני פתקים — פתק אחד למפלגה המועדפת, ופתק שני עם שמו של המועמד המועדף לראשות הממשלה. חג לדמוקרטיה וגם מתח גדול. באותו הלילה, כשמחוגי השעון התקרבו לשעה עשר, יצאתי במהירות מחדר צדדי בבניין הטלוויזיה בירושלים, והתיישבתי ליד השולחן שבאולפן. הסוקרת מינה צמח, שערכה עמי את התחזית, והמנחה חיים יבין כבר ישבו על כיסאותיהם. "מר טלוויזיה" חיכה לשעה העגולה שבה יכריז על תוצאות מדגם הטלוויזיה של ערוץ 1.

רגע פרסום התחזית של משדר ליל בחירות הוא תמיד רגע מתוח. אך הפעם, רמת המתח היתה גבוהה במיוחד. תרמו לכך לא במעט התוצאות הרשומות על הנייר שהחזקתי ביד. בזכות הסקרים בימים שלפני הבחירות כבר ידענו שהפער בין שני המתמודדים על ראשות הממשלה, שמעון פרס ממפלגת העבודה ובנימין נתניהו מהליכוד, קטן. אבל הנתונים מ־87 קלפיות המדגם של ליל הבחירות הצביעו על קרב צמוד עוד יותר מכפי שציפינו. הרבה יותר צמוד. פער של פחות מאחוז וחצי.

חיים יבין התכוון לנסח, כהרגלו, הכרזה קצרה וקולעת שתהדהד במטות הבחירות ובאוזני היושבים מול המרקעים בבית. "נו קמיל", הוא שאל, "מה אתה אומר?" באותו רגע חשבתי שבמקרה הזה נכון לנהוג כמו שמקובל בארצות הברית במקרים שבהם המדגם אינו מספק תשובה חד־משמעית. תשובתי ליבין היתה, "Too close to call" — כלומר, "צמוד מכדי להכריע".

יבין לא אהב את התשובה הזאת: "אתה לא יכול להגיד את זה", אמר, "צריך הכרעה. וחוץ מזה, תהיה תחזית גם בערוץ 2".

"אם כך", השבתי, "תיקו עם יתרון קל לפרס".

ואכן, במילים אלה סוכמה הכרזת הפתיחה של ערוץ 1. על המסך עלו שתי עמודות, אחת לפרס, שהתרוממה עד לגובה של 50.7%, השנייה עבור נתניהו, שהתרוממה עד כמעט לאותו הגובה, אך בכל זאת נעצרה קצת קודם, ב־49.3%. השידור הועבר במהירות למטה מפלגת העבודה, ותועדה שם התפרצות של שמחה. ברגע כזה קל לצופים להתעלם מאזהרות וממילים כמו "תיקו" ו"יתרון קל". הצופים שמעו "פרס" והחלו למחוא כפיים.

ההמשך ידוע לכל מי שעקב, אפילו מרחוק, אחרי ליל הבחירות ההוא: מבחינה סטטיסטית, התוצאה היתה מדויקת. אך לרוע המזל (ככל שהדברים נוגעים לסקרים — אין זו הבעת עמדה פוליטית) המטוטלת שנעה הלוך ושוב מעל ומתחת ל־50% נעצרה לבסוף כשדווקא נתניהו יושב קצת מעל ופרס קצת מתחת. לאחר ספירת כל הקולות קיבל נתניהו 50.49% ופרס קיבל 49.51%. אכן, כמעט תיקו, והניצחון הושג ביתרון קל בלבד. אבל למועמד השני.

אבל הנה עוד פרק מהסיפור הזה, שרבים כבר מזמן שכחו. כמו בכל מערכת בחירות, התחזית הראשונה של הטלוויזיה היא לא התחזית האחרונה. בשעה עשר נותנים תחזית אחת, ובהמשך הלילה מעדכנים. התחזית המעודכנת נסמכת לא רק על המדגם הראשוני, אלא גם על מה שאנחנו קוראים "תוצאות האמת של קלפיות המדגם". כלומר, לאחר ספירת הקולות בקלפי משווים בין התוצאה שמתקבלת בקלפי שהציבה הטלוויזיה, ובין התוצאה שמתקבלת בקלפי (האמיתי) שליד. כך אפשר לגלות את הפערים — ותמיד יש כאלה — בין מה שעשו אנשים באמת, ובין מה שהם עשו לכבוד הטלוויזיה. וכך אפשר להבין איך התוצאות הוטו בגלל אנשים שסירבו להצביע בקלפי הטלוויזיה, או שהצביעו אחרי שקלפי הטלוויזיה כבר נסגרה, או כאלה שהתבלבלו, או כאלה ששיקרו לסוקרים, ובעצם הצביעו אחרת.

כך עושים תמיד, וכך עשינו גם ב־1996. בעשר בלילה הצגנו את התחזית הראשונה, ובאחת בלילה עידכנו את התחזית. אחרי השוואות וניתוחים של הפערים בין קלפיות המדגם לקלפיות האמת, שידרנו את התחזית הבאה: נתניהו 50.52%, פרס 49.48%. כלומר — מניצחון דחוק לפרס עברנו לניצחון דחוק לנתניהו. בדיוק מה שקרה במציאות.

לכן, בסך הכול היינו מרוצים גם מהתחזית וגם מהמשדר. כבר ערכתי לא מעט סקרים, ואני לא זוכר סקר שבו דייקנו יותר מאשר בסקר הזה. ובכל זאת, בבוקר חיכתה לי הפתעה. רבים מחברַי קיבלו אותי בחיוך של שמחה קלה לאיד וחזרו כולם על אותה שנינה בדרכים שונות: "מה עשית לי, הלכתי לישון עם פרס והתעוררתי עם ביבי". אף לא מילה על הדיוק היחסי של התחזית הראשונה. אף לא מילה על הקליעה כמעט־בול בתחזית השנייה.

ברוב המקרים הדברים נאמרו ברוח טובה, בהומור, אולם כחודש לאחר הבחירות הופיע מאמר שהוכיח לי שיש גם מי שכועס באמת, שרואה במה שקרה באותו לילה עילה למשבר. שני פרופסורים לסוציולוגיה מאוניברסיטת בר אילן פירסמו מאמר תוקפני נגד הסקרים שמתפרסמים לפני הבחירות, וגם נגד משדר ליל הבחירות. פרץ השמחה המוקדם במפלגת העבודה הרגיז אותם במיוחד, והיתה להם הצעה לשיפור איכות החיים: "יש צורך לאסור את עריכת הסקרים לפני הבחירות ו/או את עריכת מדגמי הטלוויזיה ביום הבחירות". חד וחלק. למה? "כיוון שהמדגם נעשה על ידי הערוץ הראשון של הטלוויזיה, אשר לדעת רבים יש לו נטיות שמאלניות, מצביעים מקבוצות מסוימות סירבו לשתף פעולה, או גרמו בכוונה תחילה להטעיית הסוקרים ולא חזרו בקלפיות המדגם על הצבעתם האמיתית".

שיפשפתי את העיניים ולא האמנתי: האם כולנו ראינו את אותו משדר? ומה ביחס לעובדה שהתחזית של ערוץ 2 — כנראה ערוץ פחות "שמאלני" — היתה זהה לזו של ערוץ 1?

נכון — אבל לא מדויק

יותר מעשר שנים אחרי הלילה ההוא, בדצמבר 2008, התקיימו הבחירות הפנימיות (פריימריס) במפלגת קדימה. רוב הסקרים של ערב הבחירות חזו שהמועמדת ציפי לבני תנצח בהפרש ניכר את שלושת המתחרים האחרים על תפקיד ראש המפלגה (השרים שאול מופז, מאיר שטרית ואבי דיכטר). גם ערוץ 10 וגם ערוץ 2 ערכו מדגמים בליל הבחירות, ושניהם התבססו על סקרים טלפוניים, לא על קלפיות מדגם כמו בבחירות הכלליות. השיקול המכריע היה שיקול תקציבי: זול יותר בטלפון. אך להכרעה תרמה גם התחושה שזה בכל זאת "רק פריימריס", לא הבחירות עצמן. העובדה שממילא היה פער גדול בסקרים המוקדמים הטתה סופית את הכף: אפשר להסתפק במדגם טלפוני, ואין צורך לפזר קלפיות דמה.1

1 לשיקולים תקציביים יש משקל לא מבוטל בהכרעה לגבי סקרים — זו עובדת חיים. שיקולי עלויות הם לגיטימיים, ומשחקים תפקיד גם במתודולוגיה של סקרים. עד כדי כך, שחלק מהמודלים הסטטיסטיים שעל פיהם נבנים סקרים כוללים גם אילוצים של עלויות. ספר של החוקר ריצ'ארד גרובס בשם "טעויות בסקרים ועלויות סקרים" ("Survey Errors and Survey Costs") שימש כספר לימוד מרכזי בקורס שלימדתי בנושא זה.

תוצאות הסקר שזרמו לערוץ 10 בליל הבחירות הצביעו על כך, שלפחות ביחס לשאלה על זהות המנצח נראה שאין מקום לדאגה. בשעה עשר בלילה הצגתי את התחזית — ציפי לבני תנצח. אבל גם נקבתי במספר: הפער יהיה 12%. פער משמעותי. באותה השעה חזה הסקר של מינה צמח בערוץ 2 פער של 11%. תחזיות דומות, פער גדול, אפשר, לכאורה, ללכת לישון בשקט.

אולם כאשר הסתיימה ספירת הקולות התברר שלפנינו תמונת מראה של מה שאירע בבחירות של 1996: הפעם, דייקנו בדירוג המועמדים (לבני ראשונה, מופז שני), אבל טעינו בגדול במספרים. בערך 40,000 מתפקדים השתתפו בהצבעה, ציפי לבני קיבלה את קולות 43.1% מהם, ושאול מופז קיבל את קולותיהם של 42%. הפער עמד על 1.1% בלבד. לא 12%, לא 11%. רק קצת יותר מאחוז אחד. זה פספוס די דרמטי לעומת התחזית.

כצפוי, גם הפעם דובר על "כישלון הסקרים", ומינה צמח ואני נאלצנו להסביר מה קרה. אם בפעם הקודמת שכחו את המספרים וכעסו על הדירוג, הפעם התעלמו מהדירוג והתמקדו במספרים.

ממילא, שוב הועלו הטענות המוכרות על השפעתם המזיקה של סקרים. חלק טענו שבגלל הפער הגדול לטובת לבני בסקרים המוקדמים חלק מתומכי מופז לא הלכו להצביע. כלומר — אם לא היו סקרים מופז היה מנצח. סברה סבירה, אך לא סבירה יותר מהסברה ההפוכה: שהתחזיות לפער גדול גרמו דווקא לחלק מתומכיה של לבני להישאר בבית, כי הם חשבו שהניצחון כבר בכיס. בכלל, בספרות המקצועית, ישנו עדיין ויכוח שלא הוכרע בשאלה האם לסקרים יש השפעה יותר מִזניחה על הצבעות, אבל בעניין הזה נרחיב מאוחר יותר.

ביקורת מפרגנת, מחשבה נרגנת

כחודשיים אחרי הפריימריס ההם במפלגת קדימה, בפברואר 2009, הגיע רגע הקרב האמיתי, הגדול — הבחירות לכנסת ה־18. הקואליציה של אהוד אולמרט הלכה הביתה, וישראל הלכה לבחור ממשלה חדשה. באולפני שלושת הערוצים שקדו הסוקרים על ניתוח הנתונים. בשבועות קודמים שלפני הבחירות הליכוד הוביל בכל הסקרים, אבל הפער בינו לבין קדימה הלך והצטמצם. היתה תחושה שאולי קדימה תצליח לעבור את הליכוד ממש בישורת האחרונה. אין פלא שרבים מהסוקרים רצו להיות זהירים מאוד.

ברור לכול שככל שהקְרב יותר צמוד, כך התחזית נעשית מסובכת יותר. אך כמה גורמים נתנו לנו מידה של ביטחון. כאמור, בבחירות הכלליות התחזיות של ליל הבחירות מבוססות על מדגמים ביציאה מהקלפיות ולא על סקרים טלפוניים. חוץ מזה, בבחירות הכלליות דוגמים מתוך כלל האוכלוסייה ולא מתוך קבוצה ספציפית כמו זו של קבוצת המתפקדים לקדימה. וסיבה אחרונה לתחושת הביטחון: בכל מערכות הבחירות הכלליות שבהן השתתפתי בעבר התחזיות בליל הבחירות היו לפחות "בסדר" (איפה העץ שעליו צריך להקיש?). אף פעם לא היתה סטייה גדולה בין המדגם ובין תוצאות. אז למה שהפעם יהיה אחרת?

מתכונת המדגם של ערוץ 10 היתה שונה מזו של שני הערוצים האחרים. בערוצים 1 ו־2 בחרו להציב קלפיות דמה שבהן התבקשו הבוחרים לחזור על הצבעתם. מתכונת זהה לזו שבה השתמשנו בבחירות 1996 של נתניהו ופרס. אבל בערוץ 10, שבו ישבתי הפעם, החלטנו לעשות משהו קצת שונה: סקר פנים אל פנים שבו התבקשו היוצאים/ות מהקלפי לומר לפוקד בעד מי הם הצביעו. כלומר: לא הצבעה חוזרת וחשאית לצורכי מדגם, אלא בקשה להשיב על שאלה. זו מתכונת דומה לנהוג בארצות הברית, בהבדל מהותי אחד: בארצות הברית, הנשאל ביציאה מהקלפי עונה לסקר ובו גם נתונים דמוגרפיים. אצלנו, רק זאת: "תסלח לי, אנחנו עורכים סקר עבור התחזית של ערוץ 10. תוכל בבקשה לומר לי בעד מי הצבעת?"

ההנחה הרווחת היא, שאנשים נוטים יותר לסרב לסקר פנים אל פנים מאשר לבקשה להצביע בקלפי דמה (כי אז ההצבעה שלהם נשארת חשאית). מצד שני, לסקר פנים אל פנים יש יתרון של חיסכון בזמן. גם במקרה זה שיקולי עלות הכריעו. תשאול פנים אל פנים זול יותר מהצבת קלפי דמה.

התחזית הראשונה שלנו היתה שקדימה אכן תוביל את הרשימה עם 30 מנדטים, ואחריה יבואו הליכוד עם 28 מנדטים וישראל ביתנו עם 15 מנדטים. התחזית של ערוץ 2 היתה שונה במקצת: קדימה תזכה ב־29 מנדטים, הליכוד ב־28 מנדטים וישראל ביתנו ב־15 מנדטים. התחזית של ערוץ 1 דמתה יותר לזו שלנו: קדימה עם 30 מנדטים, הליכוד 28 וישראל ביתנו 14. גם הפעם, התחזית עודכנה עם קבלת נתוני "תוצאות האמת של קלפיות המדגם".

למחרת, סוף סוף, קיבלנו ציון לשבח. חברַי לעבודה בירכו וציינו בחביבות ש"הפעם, שיחקתם אותה" — ההדגשה כמובן על "הפעם" בניגוד למה שקרה בעבר ולמה שאולי יקרה בפעמים הבאות. המחמאות של מנהלי ערוץ 10 היו חמות במיוחד. הצלחנו להשיג דיוק דומה בעלויות פחותות. לא אכחיש שהמחמאות נעמו לי. זה עדיף על המצב ההפוך. אבל במבט לאחור היתה לי גם תחושה מרירה במקצת, מעוררת מחשבות.

מה קרה בשלוש התחזיות שהזכרנו? התחזית הראשונה (פרס־ביבי) היתה מדויקת להפליא. הפרופסורים שכתבו ב"הארץ" אמנם קבעו לאחר הבחירות האלה ש"באחרונה חווינו פעם נוספת את כישלונם של סקרי דעת הקהל לחזות את תוצאות הבחירות" — אך לקביעתם לא היה שום קשר למציאות. להגיע לתוצאה בדיוק של אחוז אחד זו הצלחה גדולה. ונכון, לפעמים האחוז הזה הוא האחוז שמפריד בין מפסיד למנצח — אבל זה עניין פוליטי, לא סטטיסטי.

הלאה. בפריימריס של קדימה התחזית הפוליטית היתה נכונה אך התחזית הסטטיסטית מוטה. דגימה טלפונית של מתפקדים חשופה לגורמים רבים של הטיה שעוד נדבר עליהם בהרחבה בהמשך. ועוד, הסקרים הטלפוניים בשני הערוצים הניבו תחזיות דומות. אז אולי זה מה שניתן להשיג בהתחשב במגבלות הפריימריס?

את התחזית של בחירות 2009 ניתן להעמיד מול אלה של בחירות 1996. התחזית של 2009 נפלה במעט ברמת הדיוק מזו של 1996, אך דייקה יותר בשאלה "מי ניצח". מצד שני, התגובות ב־2009 היו הרבה יותר מפרגנות.

מדוע התגובות לא תאמו את דיוק התחזיות? לכאורה, הצלחתו של סטטיסטיקן אמורה להימדד ביכולתו לבנות מודלים סטטיסטיים שמהם יפיק תחזיות מדויקות ככל האפשר, בהתאם לתנאים. מצד שני, אני מודע לכך שסקרים הם נושא רגיש, ושתפקידם וכוח השפעתם על המערכת הדמוקרטית שנויים במחלוקת. ואני לא מדבר רק על מה שאומרים אנשי ציבור שמחבקים את הסקרים כאשר התוצאות מחמיאות, ומזלזלים בסקרים כאשר התוצאות לא מוצאות חן בעיניהם. אני מדבר על אלה שחושבים ברצינות ובכנות שלסקרי בחירות יש השפעה שלילית על המערכת הציבורית.

ומה ביחס לאשמת הסוקרים, שלא הצליחו להבהיר לציבור עד הסוף מה יכולותיהם ומה מגבלותיהם של הסקרים?

נזכרתי במה שקרה לי במהלך משדר הבחירות של 1996 — זה שהזכרתי לפני כן. כאשר הגיעו "תוצאות האמת של קלפיות המדגם" הוטל עלי להציג את הנתונים ולהסביר לצופים את מקור ההבדל בין המספרים החדשים ובין התחזית הקודמת. נסים משעל, שהשתתף כפרשן לאורך כל המשדר, פנה אלי וביקש: "קמיל, תסביר את זה בפשטות כך שגם אמא שלי תבין". הבטחתי שאשתדל, עשיתי כמיטב יכולתי, ואז המשדר המשיך הלאה. סימנתי לנסים משעל על ידי סיבוב כף היד עם האצבעות המכופפות כשואל: "איך זה היה?" הוא ענה לי בנענוע ראש משמאל לימין כאומר: "לא משהו, ככה ככה". משמע — ההסבר היה כנראה מסובך מדי.

אז הנה, הגיע הזמן לנסות שוב.

אז על מה בעצם הספר?

זה יהיה סיפור על סקרים טובים אך גם על סקרים פחות טובים, על סקרים חשובים ומשפיעים אך גם על מניפולציות, על התוצאות המתקבלות בתנאים אידיאליים וגם על האתגרים שהמציאות ההפכפכה מציבה לנו. נספר כאן גם על ביקורות בונות וגם על הביקורות הראויות בעצמן לביקורת.

אינני חושב שאפתיע איש אם אומָר כי לעתים קרובות הסקרים זוכים ליחס מורכב של "כבדהו וחשדהו". כבדהו, במיוחד כאשר התוצאות מתאימות לעמדתו של הקורא. חשדהו, ברוב המקרים האחרים. כפי שהגדיר העיתונאי דורון רוזנבלום עוד ב־1992 את המושג "הסקרים אמינים/לא אמינים" ב"מילון פוליטי זעיר": "קודם תגיד לי מה הממצאים, ואז אני אגיד לך אם הסקר אמין או לא".

גם החשדנים הכי גדולים, אלה שמחמירים ודורשים לאסור בחוק על פרסום תוצאות סקרים, ממהרים לציין שהכוונה היא לסקרים פוליטיים בתקופה שלפני הבחירות. אבל יש סקרים שכולם מסכימים שהכרחי להמשיך לערוך. לדוגמה, סקרים האומדים את שיעור האבטלה, או הסקר המודד את מדד יוקר המחיה. חשיבותם של הסקרים האלה כה גדולה, עד שהמדינה קבעה בחוק שתושבי המדינה חייבים לענות לשאלות של הלשכה המרכזית לסטטיסטיקה (הלמ"ס). לא רק לענות, הם חייבים לענות תשובות אמת (למיטב ידיעתם). וכך קובע סעיף 11 לפקודת הסטטיסטיקה: "כל אדם ... חייב, אם נדרש לכך מאת הסטטיסטיקן או עובד מוסמך, למלא ולספק, לפי מיטב ידיעתו, את הפרטים בכל שאלון".

אז למה הכעס דווקא על הסקרים שלפני בחירות — או בעיקר עליהם? הביקורות מתמקדות בשלושה נושאים: אמינות ודיוק הסקרים, האפשרות שמתבצעת מניפולציה, והחשש שהמידע משפיע על הבוחרים. בכל אלה, נדון בספר. אבל נדבר גם על הרבה דברים אחרים. כמו, לדוגמה, איך בכלל עורכים סקר, ומהי "הטיה", ומה עושים עם כל אלה שמסרבים לענות, והאם צריך להאמין לסקרים בפרסומות, ואיך סקרים יכולים להציל חיים, ועוד ועוד. דבר אחד אני מבטיח: נשתדל שלא יהיו יותר מדי מספרים, ושיהיו גם סיפורים. וכן, בפרק האחרון ננסה לענות גם על השאלה המעצבנת: האם ישראלים באמת משקרים בסקרים?