לא על הסטטיסטיקה לבדה: בחינת יכולת ניבוי של מבחני המיון באמצעות הערכת תוכן-אורנה מור, עדה זאבי אוחנה


המחקר הנוכחי מתמקד בבדיקה של תוקף הניבוי predictive validity)) של יום האבחון באדם מילא. השיטה הקלאסית לבחינת תוקף ניבוי מתבססת על בדיקה סטטיסטית של המתאמים בין הציונים של שני המשתנים: אבחון המועמד לפני קבלה לעבודה ותפקודו לאחר קבלתו לעבודה Schmidt, 1990) Hunter &). ייחודיותו של המחקר הנוכחי טמונה בכך שבדיקת התוקף בוצעה בצורה איכותנית[1] באמצעות הערכה של תכנים מילוליים: הערכות על ידי הפסיכולוג בעת המיון לעומת הערכות ממנהלו של הנבדק בעבודה בפועל. הבדיקה הסטטיסטית של המתאמים בין הציונים במאפיינים השונים לא העלתה ממצאים בעלי משמעות, אולם הבדיקה האיכותנית הצביעה על מתאם גבוה במיוחד בין תכני חוות הדעת של אדם מילא לבין תכני ריאיון עם המנהלים בארגון קופת חולים. מתאם גבוה זה מעיד על יכולת ניבוי גבוהה של חוות הדעת ומשקף את היכולת הטובה של תהליך המיון לחזות את התנהלות העובד במסגרת ביצוע תפקידו.

מבוא

תהליכי אבחון ומיון לקבלה לתפקידים בארגונים נערכים לצורך יצירת היכרות מעמיקה עם המועמדים הפונים אליהם. הניסיון המקצועי, ההשכלה הרלוונטית, והכשרתו של המועמד הם תנאי הכרחי לקבלת לתפקיד, אך לא תמיד הם מספיקים. החלטה שגויה בגיוס עובד עלולה לטמון בחובה הוצאות גדולות מאוד המוערכות בכ-20% עד 200% מהמשכורת השנתית הממוצעת של העובד בהתאם לסוג המשרה, ועל כן ארגונים רבים בוחרים להרחיב את היכרותם עם המועמדים, וללמוד עליהם ועל האישיות שלהם בצורה מעמיקה יותר באמצעות שליחתם ליום אבחון המבוצע במכוני המיון על ידי אנשי מקצוע בתחום הפסיכולוגיה התעסוקתית. בתום יום אבחון נכתבת חוות דעת הנשלחת לארגון ומהווה כלי עזר בידי המנהל המגייס לצורך קבלת החלטה מיונית שהינה תמיד החלטה מורכבת. החל משנת 2012 מבצעת מכבי שירותי בריאות תהליכי אבחון באדם מילא לכלל המועמדים המעוניינים להשתלב בעבודה בארגון. האבחון מתבצע מול תיאור עיסוק המועבר אל אדם מילא, הכולל פירוט של המשימות שנדרש לבצע העובד, האתגרים עימם יידרש להתמודד ורשימה של מאפיינים הנדרשים לצורך ביצוע מיטבי של התפקיד.



רקע על יום האבחון באדם מילא

יום אבחון באדם מילא כולל שימוש בכלים מגוונים. תכולת היום ואופי הכלים בהם נעשה שימוש נקבעים על פי תיאור התפקיד המועבר לאדם מילא על ידי איש הקשר הרלוונטי בארגון. הכלים המרכזיים בהם נעשה שימוש במהלך יום האבחון:


  • מבחני כישורים שכליים וסגנון ביצוע

סדרת מבחנים הבודקים כישורים קוגניטיביים, יכולת למידה, אינטליגנציה כללית, לצד מבחנים הבודקים את סגנון העבודה והביצוע (כמו סדר, דיוק, וזריזות). מבחנים אלה הינם ברובם ממוחשבים.


  • שאלונים ומבחני אישיות

מטרת הכלים האלו הנה היכרות עם עברו התעסוקתי של המועמד, נטיותיו התעסוקתיות, המוטיבציות שלו, הישגיו והצלחותיו, לצד היכרות עם עולמו הפנימי והרגשי, זאת בכדי להבין מה מניע ובולם אותו, באיזה תנאים צפוי לחוש מסופק, מתי עשוי להגיע לכדי מימוש.



  • · מבדק קבוצתי / מצב

מועבר על ידי פסיכולוג ומתמקד בבדיקת מאפיינים בינאישיים ותפקודיים/ביצועיים כפי שהם באים לידי ביטוי בהתנהגות המועמד במסגרת קבוצתית. במסגרת "משחקי תפקידים" המדמים סיטואציות מחיי העבודה, המועמדים מתמודדים עם קונפליקטים בינאישיים ועם מצבים הדורשים שימוש ביכולות שכנוע והשפעה.


  • ריאיון אישי

הריאיון האישי מנוהל על ידי פסיכולוג ונמשך כ-45 דקות. בריאיון ניתן לשים דגש על אבחון מעמיק של היבטים אישיותיים ותפקודיים.


  • חוות דעת מסכמת

בסוף יום האבחון נאסף המידע הגולמי מהכלים השונים ומאנשי המקצוע אותם פגש המועמד במהלך היום. מידע זה מועבד לפסיכולוג נוסף, המעבד את כל החומרים וכותב חוות דעת אינטגרטיבית ומקיפה. חוות דעת זו כוללת התייחסות מילולית לצרכים ולמניעים של המועמד, כישוריו, יכולותיו, אישיותו, מיומנויותיו, מקורות העוצמה שבו מול החסמים שלו, כל זאת למול דרישות התפקיד אליו נבחן. בנוסף ניתנים גם ציונים למאפיינים השונים שהופיעו בתיאור העיסוק ומוצגות המלצות לקליטת העובד בארגון.


תהליך קבלת ההחלטות בארגון ביחס לקליטה של עובד חדש


חוות הדעת של אדם מילא נשלחות לארגון והן משמשות ככלי תומך החלטה בידי המנהלים המגייסים. באמצעות הדוחות הם יכולים להכיר צדדים שונים של המועמד שלא בהכרח נחשפו אליהם במהלך תהליך הגיוס, והם יכולים להסתייע בהמלצות לקליטת העובד המופיעות בחוות הדעת. על אף שקיימת שביעות רצון גבוהה של מנהלים בארגון מתהליכי האבחון, הוחלט לאחר מספר שנים בהם מתבצעים תהליכי אבחון אלה באופן שוטף לבצע מחקר תוקף ניבוי, שמטרתו הינה להעריך את המידה בה חוות הדעת מסוגלות לנבא את התפקוד של המועמד עם קבלתו לתפקיד המיועד.


שיטת המחקר


המחקר כלל אוכלוסייה של 64 עובדים אשר נבחנו באדם מילא לתפקיד ניהולי, התקבלו לתפקיד אליו הם נבחנו, והם מבצעים אותו בפועל למעלה מחצי שנה.


בחירת הקריטריון לבחינת חוות הדעת


בחירת הקריטריון נעשתה בתהליך של חשיבה משותפת עם אנשי מש"א בארגון. בחירת הקריטריון למולו ייבחנו כלי המיון הינה תמיד הליך מורכב. באופן אידיאלי היינו רוצים לבצע את תהליך התיקוף למול משתנים אובייקטיבים (כגון ציונים בסוף קורס הכשרה, חיסורים, קידומים וכד'), אולם קשה מאוד למצוא משתנים כאלה שיהיו משותפים למגוון רחב של עובדים בארגון. במכבי שירותי בריאות מתבצעות הערכות עובד תקופתיות בהן ממלאים מנהלים חוות דעת שיטתית על העובדים, אולם אלה נמצאו כחיוביות מאוד ולא היה בהן מספיק פיזור בין הציונים ועל כן לא ניתן היה לעשות בהם שימוש במחקר הנוכחי. בכדי להגיע לחוות דעת מדויקות יותר ולקבל מנעד רחב יותר של ציונים, נבנה שאלון אחיד, ועל בסיסו בוצעו ראיונות טלפוניים עם המנהלים על ידי פסיכולוגית תעסוקתית שעודדה את המנהלים לספר לה בצורה מפורטת על התנהגות העובד, וכן לספק חוות דעת מילולית מאוזנת, הכוללת גם התייחסות לקשיים ולחולשות של העובדים. חלק נוסף של הריאיון כלל בקשה של הפסיכולוגית מהמנהלים לתת לעובד ציונים בסולם של 1-9 לאותה רשימה של מאפיינים המופיעים בתיאור העיסוק ובחוות הדעת הסופית של אדם מילא. התוצר הסופי של ראיונות טלפוניים אלה הינו סיכום מילולי המציג את האופן בו מתפקד העובד, התייחסות למקורות העוצמה שלו ולנקודות החולשה שלו וכן ציונים על רשימה של מאפיינים. ציונים. כך, עבור 64 העובדים שהוגדרו כרלוונטיים לצורך מחקר זה, נאספו כל הנתונים מחוות הדעת של אדם מילא ומהראיונות שבוצעו עם המנהלים.


שלב א'


בוצעה בדיקה של התפלגות הציונים בקרב המשתנה המנבא (חוות הדעת) והקריטריון (ראיונות עם המנהלים). כפי שניתן לראות בטבלה 1 בהמשך, נמצא כי הפיזור של הציונים במשתנה המנבא היה סביר – רוב הממוצעים נעו בין 5 ל-6.5 (והציון השכיח היה לרוב 6) על סולם הנע בין 1 ל-9. לעומת זאת, הפיזור של ציוני הקריטריון היה נמוך ביותר: הציון השכיח (וגם החציון) ברוב המאפיינים היה 8 והממוצע היה לרוב סביב 7.5 או גבוה מזה בסולם הנע בין 1 ל-9 . לממצא זה קיימים שני הסברים:

  1. קיצוץ תחום. למעשה כל המועמדים שקיבלו ציון 4 ומטה בחוות הדעת של אדם מילא (כאמור סולם הציונים נע בין 1 ל-9) לא התקבלו לתפקיד אליו היו מועמדים (למעט מועמדת אחת).

  2. למרות המאמץ שהושקע בעידוד המנהלים לספק טווח רחב של ציונים, עדיין המנהלים נטו לפרגן לעובדים שלהם על ידי מתן ציון הערכה גבוה. ייתכן גם שהם עצמם היו מעורבים בתהליך בחירתם (מתוך שאר המועמדים לתפקיד) ולכן, על ידי מתן ציון גבוה, הם הוכיחו (לעצמם ולארגון) שבחירה זו הייתה מוצדקת.


טבלה 1: ממוצעים, חציונים ושכיחים במשתנים המקובצים, בקריטריון ובמנבא


מבחני מיון טבלה 1
.docx
Download DOCX • 17KB

בשל הטווח המצומצם של הציונים בקריטריון – בשילוב עם מספר נבדקים מאוד קטן - לא ניתן היה לבצע בדיקה של מתאמים בין המאפיינים השונים בחוות הדעת לאותם מאפיינים שהופיעו בראיונות עם המנהלים. בהתבסס על מחקר המטה-אנליזה של האנטר ושמידט (Hunter & Schmidt, 1990) ואחרים, ברור היה שבכדי שלמתאם שיימצא תהיה משמעות יישומית, עליו לנוע סביב 0.20-0.30 לפחות, ובמחקר בו כמעט ואין שונות בציוני הקריטריון אין כל אפשרות להגיע למתאם כזה. לאחר בדיקות סטטיסטיות שונות שבוצעו הוחלט לזנוח את בחינת המתאמים ולעבור לבחינה איכותנית של התכנים.


שלב ב'


בשלב ב' הוחלט על ביצוע השוואה איכותנית של תכני חוות הדעת (ניבוי) למול תכני הראיונות עם המנהלים (קריטריון). לצורך השוואה זו נבחרו שלוש מנהלות משאבי אנוש בארגון שלא היו שותפות בשלבים הראשונים של המחקר. כל אחת מהן קיבלה לידיה חוות דעת וסיכומי ראיונות מנהלים עבור כל העובדים המשתתפים במחקר, כאשר כל חוות דעת משויכת לסיכום ריאיון המנהל, ללא פרטים מזהים של העובד. כל אחת מהמעריכות התבקשה לקרוא את התוכן המילולי של חוות הדעת ואת הסיכום המילולי של הריאיון עם המנהל ולהעריך את מידת ההלימה בין השניים באמצעות סולם ציונים שנע בין 1-5, כאשר 1 משמעו הלימה נמוכה בין התכנים וציון 5 משמעו הלימה גבוהה בין התכנים. כל אחת ממנהלות משאבי אנוש עברה על כל 64 זוגות הערכות ונתנה לכל זוג הערכות ציון המבטא את מידת ההלימה בין התכנים, כאשר הציונים ניתנו ללא תלות ביניהן ולא נעשה ניסיון להגיע להסכמה בניהן. עבור כל מועמד נקבע ציון התאמה המשקף את ממוצע הציונים שנתנו שלוש המנהלות הציון הסופי של השלב הנוכחי במחקר הינו ממוצע כל הממוצעים והוא משקף את מידת ההלימה בין כלל תכני חוות דעת אדם מילא לתכני הראיונות הטלפוניים שבוצעו עם המנהלים.


דוגמא לאופן בו נקבעה מידת ההלימה בין התכנים של חוות דעת אדם מילא לבין התכנים של הריאיון עם המנהל ניתן לראות במקרה הבא: עובדת שבחוות הדעת של אדם מילא נכתב עליה כי "הסגנון שלה ישיר, לעתים יתר על המידה. אומרת את אשר חושבת בלי לעדן או לרכך את הדברים, ואף קרה לא אחת כי אנשים בסביבתה נעלבו מהאופן שבו פנתה אליהם". בריאיון הטלפוני שבוצע עם המנהלת, מסרה המנהלת ש"יש לה בעיה בתקשורת עם אנשים. הפתיל שלה קצר מאוד. כשהיא נדרשת להתאים את עצמה לאנשים מורכבים יש קושי. היא אמורה לרכך, לעטוף והיא לא תמיד יודעת לעשות את זה". דוגמה נוספת היא של עובד שבחוות הדעת של אדם מילא נכתב עליו: "היכולת שלו להתמצב בעמדת סמכות ולהציב גבולות לאחרים הינה מוגבלת. הוא שואף לנהל מעמדה משתפת ומכבדת וסומך על כפיפיו שיבצעו את משימותיהם בצורה עצמאית ומחויבת. מתקשה לאמ