המחקר הנוכחי מתמקד בבדיקה של תוקף הניבוי predictive validity)) של יום האבחון באדם מילא. השיטה הקלאסית לבחינת תוקף ניבוי מתבססת על בדיקה סטטיסטית של המתאמים בין הציונים של שני המשתנים: אבחון המועמד לפני קבלה לעבודה ותפקודו לאחר קבלתו לעבודה Schmidt, 1990) Hunter &). ייחודיותו של המחקר הנוכחי טמונה בכך שבדיקת התוקף בוצעה בצורה איכותנית[1] באמצעות הערכה של תכנים מילוליים: הערכות על ידי הפסיכולוג בעת המיון לעומת הערכות ממנהלו של הנבדק בעבודה בפועל. הבדיקה הסטטיסטית של המתאמים בין הציונים במאפיינים השונים לא העלתה ממצאים בעלי משמעות, אולם הבדיקה האיכותנית הצביעה על מתאם גבוה במיוחד בין תכני חוות הדעת של אדם מילא לבין תכני ריאיון עם המנהלים בארגון קופת חולים. מתאם גבוה זה מעיד על יכולת ניבוי גבוהה של חוות הדעת ומשקף את היכולת הטובה של תהליך המיון לחזות את התנהלות העובד במסגרת ביצוע תפקידו.
מבוא
תהליכי אבחון ומיון לקבלה לתפקידים בארגונים נערכים לצורך יצירת היכרות מעמיקה עם המועמדים הפונים אליהם. הניסיון המקצועי, ההשכלה הרלוונטית, והכשרתו של המועמד הם תנאי הכרחי לקבלת לתפקיד, אך לא תמיד הם מספיקים. החלטה שגויה בגיוס עובד עלולה לטמון בחובה הוצאות גדולות מאוד המוערכות בכ-20% עד 200% מהמשכורת השנתית הממוצעת של העובד בהתאם לסוג המשרה, ועל כן ארגונים רבים בוחרים להרחיב את היכרותם עם המועמדים, וללמוד עליהם ועל האישיות שלהם בצורה מעמיקה יותר באמצעות שליחתם ליום אבחון המבוצע במכוני המיון על ידי אנשי מקצוע בתחום הפסיכולוגיה התעסוקתית. בתום יום אבחון נכתבת חוות דעת הנשלחת לארגון ומהווה כלי עזר בידי המנהל המגייס לצורך קבלת החלטה מיונית שהינה תמיד החלטה מורכבת. החל משנת 2012 מבצעת מכבי שירותי בריאות תהליכי אבחון באדם מילא לכלל המועמדים המעוניינים להשתלב בעבודה בארגון. האבחון מתבצע מול תיאור עיסוק המועבר אל אדם מילא, הכולל פירוט של המשימות שנדרש לבצע העובד, האתגרים עימם יידרש להתמודד ורשימה של מאפיינים הנדרשים לצורך ביצוע מיטבי של התפקיד.
רקע על יום האבחון באדם מילא
יום אבחון באדם מילא כולל שימוש בכלים מגוונים. תכולת היום ואופי הכלים בהם נעשה שימוש נקבעים על פי תיאור התפקיד המועבר לאדם מילא על ידי איש הקשר הרלוונטי בארגון. הכלים המרכזיים בהם נעשה שימוש במהלך יום האבחון:
מבחני כישורים שכליים וסגנון ביצוע
סדרת מבחנים הבודקים כישורים קוגניטיביים, יכולת למידה, אינטליגנציה כללית, לצד מבחנים הבודקים את סגנון העבודה והביצוע (כמו סדר, דיוק, וזריזות). מבחנים אלה הינם ברובם ממוחשבים.
שאלונים ומבחני אישיות
מטרת הכלים האלו הנה היכרות עם עברו התעסוקתי של המועמד, נטיותיו התעסוקתיות, המוטיבציות שלו, הישגיו והצלחותיו, לצד היכרות עם עולמו הפנימי והרגשי, זאת בכדי להבין מה מניע ובולם אותו, באיזה תנאים צפוי לחוש מסופק, מתי עשוי להגיע לכדי מימוש.
· מבדק קבוצתי / מצב
מועבר על ידי פסיכולוג ומתמקד בבדיקת מאפיינים בינאישיים ותפקודיים/ביצועיים כפי שהם באים לידי ביטוי בהתנהגות המועמד במסגרת קבוצתית. במסגרת "משחקי תפקידים" המדמים סיטואציות מחיי העבודה, המועמדים מתמודדים עם קונפליקטים בינאישיים ועם מצבים הדורשים שימוש ביכולות שכנוע והשפעה.
ריאיון אישי
הריאיון האישי מנוהל על ידי פסיכולוג ונמשך כ-45 דקות. בריאיון ניתן לשים דגש על אבחון מעמיק של היבטים אישיותיים ותפקודיים.
חוות דעת מסכמת
בסוף יום האבחון נאסף המידע הגולמי מהכלים השונים ומאנשי המקצוע אותם פגש המועמד במהלך היום. מידע זה מועבד לפסיכולוג נוסף, המעבד את כל החומרים וכותב חוות דעת אינטגרטיבית ומקיפה. חוות דעת זו כוללת התייחסות מילולית לצרכים ולמניעים של המועמד, כישוריו, יכולותיו, אישיותו, מיומנויותיו, מקורות העוצמה שבו מול החסמים שלו, כל זאת למול דרישות התפקיד אליו נבחן. בנוסף ניתנים גם ציונים למאפיינים השונים שהופיעו בתיאור העיסוק ומוצגות המלצות לקליטת העובד בארגון.
תהליך קבלת ההחלטות בארגון ביחס לקליטה של עובד חדש
חוות הדעת של אדם מילא נשלחות לארגון והן משמשות ככלי תומך החלטה בידי המנהלים המגייסים. באמצעות הדוחות הם יכולים להכיר צדדים שונים של המועמד שלא בהכרח נחשפו אליהם במהלך תהליך הגיוס, והם יכולים להסתייע בהמלצות לקליטת העובד המופיעות בחוות הדעת. על אף שקיימת שביעות רצון גבוהה של מנהלים בארגון מתהליכי האבחון, הוחלט לאחר מספר שנים בהם מתבצעים תהליכי אבחון אלה באופן שוטף לבצע מחקר תוקף ניבוי, שמטרתו הינה להעריך את המידה בה חוות הדעת מסוגלות לנבא את התפקוד של המועמד עם קבלתו לתפקיד המיועד.
שיטת המחקר
המחקר כלל אוכלוסייה של 64 עובדים אשר נבחנו באדם מילא לתפקיד ניהולי, התקבלו לתפקיד אליו הם נבחנו, והם מבצעים אותו בפועל למעלה מחצי שנה.
בחירת הקריטריון לבחינת חוות הדעת
בחירת הקריטריון נעשתה בתהליך של חשיבה משותפת עם אנשי מש"א בארגון. בחירת הקריטריון למולו ייבחנו כלי המיון הינה תמיד הליך מורכב. באופן אידיאלי היינו רוצים לבצע את תהליך התיקוף למול משתנים אובייקטיבים (כגון ציונים בסוף קורס הכשרה, חיסורים, קידומים וכד'), אולם קשה מאוד למצוא משתנים כאלה שיהיו משותפים למגוון רחב של עובדים בארגון. במכבי שירותי בריאות מתבצעות הערכות עובד תקופתיות בהן ממלאים מנהלים חוות דעת שיטתית על העובדים, אולם אלה נמצאו כחיוביות מאוד ולא היה בהן מספיק פיזור בין הציונים ועל כן לא ניתן היה לעשות בהם שימוש במחקר הנוכחי. בכדי להגיע לחוות דעת מדויקות יותר ולקבל מנעד רחב יותר של ציונים, נבנה שאלון אחיד, ועל בסיסו בוצעו ראיונות טלפוניים עם המנהלים על ידי פסיכולוגית תעסוקתית שעודדה את המנהלים לספר לה בצורה מפורטת על התנהגות העובד, וכן לספק חוות דעת מילולית מאוזנת, הכוללת גם התייחסות לקשיים ולחולשות של העובדים. חלק נוסף של הריאיון כלל בקשה של הפסיכולוגית מהמנהלים לתת לעובד ציונים בסולם של 1-9 לאותה רשימה של מאפיינים המופיעים בתיאור העיסוק ובחוות הדעת הסופית של אדם מילא. התוצר הסופי של ראיונות טלפוניים אלה הינו סיכום מילולי המציג את האופן בו מתפקד העובד, התייחסות למקורות העוצמה שלו ולנקודות החולשה שלו וכן ציונים על רשימה של מאפיינים. ציונים. כך, עבור 64 העובדים שהוגדרו כרלוונטיים לצורך מחקר זה, נאספו כל הנתונים מחוות הדעת של אדם מילא ומהראיונות שבוצעו עם המנהלים.
שלב א'
בוצעה בדיקה של התפלגות הציונים בקרב המשתנה המנבא (חוות הדעת) והקריטריון (ראיונות עם המנהלים). כפי שניתן לראות בטבלה 1 בהמשך, נמצא כי הפיזור של הציונים במשתנה המנבא היה סביר – רוב הממוצעים נעו בין 5 ל-6.5 (והציון השכיח היה לרוב 6) על סולם הנע בין 1 ל-9. לעומת זאת, הפיזור של ציוני הקריטריון היה נמוך ביותר: הציון השכיח (וגם החציון) ברוב המאפיינים היה 8 והממוצע היה לרוב סביב 7.5 או גבוה מזה בסולם הנע בין 1 ל-9 . לממצא זה קיימים שני הסברים:
קיצוץ תחום. למעשה כל המועמדים שקיבלו ציון 4 ומטה בחוות הדעת של אדם מילא (כאמור סולם הציונים נע בין 1 ל-9) לא התקבלו לתפקיד אליו היו מועמדים (למעט מועמדת אחת).
למרות המאמץ שהושקע בעידוד המנהלים לספק טווח רחב של ציונים, עדיין המנהלים נטו לפרגן לעובדים שלהם על ידי מתן ציון הערכה גבוה. ייתכן גם שהם עצמם היו מעורבים בתהליך בחירתם (מתוך שאר המועמדים לתפקיד) ולכן, על ידי מתן ציון גבוה, הם הוכיחו (לעצמם ולארגון) שבחירה זו הייתה מוצדקת.
טבלה 1: ממוצעים, חציונים ושכיחים במשתנים המקובצים, בקריטריון ובמנבא
בשל הטווח המצומצם של הציונים בקריטריון – בשילוב עם מספר נבדקים מאוד קטן - לא ניתן היה לבצע בדיקה של מתאמים בין המאפיינים השונים בחוות הדעת לאותם מאפיינים שהופיעו בראיונות עם המנהלים. בהתבסס על מחקר המטה-אנליזה של האנטר ושמידט (Hunter & Schmidt, 1990) ואחרים, ברור היה שבכדי שלמתאם שיימצא תהיה משמעות יישומית, עליו לנוע סביב 0.20-0.30 לפחות, ובמחקר בו כמעט ואין שונות בציוני הקריטריון אין כל אפשרות להגיע למתאם כזה. לאחר בדיקות סטטיסטיות שונות שבוצעו הוחלט לזנוח את בחינת המתאמים ולעבור לבחינה איכותנית של התכנים.
שלב ב'
בשלב ב' הוחלט על ביצוע השוואה איכותנית של תכני חוות הדעת (ניבוי) למול תכני הראיונות עם המנהלים (קריטריון). לצורך השוואה זו נבחרו שלוש מנהלות משאבי אנוש בארגון שלא היו שותפות בשלבים הראשונים של המחקר. כל אחת מהן קיבלה לידיה חוות דעת וסיכומי ראיונות מנהלים עבור כל העובדים המשתתפים במחקר, כאשר כל חוות דעת משויכת לסיכום ריאיון המנהל, ללא פרטים מזהים של העובד. כל אחת מהמעריכות התבקשה לקרוא את התוכן המילולי של חוות הדעת ואת הסיכום המילולי של הריאיון עם המנהל ולהעריך את מידת ההלימה בין השניים באמצעות סולם ציונים שנע בין 1-5, כאשר 1 משמעו הלימה נמוכה בין התכנים וציון 5 משמעו הלימה גבוהה בין התכנים. כל אחת ממנהלות משאבי אנוש עברה על כל 64 זוגות הערכות ונתנה לכל זוג הערכות ציון המבטא את מידת ההלימה בין התכנים, כאשר הציונים ניתנו ללא תלות ביניהן ולא נעשה ניסיון להגיע להסכמה בניהן. עבור כל מועמד נקבע ציון התאמה המשקף את ממוצע הציונים שנתנו שלוש המנהלות הציון הסופי של השלב הנוכחי במחקר הינו ממוצע כל הממוצעים והוא משקף את מידת ההלימה בין כלל תכני חוות דעת אדם מילא לתכני הראיונות הטלפוניים שבוצעו עם המנהלים.
דוגמא לאופן בו נקבעה מידת ההלימה בין התכנים של חוות דעת אדם מילא לבין התכנים של הריאיון עם המנהל ניתן לראות במקרה הבא: עובדת שבחוות הדעת של אדם מילא נכתב עליה כי "הסגנון שלה ישיר, לעתים יתר על המידה. אומרת את אשר חושבת בלי לעדן או לרכך את הדברים, ואף קרה לא אחת כי אנשים בסביבתה נעלבו מהאופן שבו פנתה אליהם". בריאיון הטלפוני שבוצע עם המנהלת, מסרה המנהלת ש"יש לה בעיה בתקשורת עם אנשים. הפתיל שלה קצר מאוד. כשהיא נדרשת להתאים את עצמה לאנשים מורכבים יש קושי. היא אמורה לרכך, לעטוף והיא לא תמיד יודעת לעשות את זה". דוגמה נוספת היא של עובד שבחוות הדעת של אדם מילא נכתב עליו: "היכולת שלו להתמצב בעמדת סמכות ולהציב גבולות לאחרים הינה מוגבלת. הוא שואף לנהל מעמדה משתפת ומכבדת וסומך על כפיפיו שיבצעו את משימותיהם בצורה עצמאית ומחויבת. מתקשה לאמר 'לא' ולפעול בצורה אסרטיבית ותקיפה יותר". בסיכום הריאיון של המנהל נכתב "הוא לא מספיק בולט. יש לו מה להגיד אבל הוא מנמיך את עצמו. היעדר ביטחון כמנהל. זה משהו שהוא עוד צריך להשתפר בו". בשתי הדוגמאות שהובאו לעיל שלושת מנהלות משאבי אנוש שקראו את חוות הדעת של אדם מילא ואת סיכום הריאיון עם המנהל נתנו ציון 5 המשקף הלימה גבוהה בין התכנים.
תוצאות
כל העובדים שהתקבלו לארגון , היו עובדים שבחוות הדעת של אדם מילא קיבלו ציון 5 ומעלה, למעט עובדת אחת. כל העובדים האלה קיבלו בראיונות עם המנהלים ציונים הנעים בין 7-9 בשאלה המתייחסת למידת התאמתם לתפקיד, כלומר שביעות הרצון של המנהלים מהעובדים שקיבלו בהסתמך על חוות הדעת של אדם מילא היתה גבוהה מאוד.
ממוצע ציוני ההתאמה שנתנו שלוש המעריכות על הדמיון בין חוות הדעת של המכון (המנבא) לבין חוות הדעת המילולית של המנהל הישיר (הקריטריון) – טווח הציונים נע בין 1 (אין התאמה) לבין 5 (התאמה גבוהה מאוד).
ממוצע מעריכה א'4.3
ממוצע מעריכה ב'4.3
ממוצע מעריכה ג'4.7
ממוצע הממוצעים4.4
כאמור, לא ניתן היה לבצע בדיקה של מתאמים פנימיים בין הציונים שניתנו במאפיינים השונים בחוות הדעת ובראיונות עם המנהלים בשל העובדה שהתפלגות הציונים בקריטריון היתה מצומצמת מאוד.
הממצא החשוב והמעניין ביותר במחקר זה מתייחס לבדיקה של מידת ההלימה בין התכנים המילוליים. ההשוואה בין תכני חוות הדעת לתכני הראיונות עם המנהלים, הניבה ציון של 4.4 בסולם 1-5, ציון המשקף הלימה גבוהה מאוד בין התכנים.
דיון
השיטות המוכרות בספרות לביצוע מחקר תוקף כוללות בדיקה סטטיסטית של מתאמים בין ציוני המנבא לציוני הקריטריון. באמצעות מתאמים אלה מציגים את המידה בה המשתנה המנבא מצליח לחזות את התנהלות הקריטריון. אחת הבעיות המרכזיות במחקרי תוקף היא הקושי לקבל התפלגות רחבה של ציונים בקריטריון, הן בשל קיצוץ התחום והן בשל העובדה שמנהלים על פי רוב נותנים ציוני הערכה גבוהים במיוחד אפילו לעובדים שיש להם ביקורת על אופן התפקוד שלהם. המחקר הנוכחי ניסה להתגבר על קושי זה באמצעות השוואה איכותנית בין תכני המשתנה המנבא לתכני הקריטריון. מסתבר שכאשר שואלים מנהל בצורה פתוחה וגלויה על נקודות התורפה של העובד שלו הוא מסוגל לתאר אותן בעל פה, על אף שהוא אינו מצליח לתת להן ביטוי מספרי באמצעות מתן ציון נמוך. באמצעות קריאה אובייקטיבית של התכנים, השוואה ביניהם והערכה של מידת ההלימה ביניהם נמצא קשר חיובי ברור בין חוות הדעת שנכתבה על העובד בשלב המיון לבין חוות הדעת שנתן המנהל עליו לאחר חצי שנה בתפקיד, קשר שלא ניתן היה להגיע אליו באמצעים סטטיסטיים. ציון ההלימה הגבוה שנמצא במחקר משקף את היכולת הגבוהה של יום האבחון וכלי המיון לנבא את התפקוד של העובד בעתיד.
במחקר הנוכחי הנתונים על הקריטריון נאספו באמצעות ראיונות טלפוניים שבוצעו עם המנהלים. במהלך הראיונות המנהלים התבקשו לתת ציונים לעובדים שלהם מבלי שקיבלו לכך הכנה מוקדמת. ייתכן ותהליך מקדים של ייעוץ והדרכה לגבי הדרך המדויקת בה ניתן להעריך עובדים באמצעות מתן ציונים על סולם מספרי הייתה משפרת גם את הפיזור של הציונים שנאספו בשלב א' של המחקר הנוכחי. בשלב ב' של המחקר התבקשו מנהלות בארגון להעריך את מידת ההלימה בין תכנים של זוגות הערכות, כאשר נאמר להן מראש שמדובר בשתי הערכות שנכתבו על אותו עובד על ידי גורמים שונים. הצגת הדברים באופן הזה יכולה להוביל להטיה בשיפוט, כך קיימת האפשרות שנמצאה מידת דמיון בין שתי הערכות בשל אפקט "ברנום". כאשר נעשה מאמץ מכוון לאתר דמיון, הסיכוי למצוא אותו עולה. כדי לבסס באופן משמעותי יותר את ציון ההלימה בין התכנים ניתן להציע למנהלות השופטות גם זוגות של הערכות שאינן שייכות לאותו האדם, על מנת לבחון האם במקרה זה מידת ההלימה בין התכנים תהיה נמוכה.
מסקנות
ההשלכה של ממצאי מחקר זה עבור אנשי המקצוע בתחום הינה ברורה. ארגונים רבים מבצעים תהליכים של הערכת עובדים, לצורך קבלת תמונה בהירה של תפקוד העובד ורמת הביצוע שלו. עם זאת, מנהלים רבים הנדרשים להעריך את העובדים שלהם בצורה מילולית או מספרית מתקשים לעשות זאת מסיבות שונות, כפי שנאמר לעיל, ובפועל ההערכות שהם מספקים אינן מיטביות ואינן משקפות תמונה מדויקת. המנהלים בארגון יוכלו להיתרם רבות מליווי והכוונה של אנשי מקצוע ביחס לצורה המיטבית בה ניתן לתאר את תפקוד העובד ולהעריך את ביצועיו, הן בשיטה כמותית והן בצורה איכותנית.
אורנה מור, פסיכולוגית תעסוקתית, מנהלת צוות, אדם-מילא
עדה זאבי אוחנה, פסיכולוגית תעסוקתית, מחקר ופיתוח, אדם-מילא
[1] מחקר איכותני הוא שיטת מחקר שאינה משתמשת בנתונים מספריים ובניתוחים סטטיסטיים של אותם הנתונים, וזאת בניגוד לשיטות מחקר כמותיות.
מקורות
Hunter, J.E., Schmidt, F.L. (1990). Methods of meta-analysis: Correcting error and bias in research findings. Newbury Park, CA: Sage.