תכנית אמ"ת (אבחון מותאם תרבות) של ג'וינט-ישראל-תבת פּוּתחה בשנת 2010, בעקבות דיווחים ממעסיקים על קשיים בהעסקת מועמדים ממוצא אתיופי בתפקידים שהקבלה אליהם מותנית בעמידה במבחני מיון. המטרה העיקרית של התכנית הייתה לסייע בהעסקת מועמדים ממוצא אתיופי ובקידום התעסוקתי שלהם ושל קבוצות מיעוט אחרות, באמצעות עידוד שימוש בכלי מיון מותאמים תרבותית. לבקשת תבת ובשיתוף פעולה עם מכון 'אדם מילא', ערך מאיירס-ג'וינט-ברוקדייל מחקר מקיף שליווה את התכנית.
מטרות המחקר ורכיביו
במחקר היו שני שלבים. המטרות העיקריות של המחקר בשלב הראשון היו לסקור את השיטות המנסות לצמצם פערים בין קבוצות בתהליכי מיון לתעסוקה ולבדוק אם כלי המיון הקיימים המקשים על מועמדים ממוצא אתיופי בקבלה לעבודה.
בעקבות ממצאי השלב הראשון, המתוארים בהמשך, תבת החליט לפתח כלים חדשים רגישי-תרבות, כדי שישמשו חלופה לכלים הקיימים וכדי שיסייעו להקטין את החסמים שעומדים בפני קבוצות מיעוט.
בהמשך, ובשיתוף פעולה עם מכון 'אדם מילא', ערכנו מחקר תיקוף, כדי לבחון את התוקף הבו-זמני של הכלים החדשים.
האם כלי המיון הקיימים מקשים על מועמדים ממוצא אתיופי בקבלה לעבודה?
המטרה העיקרית, בשלב הזה, הייתה לבחון האם בכלי המיון הקיימים יש פערים בין מועמדים ממוצא אתיופי למועמדים מקבוצת הרוב.
מערך המחקר ואוכלוסיית המחקר
מכון 'אדם מילא' הכין קובץ הכולל נתונים של 186 מועמדים ממוצא אתיופי שנבחנו מחודש נובמבר 2004 עד חודש יולי 2009. לכל נבחן ממוצא אתיופי חיפשנו זיווג אחד מקבוצת הרוב, על בסיס שלושה קריטריונים: המגדר, התפקיד המיועד ותאריך המיון של הנבחנים ממוצא אתיופי. בסך הכול, שתי הקבוצות היו דומות מאוד מבחינת שלושת הקריטריונים הללו. השווינו את הביצועים של שתי הקבוצות בארבעה כלי מיון קיימים: מבחני כישורים שכליים, מבחן מצב קבוצתי (או דינמיקה קבוצתית), ריאיון חצי מובנה וחוות הדעת של המעריך.
תוצאות
הפערים במבחני הכישורים השכליים בין נבחנים ממוצא אתיופי לבין נבחנים מקבוצת הרוב היו עמוקים ומשמעותיים. כתוצאה מכך, אילו הכלי הזה היה משמש קריטריון לקבלה לעבודה, עם ציון מעבר 5 ומעלה (מתוך סקאלה של 1 עד 9), רק 17% מהנבחנים ממוצא אתיופי היו עוברים את סף הקבלה, לעומת 62% מהנבחנים בקבוצת הרוב. שימוש בציוני מעבר גבוהים יותר מביא לפערים גדולים יותר.
מבחן מצב קבוצתי וסדרת מדדים שהיו מבוססים על חוות הדעת של המעריך הראו פערים משמעותיים, אם כי מתונים יותר. ראוי לציין שלא נמצאו הבדלים משמעותיים בריאיון חצי מובנה.
פיתוח כלי מיון חדשים בתבת
לאחר דיון מעמיק בממצאי השלב הראשון ובהשלכותיו, החליט ארגון תבת לפתח כלי מיון חדשים. השאיפה הייתה להקטין את הפערים בין קבוצות המיעוט לקבוצת הרוב, תוך כדי שמירת יכולת ניבוי התפקוד בעבודה, או אפילו תוך כדי שיפורה. בתהליך פיתוחם של הכלים החדשים גייס תבת צוות רב-תרבותי שלוּוה על ידי אנשי מקצוע. במסגרת זו פותחו שמונה כלים:
® שאלון ביוגרפי, ריאיון חצי מובנה ומשימת משחק תפקידים הבוחנים מגוון כישורים, כולל כישורים מספריים, כישורים בין-אישיים, יכולת שכנוע ועוד. השאלון הביוגרפי מבוסס על הדיווחים העצמיים של המשתתפים והריאיון החצי מובנה ומשימת משחק תפקידים מבוססים על הדיווחים של המשתתפים יחד עם ההתרשמות של המעריך.
® שלוש משימות (כמותית, מילולית וצורנית) שבוחנות כישורים שכליים באמצעות שיטה חלופית.
® שני מבחני תכונות אישיות שבוחנים שש תכונות אישיות ספציפיות: ה-Big 5 (מוחצנות, פתיחות לניסיונות, יציבות רגשיות, מצפוניות ונעימות) ו-Grit )סיבולת והתמדה לצורך השגת מטרה; ראה, Duckworth, 2013).
בפיתוח הכלים החדשים נעזרנו בעקרונות שעשויים לצמצם את הפערים:
® מדידה בתוך הֶקשר. ההקשר שבו מועבר המבחן והרלוונטיות שלו לעולם התוכן של הנבחן עשויים להשפיע על גודל הפערים בביצועים (Steele & Aaronson, 1995). לכן, לכל משימה היה סיפור מסגרת שאינו טעון תרבותית וכלל השאלות התייחסו אליו.
® חיבור שאלות בצוות הטרוגני. כלי המיון הקיימים ובעיקר מבחני כישורים שכליים ממוחשבים, מפותחים לרוב על ידי אנשים המשתייכים לקבוצת הרוב. כל הפריטים בכלים החדשים הללו פותחו או נבדקו על ידי צוות פיתוח הטרוגני.
® מדידת התנהגויות באינטראקציה מצומצמת ותיווך של מעריך בהעברה. ממצאי מחקר מקדים שערכה עמותת 'קו משווה' (בסיס, 2007) הראו כי בסיטואציות של מבחנים בקבוצה, נבחנים מקבוצת המיעוט חשים זרוּת וניכור. סיטואציות אלו בזמן מבחן מאיימות ומקשות על אוכלוסיות מיעוט להביע את עצמן. לכן, כדי לצמצם את השפעתם של היבטים רגשיים, שאינם רלוונטיים לביצוע המטלות, נעשה שימוש בתיווך של מעריך לבחינת יכולות באינטראקציה בין-אישית מצומצמת.
תיקוף הכלים
בשלב השני של המחקר, לבקשת תבת ובשיתוף פעולה עם מכון 'אדם מילא', בחנּו את איכותם של הכלים החדשים. במסגרת המחקר גויסו 13 מעסיקים שהסכימו לשיתופם של עובדים ממוצא אתיופי ועובדים מקבוצת הרוב במחקר.
בדיקת הכלים נעשתה באמצעות פעולות אלו:
® בחינת התוקף הבו-זמני של כל כלי – בדקנו את המִתאמים שבין הציונים בכלי המיון לבין התפקוד בעבודה.
® בחינת גודל הפערים בין קבוצות בכל כלי – השווינו בין הציונים הממוצעים של כל קבוצה בכלים החדשים ובכלים הקיימים.
מלבד זאת, ניסה המחקר לזהות את הכלים המראים פוטנציאל בצמצום הפערים בין קבוצות, יחד עם ניבוי אפקטיבי של תפקוד בעבודה.
מערך המחקר ואוכלוסיית המחקר
המחקר כלל 144 משתתפים: 69 ממוצא אתיופי,43 מקבוצת הרוב (כלומר יהודים שאינם ממוצא אתיופי) ו-32 מהחברה הערבית. כל המשתתפים עברו יום אבחון שכלל כלי מיון החדשים וכלי מיון קיימים. בנוסף, קבלנו חוות דעת מהמנהלים של כל המשתתפים לגבי תפקודם בעבודה של המשתתפים. במאמר זה נתמקד בתוצאות של המשתתפים ממוצא אתיופי ושל המשתתפים מקבצת הרוב בלבד.
תהליך האבחון הכולל היה אמור להימשך כ-8 שעות. רוב המשתתפים אובחנו בסניפים של מכון המיון וחלק קטן נבחנו במקום עבודתם.
נמצאו הבדלים משמעותיים במאפיינים של הקבוצות. מקרב המשתתפים מקבוצת הרוב 66% עבדו בתפקידים שדורשים תואר אקדמי, לעומת 41% מהמשתתפים ממוצא אתיופי. כמו כן, נמצא תת-ייצוג של משתתפים ממוצא אתיופי שנולדו בארץ ושמדברים עברית ברמת שפת אם.
תוצאות
תרשים א' מציג את מיקומו של כל אחד מהכלים על פני שני צירים: תוקף-בו-זמני (ציר X) ואת גודל הפער בין משתתפים ממוצא אתיופי למשתתפים מקבוצת הרוב (ציר Y). אומדן הפער בין הנבחנים ממוצא אתיופי לבין הנבחנים מקבוצת הרוב בתפקוד הכללי בעבודה מוצג בריבוע האפור בתרשים. פער זה עמד על 0.56 סטיית תקן. המטרה היא לאתר את הכלים התקפים ביותר בניבוי תפקוד בעבודה שמראים פערים דומים לפער שנמצא בתפקוד בעבודה (קרוב לריבוע האפור בתרשים) או קטנים ממנו (מתחת לריבוע האפור בתרשים).
® נמצא כי השאלון הביוגרפי והריאיון החצי מובנה הם כלים תקפים שמראים פערים קטנים יחסית, והם צבועים בכחול בתרשים. השאלון הביוגרפי נמצא ככלי התקף ביותר מבין הכלים שנבדקו במחקר.
® ניתן לראות שהפערים בין הקבוצות שנמצאו ברוב הכלים החדשים קטנים יותר מהפער שנמצא בתפקוד הכללי בעבודה.
® במבחני תכונות אישיות לא נמצאו פערים משמעותיים בין הקבוצות, אבל הם לא היו מתואמים עם תפקוד בעבודה.
® הכלים הקיימים הבוחנים כישורים שכליים היו פחות תקפים מאשר חלק מהכלים החדשים. זאת ועוד, וכצפוי, הכלים הקיימים הראו פערים גדולים ביותר בין משתתפים ממוצא אתיופי לקבוצת הרוב. הפערים האלה היו הרבה יותר גדולים, פי שניים עד שלושה, מהפערים בתפקוד בעבודה שנמצאו בין הקבוצות האלה.
® ראוי לציין שהממצאים בשלב הראשון של המחקר מצביעים על כך שהשימוש בחוות הדעת של הפסיכולוג, המבוססת על תהליך המיון כולו, עשוי לתרום לצמצום פערים במדידת כישורים שכליים. אולם, לא בדקנו את התוקף של המדדים האלה.
® המשימה הכמותית, המשימה המילולית והמשימה הצורנית הבוחנות כישורים שכליים בצורה חלופית נמצאו דומות או אפילו מעט יותר תקפות מאשר הכלים הקיימים, אך הן הראו פערים עמוקים שדומים לפערים שנמצאו בכלים הקיימים.
בנוסף, ביצענו ניתוחי רגרסיה כדי לבדוק האִם כלי המיון החדשים מוסיפים ליכולתם של הכלים הקיימים הבוחנים כישורים שכליים לנבא תפקוד בעבודה. רצינו גם לבחון באיזו מידה הכלים הקיימים מוסיפים ליכולתם של הכלים החדשים לנבא תפקוד בעבודה. תוצאות הרגרסיה מצביעות על כך שהשאלון הביוגרפי, הריאיון החצי מובנה ומשימת משחק תפקידים מוסיפים יכולת ניבוי ניכרת לכלים הקיימים. יתרה מזו, השימוש בכלים הקיימים במדגם זה אינו מוסיף יכולת ניבוי משמעותית לכלים החדשים האלה.
ניתן למצוא דיון רחב יותר של התוצאות האלה בפישמן וסמני (2015). דוח זה גם מסכם את התוצאות בקרב המשתתפים מהחברה הערבית ואת תוצאות מרכיבים איכותניים של המחקר שלא תוארו פה.
תרשים א':
אומדנים של תוקף בו-זמני ושל גודל הפערים בין קבוצות בכלי המיון החדשים ובאומדן כישורים שכליים כלליים על בסיס הכלים הקיימים
מגבלות המחקר
יש לבחון ממצאים אלה בתשומת לב רבה, כי הם מבוססים על מדגם קטן יחסית שאינו מייצג את האוכלוסייה הכללית של מחפשי עבודה – ממוצא אתיופי ומקבוצת הרוב. כמו כן, בעיות מתודולוגיות אחדות במחקר זה מגבילות את האפשרות להסיק מסקנות כלליות על בסיס הממצאים הנוכחיים בלבד. במחקר התיקוף:
® כפי שצוין לעיל, נמצאו הבדלים משמעותיים בין מאפייני קבוצות האוכלוסייה השונות.
® המשתתפים במחקר הנוכחי לא היו מחפשי עבודה, אלא עבדו במועד הבדיקה וייתכן שהם הושפעו פחות מתופעת הרצייה החברתית. כתוצאה מכך, אומדני תוקף המבוססים על מועמדים לעבודה (תוקף ניבוי) במקום על עובדים קיימים בארגון (תוקף בו-זמני) עשויים להיות מעט קטנים יותר.
למרות הבעיות האלה, מגמת התוצאות במחקר הנוכחי מספקת תובנות בהקשר הישראלי. אומדני התוקף הבו-זמני המוצגים בדוח זה היו דומים לאומדנים שתועדו בספרות הבין-לאומית. נוסף לכך הפערים בין אנשים ממוצא אתיופי לבין לקבוצות הרוב, בכלים הקיימים הבוחנים כישורים שכליים ובריאיון החצי מובנה נמצאו דומים, אם כי לא זהים, בשני שלבי המחקר.
תובנות, דיון וכיווני פעולה
מסקירת הספרות של פישמן וקינג (2013) עלה שכלֵי המיון שמראים את הפערים הגדולים ביותר בין קבוצות הם גם התקֵפים ביותר בניבוי התפקוד בעבודה. לדוגמה, מבחני כישורים שכליים, שנחשבים כהתקפים ביותר בניבוי תפקוד בעבודה, גם מראים הפערים הגדולים ביותר בין קבוצות. לעומת זאת, מבחני תכונות אישיות מראים פערים קטנים בין קבוצות, אך פחות טובים בניבוי התפקוד הכללי בעבודה. התופעה הזאת מכוּנה דילמת מגוון-תוקף (Diversity Validity Dilemma, ראה Ployhart & Holts, 2008)). המחקר הנוכחי תומך בטענות, העולות בספרות, לגבי השיטות להתמודדות עם הדילמה הזו:
® ניתן לפתח כלי מיון חדשיםוצירופים של כלים שונים שמגבירים את סיכוייהם של מועמדים מקבוצת המיעוט להתקבל לעבודה ושאינם פוגעים באופן משמעותי ביכולת לבחור מועמדים מתאימים.
® שיטות שאינן מתמקדות רק בכישורים השכליים אלא משתמשות בכלים שונים הבוחנים מגוון תחומים (כגון ידע, כישורים, נטיות ומאפיינים אחרים) הן השיטות המוצלחות ביותר בהתמודדות עם דילמת מגוון-תוקף.
מחקר זה מציג פערים עמוקים בין אנשים ממוצא אתיופי לבין קבוצת הרוב בכלים הקיימים הבוחנים כישורים שכליים ופערים מתונים יותר בכלים חדשים. השאלון הביוגרפי בולט כַּכּלי התקף ביותר, שגם מראה פערים דומים לפערים שנמצאו בתפקוד בעבודה. השאלון הביוגראפי כלל מדדים של מאפיינים שונים וגם ציון מסכם (הממוצע של הממוצע של כל המדדים). בפיתוח הכלי בצענו ניתוח פריטים כדי לסנן את הפריטים שפגעו במהימנות (reliability) של הכלי, דבר שבעינינו תרם לתוקף הבו-זמני שלו. במדגם שלנו מדדים של כישורים לימודיים, זריזות, התמודדות עם עומס משימות ועוד תרמו למהימנות ולתוקף של השאלון הביוגרפי ונכללו בחישוב של הציון המסכם.
לעומת זאת, המדדים של מאפיינים אחרים, כולל כישורים בינאישיים ואסרטיביות, פגעו במהימנות ובתוקף של הכלי ולכן לא נכללו בחישוב של הציון המסכם. זה מהווה דוגמה ליתרון משמעותי של השאלון הביוגרפי, שהוא גמישותו. ניתן לבחון המועילות של כל פריט בנפרד, ולהוריד ו/או להוסיף פריטים וגם מדדים שונים בהתאם לצרכים שעולים בתהליכי המיון של ארגונים שונים. לדוגמה, ארגון שמחפש שיטות להגביר את הדיוק וסדר של העובדים שלו יכול לבחון את הדיוק וסדר של העובדים הקיימים ולספק לאותם עובדים גם שאלון כזה כדי לאתר פריטים ומדדים המתואמים ביותר לרמת הדיוק והסדר של העובדים. כך ניתן לבנות כלי מיון אפקטיבי יותר. ניתן גם לבדוק האם יש פריטים או מדדים שתורמים באופן משמעותי לפערים בין קבוצות ולמזער את משקלם של פריטים כאלה בשאלון.
כלי המיון לתעסוקה נפוצים ביותר בישראל, אך יש מחסור במחקרי תיקוף ישראליים שראו אור. דבר זה מעניק חשיבות רבה למחקר הנוכחי. עם זאת, יש צורך בבדיקה מעמיקה של הפוטנציאל של כלי מיון נבחרים במחקרים עתידיים עם מדגמים גדולים יותר, ועם משתתפים במקצועות מגוונים יותר.
-----------------------------
נועם פישמן, פסיכולוג, מיירס-ג'וינט-ברוקדייל ואונ' בר-אילן
טלי סמני, פסיכולוגית, מכון שקד
ליאת בסיס, פסיכולוגית תעסוקתית, מנכ"ל "בסיס להערכה"
מקורות
בסיס, ל'. (2007). מיון רב-תרבותי- צו השעה. מבחני מיון והערכה לאקדמאים ערבים:
תוצאות המחקרים וההתאמות הנדרשות. תל אביב: קו משווה.
פישמן, נ' & סמני, ט'. (2015). אבחון מותאם תרבות (אמ"ת): דוח מסכם. דמ-13-629. מאיירס-ג'וינט מכון ברוקדייל, ירושלים.
פישמן, נ' & קינג, י'. (2013). אבחון מותאם תרבות (אמ"ת) סקירת ספרות בין לאומית על תהליכי מיון לעבודה ובחינת השלכותיה בהקשר הישראלי. דמ-15-699. מאיירס-ג'וינט מכון ברוקדייל, ירושלים.
Steele, C. M., & Aronson, J. (1995). Stereotype threat and the intellectual test performance of African Americans. Journal of Personality and Social Psychology, 69(5), 797-811. doi:10.1037/0022-3514.69.5.797
Duckworth, A. L. (2013). True grit. The Observer, 26(4), 1-3.
Ployhart, R. E., & Holtz, B. C. (2008). The diversity-validity dilemma: Strategies for reducing racio-ethnic and sex subgroup differences and adverse impact selection. Personnel Psychology, 61, 153-172. doi: 10.1111/j.1744-6570.2008.00109.x