טרנספורמציה של ציונים

ד"ר שמואל אבן-זהר

מתוך מחשבים בחינוך מס' 39 - סתו תשנ"ז



מבוא:
כל מרצה באוניברסיטה או מורה בבית-הספר ניצב בפני הבעיה של מתן ציונים אובייקטיבים לתלמידים, אשר ישקפו את מידת השליטה שלהם בחומר. לשם כך עליהם לענות על שאלון (המכונה "מבחן"), והציון הניתן עליו הינו המדד הנפוץ המציין את "מידת הידע" של הסטודנט בנושא הנלמד.

הנחת היסוד היא שפריטי המבחן מהווים מדגם אקראי מתוך החומר כולו בו אמור התלמיד לשלוט. כמו כל כלי מדידה מסוג זה (שאלונים) גם המבחן צריך להיות מהימן ותקף. את מהימנות המבחן, (שמשמעה באיזה מידה בודקים כל חלקי המבחן מדד מסוים) קל לבדוק על-ידי חישוב קורלציות בין ציונים המחושבים בנפרד לחלקי המבחן השונים, אך תקיפות המבחן שהיא המידה בה הוא באמת בודק את הידע, בעייתית יותר. הידע הוא פנימי, אינפורמציה השתולה במוחו של הסטודנט ולא ניתן למדדו באופן ישיר, שכן לא ניתן לערוך "דגימת מוח". ציון המבחן אמור לשקף את כמות הידע, אך ברור שאין שום מבחן המודד זאת במדויק.
לא זו בלבד, אלא שהמדידה עצמה מקלקלת את המידה, ולא אחת נכשלים תלמידים עקב התרגשות, או מצליחים בעזרת ניחוש (או שכן טוב), שלא לדבר על קריטריונים לבדיקה של אותו מבחן השונים בין בודק לבודק. על חלק מהבעיות שהוזכרו בא לענות המאמר הנוכחי.

הסטודנט העונה על המבחן עובר תהליך של שליפת (אחזור) האינפורמציה ממוחו. הטבעת החומר הנלמד אל המוח דורש קידוד (ENCODING) - מעבר מצורה פיזיקלית חיצונית (אור, קול) לצורה פיזיולוגית פנימית (שינויים כימיים ב- RNA, או גם פעילויות חשמליות במוח). תהליך השליפה הוא הפוך, פענוח (DECODING) - מעבר מצורה פיזיולוגית פנימית לצורה פיזיקלית חיצונית, כתיבה או דיבור. בכל מעבר כזה ישנו איבוד מסוים של החומר. תהליך הלמידה עצמו המתחולל במוח (RECODING), הינו שזירת קשרים אסוציאטיביים, ולא זה נושא המאמר הנוכחי. קל להבחין שמודל זה לקוח מעולם המחשב.

ישנם גורמים שונים המפריעים לשליפה, כמו תכונות אישיות של הסטודנט (איטיות בתגובה, חוסר ריכוז) או הפרעות זמניות, שלא יבואו בהכרח לביטוי בעיתוי אחר, וכך אין המבחן משקף ידע אמיתי.

יתכן גם ופריטי המבחן אינם מהווים מדגם מייצג של החומר הנלמד. אם למשל השאלות אינן מפוזרות באופן אקראי על-פני כל חומר הקורס אלא מרוכזות על תחילת החומר, גם הסטודנטים שלא הספיקו לגמור ללמוד יכולים להצליח, ואלו שעברו על כל החומר, יספיקו אולי לשכוח את ההתחלה, ויכשלו. אם השאלות לקוחות מסוף החומר הלימודי, ייתכן ובעלי זיכרון קצר, שלא הפנימו את כל החומר יצליחו, וכדומה.

מכל האמור לעיל ברור שהציון הגולמי המתקבל במבחן כל שהוא אין לו קיום בפני עצמו ואינו משקף את "אחוז הידע". מטרת מבחן היא (כשמו) - לאבחן בין הטובים יותר והטובים פחות, ולא משנה כלל מהו טווח ציוני המבחן. לכן, חשוב לדעת לגבי כל סטודנט מהו מיקומו היחסי לקבוצה (ציון הפרסנטיל - PERCENTIL) או מהו מיקומו יחסית לממוצע הכיתה (למשל, ציון התקן - Z SCORE), ולא מהו ציונו הגולמי במבחן. מבחן טוב מוגדר כמבחן שציוניו מתפלגים כמו רוב המדדים בטבע - התפלגות נורמלית (במובנה הסטטיסטי), כך שישנם נבחנים מעטים גרועים, מעטים מצוינים, והרוב מתרכז באופן סימטרי סביב הממוצע.

מבחינות מסוימות, במידת האפשר, עדיף מבחן בשיטה האמריקאית (תשובות סגורות לבחירה), אשר מאפשר מדגם גדול יותר של פריטי ידע, אובייקטיבי יותר וקל יחסית לבדיקה (באמצעות תוכנית מחשב).

היות ונהוג באוניברסיטה, או גם בבתי-ספר סולם אחיד של טווח ציונים (לגבי ציון עובר) הנע בין 60 ל-100, על המרצה לדאוג אם כן להעביר את הציונים הגולמיים המתקבלים במבחן כל-שהוא, לטווח קרוב לזה באמצעות נוסחה אחידה אובייקטיבית. טרנספורמציה זו של הציונים חייבת לשמור על סדר, אך לא חייבת להיות לינארית. ישנן שיטות שונות לטרנספורמציה של ציונים. חלק מהן יפורטו להלן:

1. הבונוס הקבוע:
המרצה או המורה מבחין שציוניו נמוכים מדי, והם נעים למשל, בין 40 ל-80. מצב זה מורה על מבחן קשה מדי. יתכן והוא כולל פריטים שאינם בחומר הנדרש, או שאלות לא ברורות, או שהמרצה פשוט גרוע ולא הצליח להבהיר את החומר. לא סביר שהכיתה כולה חלשה. במצב זה אפשר פשוט להוסיף לכל תלמיד 20 נקודות. בונוס זה אינו יעיל כשהציונים נעים מ-0 עד 100, למשל. תוספת הנקודות היא אחידה הן לחלשים והן לחזקים, ואינה פרוגרסיבית.

2. הבונוס היחסי:
המרצה מכפיל כל ציון בפקטור קבוע. אם למשל הציונים נעים בין 40 ל-80, ניתן להכפיל כל ציון ב-1.25. כך מקבל התלמיד הטוב בונוס גדול יותר מהתלמיד הגרוע, ויש בזה מידה מסוימת של אי-צדק.

3. טרנספורמציה בהנחה של התפלגות נורמלית:
בטרנספורמציה זו, המרצה מחליט מהו ממוצע הכיתה המועדף, ומה סטיית התקן הראויה. נניח שהמרצה מעוניין בממוצע של 80 וסטיית תקן 10 נקודות. כידוע, כ2.5% מהאוכלוסייה נמצא מעל ציון תקן של 1.96, וכ2.5% נמצאים מתחת לציון תקן 1.96-. בהחלטה הנ"ל של המרצה, כל סטיית תקן ערכה 10 נקודות. לכן, ציון 100נמצא שתי סטיות תקן מעל לממוצע וציון 60 נמצא שתי סטיות תקן מתחת לממוצע. בהנחה (סבירה) שהציונים מתפלגים נורמלית, ההשלכה הישירה של החלטת המרצה הנ"ל היא שכ2.3% מהסטודנטים יכשלו, ואחוז דומה יקבל ציון 100 ומעלה.
אם המרצה ירצה להגדיל אחוזים אלו, עליו להחליט על טרנספורמציה עם פיזור גבוה יותר, למשל סטיית תקן של 15 נקודות. במצב זה הציון 100 מקביל לציון התקן 1.33 מעל הממוצע וציון 60 ציון התקן שלו הוא 1.33-. מבט בטבלת ההתפלגות הנורמלית מורה על כך שבמצב זה 9.18% מהסטודנטים יכשלו ואחוז דומה יקבלו ציון 100 ומעלה. מרצה מחמיר יותר יכול להחליט על ממוצע נמוך יותר.

בהמשך מוצעת הדרך המעשית לחישוב זה, בעזרת גיליון אלקטרוני כל-שהוא.

4. טרנספורמציה להתפלגות נורמלית:
אם הציונים הגולמיים אינם מתפלגים נורמלית ניתן להעבירם להתפלגות נורמלית למשל על-ידי לקיחת הפרסנטילים שלהם כציונים (ניתן לעשות זאת בקלות בעזרת הפונקצייה PERCENTILE או PERCENTRANK של EXCEL). הפרסנטיל הוא המיקום באחוזים של כל סטודנט בקבוצה. הממוצע של ציונים אלו יהיה קרוב ל-50. ניתן כמובן להמשיך ולהעביר ציונים אלו לכל ממוצע התפלגות רצוי בשיטה המתוארת קודם לכן.

5. טרנספורמציה למצבים "קטסטרופליים":
ישנן נוסחאות שונות ל"הצלת מבחן" אשר רבים מהכיתה נכשלו בו (התפלגות לא נורמלית עם זנב שמאלי). למשל הנוסחה - שורש ריבועי כפול 10. במצב זה מי שקיבל 100, ימשיך לקבל 100, ומי שקיבל ציון 36 יקבל ציון עובר - 60. טרנספורמציה זו מטיבה מאד עם החלשים ואינה גורעת מהחזקים.

6. ניכוי פריטי מבחן:
במבחן אמריקאי ניתן לנכות פריטים שרוב התלמידים בכיתה לא ענו נכון, לפני חישוב הציון הסופי. ניתן לבדוק מה אחוז העונים נכון לכל שאלה. אם למשל ישנם 4 תשובות לכל פריט, ורק כ25% ומטה מהכיתה ענו נכון לשאלה מסוימת, יש להניח שהסטודנטים ענו לשאלה זו באופן אקראי. שאלה זו לא מבחינה בין הטובים יותר והפחות טובים, ולכן ניתן להורידה מחישוב הציון. באותו אופן, שאלה שכל התלמידים בכיתה ענו עליה נכון, אף היא אינה מבחינה וניתן להורידה.

מכל האמור לעיל, נראה שבכל מקרה כדאי לתת מבחן קצת יותר קשה מאשר מבחן קל מדי, שכן קל יותר להסביר לסטודנט תוספת לציון המקורי מאשר להסביר הפחתה לציון. ההסבר שהציון המקורי אינו משמעותי כלל, והמיקום הקבוצתי קובע, אינו עומד בפני טיעונים רגשיים של קיפוח.

יש להסתייג ולא לבצע טרנספורמציה המסתמכת על המיקום הקבוצתי כאשר ישנם מעט מדי נבחנים בקבוצה.

תיאור תוכנית מחשב לחישובים הנ"ל:
אף כי ניתן בקלות לכתוב תוכנית מחשב לחישובי הטרנספורמציות הנ"ל בשפה סטטיסטית כמו SAS או SPSS, המשתמש בהם למטרות אלו דומה להורג זבוב בתותח במקום במחבט, מה גם שחסרה לשפות אלו אינטראקטיביות אמיתית.

טבעי ביותר לכתוב תוכנית בגיליון אלקטרוני כל שהוא - QUATRO-PRO, LOTUSאו EXCEL תחתWINDOWS . נתקתק את הנתונים כמטריצה סטטיסטית רגילה של נבדקים*משתנים, כלומר, נבדקים בשורות, והתשובות למבחן (אם זה מבחן אמריקאי) בעמודות.

לדוגמא, בטור A נתקתק את מספר הזיהוי או מספר המחברת של כל הסטודנטים, ומטור B ואילך - את תשובות הנבחנים. יש להשאיר שורות ראשונות לכותרות שונות. השורה שלפני הנבחן הראשון תכיל את התשובות הנכונות לפי הסדר.

בהמשך הטורים (מטור AA, למשל, תלוי במספר פריטי המבחן) נכין מטריצה נוספת כשבטורים משתנים לוגיים מחושבים המקבילים לפריטי המבחן, אשר ערכם המחושב יהיה 1 או 0 (נכון או לא נכון) לנבדקים השונים. ניתן לעשות זאת בפשטות על-ידי הצבת הפונקצייה הלוגית IF בשורת הנבדק הראשון בטור של הפריט הלוגי הראשון: (IF(B3=B$2,1,0= או פשוט יותר בנוסחא: B3=B$2=, כאשר, בשורה 2 נמצאים התשובות הנכונות ומשורה 3 ואילך התשובות של הנבחן הראשון.
הערך של הביטוי הלוגי הנ"ל יהיה 1 אם התשובה הראשונה של הנבדק הראשון זהה לתשובה הנכונה של המבחן, ו-0 אם לא. תא זה יועתק לכל הטורים בהמשך (המקבילים לפריטים) ולכל השורות (הנבדקים) כך שתתמלא מטריצה של 1 או 0. בהמשך, מתחת לכל טור במטריצה הנ"ל נסכם כל טור (פונקצייה SUM), וכך נדע כמה ענו נכון לכל שאלה נוכל להוריד מהחישוב הסופי שאלות לא מייצגות, כגון, אלו שרק 25% ומטה מהנבחנים ענו נכון, לגבי מבחן בו לכל פריט 4 תשובות אפשריות.

בטור נוסף מימין, נסכם את השורות של התשובות הנכונות, וכך נקבל את מספר התשובות הנכונות שענה כל נבחן (כרגיל בגיליון אלקטרוני, מספיק להציב נוסחא במשבצת אחת ולהעתיקה לכל שאר התאים בטור). בטור נוסף נחלק מספר זה במספר השאלות ונכפיל ב-100, וזהו הציון הגולמי.

אם יש חלק נוסף למבחן, כמו שאלות פתוחות, ניתן לתת ציון לחלק זה בטור נפרד, ולהקציב טור נוסף לחישוב ממוצע של שני החלקים בשקלול הרצוי (50% לכל חלק, או 40% ו60% וכדומה). ניתן להוסיף בטור נפרד ציון על תרגילים אם היו בקורס, ולשקלל אף אותו.

אם המבחן אינו בסגנון אמריקאי, ניתן פשוט לתקתק את הציון בטור הציון הגולמי, או את חלקי הנקודות של פריטי המבחן, ולסכמם לטור הציון הגולמי לכל נבדק.

כעת, בתא בתחתית הטור של הציון הגולמי הסופי נחשב את הממוצע הכיתתי (פונקצייה AVERAGE) ותחתיו את ציון התקן (פונקצייה SD). בטור נוסף נחשב את ציון התקן של כל סטודנט: הציון פחות הממוצע חלקי סטיית התקן. לדוגמא, אם הממוצע נמצא בטור Z בשורה 50 ותחתיה בשורה 51 סטית התקן, והטור החדש (BB) נמצא מימין לטור בו הציון הגולמי, נתקתק בתא BB3 לנבחן הראשון:
Z3-$Z$50)/$Z$51)= ונעתיק נוסחא זו לשאר השורות באותו טור.

בטור נוסף מימין נתקתק את נוסחת הטרנספורמציה הדרושה. אם נבחר, למשל, בטרנספורמציה הנורמלית שממוצעה 80 וסטית התקן 10, ובטור BB נמצאים ציוני התקן, נתקתק בטור BC3 את הנוסחא: BB3*10+80= ונעתיק זאת לשאר השורות בטור BC. אם נבחר בטרנספורמציה למצבים קטסטרופליים, ובטור הציונים הגולמיים, נתקתק: Z3^0.5*10= ונעתיק זאת לשאר השורות בטור BC. (הסימן ^ מציין חזקה, ולכן 0.5^ הוא למעשה הוצאת שורש. נוכל כמובן להשתמש בפונקצייה SQRT.)

ניתן להשתמש בכל טרנספורמציה אחרת הנראית לנו, או בשילוב ממוצע משוקלל של כמה סוגי טרנספורמציות. המטרה הסופית היא להביא את הציונים להתפלגות נורמלית בה מספר מסוים (נמוך) של נכשלים ומספר דומה של ציון 100 (ומעלה). תזוזת הממוצע המבוקש למעלה או למטה תעזור לנו להפחית את מספר הנכשלים או ציונים מעל 100. כל טרנספורמציה המתקרבת להתפלגות נורמלית היא לגיטימית בתנאי, כמובן, שסדר הציונים נשמר.
ניתן לבדוק נורמליות של משתנה על-ידי פונקצייה מתאימה כמו (SKEWNESS) או אף לשרטט גרף התפלגויות. הדבר קל מאוד לביצוע בגליונות אלקטרוניים, ובעיקר ב- EXCEL.