הערכה מבוססת GenAI מול מעריכים אנושיים: בחינת דיוק הציונים, איכות המשוב, ואימוץ בקרב סטודנטים בהשכלה הגבוהה
ד"ר מאיה אושר
חבר סגל מארח: פרופ' מירי ברק
https://technion.zoom.us/my/mayausher
שילוב בינה מלאכותית יוצרת (GenAI) בתהליכי הערכה בהשכלה הגבוהה מעלה שאלות קריטיות בנוגע למידת ההלימה עם הערכות אנושיות. בהרצאה יוצגו ממצאים ממחקר שבחן את מידת דיוק הציונים, איכות המשובים וההשפעה הפדגוגית של הערכה מבוססת GenAI בהשוואה להערכות עמיתים והמרצה במסגרת קורס בהשכלה הגבוהה. במחקר השתתפו 184 סטודנטים שלקחו חלק בפרויקט קבוצתי אשר הוערך על ידי שלושה מקורות: מרצה, עמיתים, ChatGPT. בנוסף, הפרויקטים סווגו לשלוש רמות בהתאם לאיכותם: נמוכה, בינונית וגבוהה – לצורך ניתוח ההלימה בין המעריכים בהתרם לרמת הביצוע. לבסוף, נבחן האופן בו אומצו המשובים ויושמו בהגשות הסופיות של הפרויקט. הממצאים הראו כי ההלימה בין ציוני המרצה לציוני יתר המעריכים השתנתה באופן שיטתי בהתאם למקור ההערכה ולאיכות הפרויקט המוערך. ניתוח התוכן לימד כי ChatGPT סיפק לרוב משוב באיכות גבוהה בהשוואה לעמיתים והציע הנחיות ספציפיות וישימות לשיפור. מנגד, היו מקרים בהם משוב זה נמצא כלא רלוונטי או כסותר את התוכן הנלמד. מאידך, משוב העמיתים היה ממוקד בהקשרו מבחינת התאמה לתכני הקורס. בנוסף, נמצא כי משוב העמיתים היה המקור העיקרי לתיקונים שנעשו בהגשות הסופיות, בעוד שמשוב ChatGPT היה פחות שכיח אך סייע להרחבת והעמקת הרעיונות. ממצאי המחקר מדגישים את החוזקות והמגבלות הייחודיים של כל אחד ממקורות ההערכה, ומציעים תובנות בנוגע לעיצוב מערכת הערכה היברידית המשלבת משוב מובנה מבוסס GenAI עם ההבנה ההקשרית והרגישות הפדגוגית שמציע השיפוט האנושי.
על המרצה:
ד"ר מאיה אושר היא מרצה בכירה בפקולטה לטכנולוגיות למידה במכון הטכנולוגי חולון (HIT). בנוסף, מאיה היא עמיתת מחקר בפקולטה לחינוך למדע וטכנולוגיה בטכניון – מכון טכנולוגי לישראל. מאיה סיימה את לימודי הדוקטורט בפקולטה לחינוך למדע וטכנולוגיה בטכניון, תחת הנחייתה של פרופ' מירי ברק. כיום, היא חוקרת את שילובן של טכנולוגיות חדישות בתהליכי למידה, הוראה והערכה בחינוך הגבוה. בין היתר, מחקריה עוסקים בהוראת אתיקה בבינה מלאכותית (AI) לסטודנטים למדעים והנדסה, שילוב רובוטים אנושיים בהוראת חשיבה חישובית ותכנות ותהליכי כתיבה אקדמית והערכה בסיוע צ'טבוטים מבוססי GenAI. לאחרונה מאיה זכתה במענק מטעם משרד החדשנות, המדע והטכנולוגיה בנושא פרסונליזציה של למידת מורים באמצעות בינה מלאכותית לשנת 2024.
