ד"ר עידן שורץ

למידה מולטימודלית ומודלים גנרטיביים

כשאנחנו רואים קרטון חלב במקרר עם תאריך תפוגה של אתמול, המוח שלנו מבצע מיד סדרת קישורים: אנו מחברים בין המידע הוויזואלי (התאריך) לבין הקונספט המופשט של "טריות", ומסיקים אם ניתן להשתמש בו. איננו רק "רואים" עצם, אלא מבצעים הסקה (Reasoning) המשלבת פרטים בתמונה עם ידע ושפה. עבור מחשבים, היכולת לקשר בין פיסת מידע ויזואלית למשמעותה הרחבה בטקסט או בשאלה שנשאלה, היא אתגר מאד מורכב.

ד"ר עידן שורץ חוקר כיצד ליצור יישור סמנטי (Semantic Alignment) מדויק, המאפשר למכונה לתפוס קונספטים מורכבים ולבצע הסקה רב-חושית. מחקרו משלב למידה מולטימודלית ומודלים גנרטיביים (טקסט, תמונה ווידאו), תוך שאיבת השראה מקוגניציה אנושית לפיתוח מנגנוני קשב ושליטה מתקדמים. המטרה היא להפוך את המערכות הגנרטיביות למדויקות ונשלטות יותר, בעלות הבנה אמיתית של ההקשר המולטימודלי המלא.

 תחומי מחקר מרכזיים:

• למידה מולטימודלית (Multimodal Learning)

• מודלים גנרטיביים (Generative Models)

• מנגנוני קשב ושליטה (Attention & Inference-Time Control)

• קוגניציה ולמידה עמוקה (Cognition & Deep Learning)

 אופי המחקר:

יישומי-טכנולוגי: פיתוח ארכיטקטורות למודלים גנרטיביים ומולטימודליים בשילוב צרכי התעשייה.

 אופק תעסוקתי:

בוגרות ובוגרי המעבדה משתלבים במגוון תפקידים:

• תעשייה: חוקרי AI ומפתחי מודלים גנרטיביים

• אקדמיה: חוקרים ומרצים בתחומי בינה מלאכותית

• יזמות: מייסדי סטארט-אפים בתחומי ראייה ממוחשבת ומודלים גנרטיביים