עיתון אוניברסיטת בן-גוריון בנגב

סכנה מיידית ומוחשית: כשהבינה גולשת אל מחוץ לגבולות השליטה

זיהו את האיום. פרופ' ליאור רוקח (מימין) וד"ר מיכאל פייר

מחקר חדש בהובלת ד"ר מיכאל פייר ופרופ' ליאור רוקח, מהפקולטה למדעי המחשב והמידע הממצאים | על שם שטיין, חושף פגיעה מהותית במודלים של שפה במערכות בינה מלאכותית מצביעים על נגישות גבוהה לתוכן מזיק ומדגימים כי ללא הגנות חזקות ובקרה הדוקה האיום אינו עתידי אלא כבר מצוי במציאות הטכנולוגית

כלים נגישים למעשי עבירה. חלק מן המערכות הללו כבר מופצות ברשתות נסתרות ומשמשות לפשיעה מקוונת, להונאות ולפגיעות בתשתיות קריטיות. הסכנה לא טמונה רק ביכולת לשחזר מידע אסור אלא גם ביכולת לחבר בין חלקי ידע מפוזרים וליצור מהם הנחיות מזיקות חדשות. החוקרים דיווחו על ממצאיהם לחברות הטכנולוגיה שפיתחו את המודלים הנבדקים, אך לדבריהם התגובות היו חלקיות. חברה מרכזית אחת לא הגיבה כלל, וחברות אחרות טענו כי מדובר בפגיעות שוליות. ד״ר פייר הדגיש כי בשנה האחרונה מתפתחת מוּדעות גוברת לנושא וחברות רבות פונות מיוזמתן לבחון את ליקויי ההגנה במערכותיהן, אך לדבריו אין בכך די. פרופ׳ רוקח הוסיף כי המודלים

לתכנים מזיקים להיחשף. ד״ר פייר ציין כי בחלק גדול מן המערכות ניתן לעקוף את ההגנות בקלות יחסית. החוקרים מדגישים כי האיום אינו נובע רק מפעולה זדונית מכוונת אלא גם מאופן פעולתם של המודלים ומהמתח שבין הרצון למלא את בקשת המשתמש לבין הצורך למנוע נזק. בחלק מן המקרים ניתן להטעות את המערכת באמצעות הוראות מורכבות שמטשטשות את גבולות הכללים המוטמעים בה וכך נוצרות פרצות בהתנהגות הבטיחותית. במוקד האזהרה מופיע מושג שאותו מכנים החוקרים ״מודלים של שפה אפלה״. אלה מערכות שלא שולבו בהן עקרונות אתיים מספקים, או שנערכו בהן שינויים מכוונים, דבר המניח את התשתית ליצירת

קבוצת מחקר מן הפקולטה למדעי המחשב והמידע על שם שטיין, בראשותם של ד״ר מיכאל פייר ופרופ׳ ליאור רוקח, חושפת תמונה מדאיגה של חולשות במערכות בינה מלאכותית מתקדמות. החוקרים הצליחו לפרוץ למודלים שונים ולגרום להם למסור מידע מסוכן, מדריכים לביצוע פשעים ועד ידע טכני העלול לשמש לעבירות מחשב. לדבריהם מדובר באיום ממשי ונוכח, שאינו תרחיש עתידי אלא מציאות קיימת ונגישה לכל דורש. במסגרת המחקר נבחנו כמה מודלים נפוצים, מהעולם המסחרי והציבורי. החוקרים פיתחו שיטה לעקיפת מנגנוני ההגנה והצליחו להניע את המערכות למסור הנחיות בתחומים רגישים. בכל המודלים שנבדקו נמצאו פרצות שאפשרו

10 בינה מלאכותית בבן-גוריון |