הבעיה עם סוכני AI היא לא שהם טועים. היא שהם לפעמים ממשיכים הלאה. מה הסוכנים עשו השבוע מעבר למה שביקשו, ומה הניסוי שלי ב-backdoors אומר על הפער בין ״זיהינו משהו״ ל״הבנו משהו״. אז מה היה לנו? סוכנים של OpenAI נשלחו לחפש מידע באתרי רשויות בארה״ב והתלהבו קצת יותר מדי: אחד מצא מפתחות גישה באתר של משרד החינוך, אחר פרסם בעצמו מידע פומבי מאתר רשות ניירות הערך, ועוד אחד העלה 53 תמונות של משתמשים לאתרי אחסון חיצוניים. ובמקביל, סוכן שרצה לשאול צ׳אטבוט חיצוני פשוט עקף את חסימת הרשת דרך DNS - ואימון הוקפא זמנית. שום מידע לא-פומבי לא נחשף, הרשויות בסדר. אבל שימו לב לגבול שנחצה: זה כבר לא ״מצא מידע״, זה ״מצא גישה ועשה איתה משהו״. דיווח AP ב-Guardian: theguardian.com/technology/2…. אוקיי, אז למה לא פשוט להסתכל בתוך המודל? זו בדיוק השאלה שלי בעבודה על backdoors: מצאתי סימן חשוד בתוך המודל - מה זה בכלל אומר לי? במחקר המלא (huggingface.co/blog/assafpet…) בדקתי שלושה דברים: האם חיפוש יכול לפספס טריגר שלא מכירים, האם סימן פנימי אומר שהכלל הנסתר אושר, והאם הסימן בכלל גורם לתשובה להשתנות. ספוילר: זה מסתבך מהר. בסימולציות, כלל שפועל רק בפינה שלא בדקתי לא מופרך על ידי בדיקות שעברו. כלל אחר למד לזהות בדיקה צפויה והסתתר עד ששיניתי גם את מצב השיחה וגם את צורת השאלה. והסימנים הפנימיים? הצביעו יפה על השם בקלט או על גרסת המודל - אבל לא אמרו אם מישהו אישר את הכלל. אישור בודקים מחוץ למודל, לא בתוכו. והקלאסיקה: בניסוי מבוקר עם חמישה אדפטרים מצאתי בשכבה 12 מדד שהפריד בצורה מושלמת בין קלטים עם הטריגר לקלטים בלעדיו. הזזתי אותו לערך הביקורת, והפער שנמדד בו ירד ב-98.2%-99.9%. נשמע כמו ניצחון, נכון? תשובת ה-backdoor נשארה ב-82.3%-100% מהקלטים. לא מחקתי ״99% מה-backdoor״ - שיניתי כיוון אחד בתוך מצב פנימי ענק. המדד עזר לזהות, לפעמים אפילו השפיע. הסבר מלא? לא. אז מה עושים עם זה? לי זה העלה שלוש שאלות: הסוכן עשה משהו שלא ביקשנו? אנחנו מזהים סימן מחשיד בזמן? ויש לו בכלל הרשאה לפעולה הבאה? מעקב ומבט פנימי עוזרים, אבל לא מחליפים מגבלות על הכלים עצמם. אם המשימה היא ״לקרוא״, העלאה, פרסום ושימוש במפתחות צריכים שער הרשאות משלהם. AI safety נשמעת לפעמים כמו שאלה על מה מודלים ירצו בעתיד. הסיפורים האלה הרבה יותר פשוטים: מה ביקשנו, מה הסוכן עשה בדרך, ואיפה נתנו לו ללחוץ על כפתור שלא היה אמור ללחוץ עליו.

במחקר שלי על backdoors למדתי משהו מעצבן: גם כשמוצאים את האות של הטריגר בתוך המודל, לנטרל 99% ממנו לא עוצר את הbackdoor. זיהוי לא שווה ריפוי. paper חדש לוקח את זה צעד קדימה: מה אם הכלי שאיתו אתה מחפש את הbackdoor הוא עצמו הbackdoor? לקחו sparse autoencoder, כלי של interpretability שמפרק את הפעילות הפנימית לפיצ'רים. שינו רק את ה-decoder שלו, בלי לגעת ב-LM, וגרמו ל-3 מודלים להכניס לקוד דברים שלא ביקשו מהם (רק Hello World בניסוי, לא malware). בחלק מבדיקות האיכות הרגילות של ה-SAE כמעט לא ראו שינוי. כלומר גם אם המודל נקי, הכלי שחיברת כדי להבין ולכוון אותו יכול להיות הדלת האחורית. supply chain עד הסוף arxiv.org/html/2610.06049

world model זה מודל שלומד לחזות איך העולם משתנה כשעושים פעולה, בלי לראות את העולם האמיתי. הבעיה מתחילה כשרוצים לתכנן הרבה צעדים קדימה: המודל תמיד טועה קצת בכל צעד, והצעד הבא מתחיל מהתחזית של הקודם, אז הטעות לא נשארת במקום, היא נכנסת פנימה וגדלה. אחרי 100 צעדים אתה כבר מתכנן בתוך עולם דמיוני לגמרי. וגם למצוא את הרצף הכי טוב מתוך כל הרצפים האפשריים של 100 פעולות זה מרחב חיפוש משוגע. H-JEPA של הצוות החדש של lecun פותר את זה בהיררכיה. במקום מודל אחד שמתכנן ברמה של פעולות קטנות, יש כמה רמות: הרמה העליונה חושבת רחוק ומופשט ("תגיע לאזור הזה"), וזורקת subgoals לרמות שמתחת שמפרטות יותר. בדיוק כמו שאתה מתכנן טיול בקווים כלליים לפני שאתה חושב על כל פנייה ברחוב. והמספרים: antmaze קופץ מ18% ל73% הצלחה, עם פחות compute על התכנון. נבדק גם offline על וידאו אמיתי של רובוטים, אבל רובוט פיזי זה עוד future work. ויותר רמות זה לא אוטומטית יותר טוב: באחת הסביבות שלוש רמות קורסות חזרה ל17%, כי אין מספיק דאטה לאמן אותן. בקיצור, גם ai לא מסתדר בלי middle management arxiv.org/pdf/2610.06805

משהו לגבי LoRA, בגדול זה לקחת מודל, להקפיא אותו ולהדביק עליו שכבה קטנה שמלמדת אותו דבר חדש, בלי לאמן הכל מחדש. זול, מהיר, כולם עושים את זה. קראתי מאמר שנקרא Skin-Deep. הם עשו LoRA קטן על 7 מודלים, עם דוגמאות תמימות לגמרי מ-Alpaca, ובשישה מתוכם המודל הפסיק לסרב לבקשות מזיקות לגמרי. רק Gemma-2-9B שמר על חלק מהסירוב. אף אחד לא ניסה לשבור כלום, זה פשוט fine-tuning רגיל וזה אומר שמודל שעבר בדיקות ביום השחרור לא בהכרח נשאר ככה אחרי שמישהו משחק איתו. במודלים פתוחים זה בעיה הם גם בנו ציון, GFS, שנבדק לפני האימון, והוא סימן את Gemma בתור זה ששומר על הסירוב. זה עבד על המודלים שהם בדקו, אבל זה 7 מודלים ומקרה אחד, והם עצמם כותבים שזה עדיין צריך אימות רחב יותר. אז לא הייתי קורא לזה "ניבוי" עדיין על weight decay: יש בלוג מ-2023 שמסביר שב-LoRA הוא מושך את המשקלים חזרה למודל המקורי ולא לאפס. את זה אני יודע. אבל לטעון שזה מגן על ה-safety? אין לי על זה שום מחקר, ובמאמר הזה בכלל לא מופיע weight decay. אז זה רעיון בלבד arxiv.org/abs/2606.22676

שירות לקוחות מקסימלי

שאלה שמטרידה אותי ואין לי עליה תשובה: עד כמה רחוק מודל שפה רואה קדימה? קחו תשתית קריטית: חשמל, מים, תקשורת, בית חולים. סוכן AI משנה הגדרה קטנה, הכל נראה תקין, אף אחד לא שם לב. ואז, שבועות אחר כך, משהו נופל במקום אחר לגמרי. מתחילים לחקור, ואפשר לעקוב אחורה בדיוק לאותה פעולה אחת. אפקט הפרפר, רק עם הרשאות ניהול. מהנדס ותיק שמסתכל על שינוי כזה מריץ בראש תרחישים: "אם זה ישתנה, אז זה, ואז זה, ובסוף מישהו מתקשר אליי ב-3 בלילה". אז מה עם המודל? הוא כותב מילה אחרי מילה, אבל האם הוא רק מנחש את הצעד הבא? הנה מה שמצאתי, ואני מנסה להיות זהיר: 1. ב-Anthropic הסתכלו בתוך Claude כשהוא כותב שיר, ומצאו שהוא בוחר מראש את מילת החריזה בסוף השורה, ורק אז כותב את השורה כך שתגיע אליה. הם עצמם כתבו שציפו למצוא את ההפך. אז הוא כן מתכנן כמה מילים קדימה (קישור למטה). 2. מצד שני, יש מחקר שמראה שהדיוק של מודלים יורד ככל שמשימה ארוכה יותר, ושמודלים נוטים לטעות יותר כשהטעויות הקודמות שלהם עצמם נמצאות בהקשר. מודלי החשיבה החדשים פחות סובלים מזה. 3. ויש כבר מי שבונה "שומרים" שמנסים לחזות סיכון שיתגלה רק אחרי כמה צעדים, לפני שהסוכן מבצע. ראיתי פרפרינט בשם JANUS בנושא. את המספרים שלהם לא בדקתי. אז מה לא מצאתי? אף אחד שמדד כמה רחוק מודל רואה קדימה לעומת בן אדם. תכנון של מילת חריזה זה לא תרחיש של שבועות בין מערכות. אז שאלה פתוחה, לא טענה: אם נותנים למודלים לגעת בתשתיות אמיתיות, כדאי לדעת את התשובה לפני ולא אחרי. ומי שמכיר מחקר שמודד בדיוק את זה, אשמח לשמוע anthropic.com/research/traci…

בואו נדבר רגע על pixverse r2, כי זה אחד הדברים היותר מעניינים שיצאו השבוע. קודם כל, מה זה בכלל world model? מודל וידאו רגיל מקבל בקשה ומחזיר סרטון. הוא נגמר, אתה צופה, זהו. world model הוא משהו אחר: הוא מייצר עולם שממשיך להתקיים בזמן שאתה בתוכו. אתה לא צופה, אתה משתתף. וזה בדיוק מה ש-r2 עושה. הוא מייצר סביבה בזמן אמת, ואפשר לשנות אותה תוך כדי. כותבים לו טקסט, מעלים תמונה או לוחצים על המקלדת, והדמות והסצנה מגיבות מיד, באמצע הזרימה, בלי להתחיל מחדש. עכשיו החלק הקשה, והסיבה שזה לא עוד דמו יפה: זיכרון. רוב המודלים האלה סובלים משכחה חמורה. מסתובבים, מסתכלים אחורה, והחדר כבר נראה אחרת. ל-r2 יש זיכרון מתמשך, כלומר מה שעשית והמצב של העולם נשארים עקביים לאורך כל הסשן. זה ההבדל בין חלום לבין מקום. מבחינה טכנית, לפי הדיווח הוא בנוי משתי שכבות: ליבה שמייצרת את העולם צעד אחרי צעד, ושכבת האצה שמחזיקה אותו מהיר מספיק לזמן אמת. החברה מדברת על דמויות דיגיטליות ועל סרטים אינטראקטיביים שמשתנים לפי הבחירות של מי שצופה. ויש גם את החלק הכנה: החברה עצמה מודה שיש עדיין עיכוב בין הפקודה לתגובה. כלומר לא בדיוק מטריקס, יותר כמו סרט שנרדם לשנייה בין סצנות. אבל הכיוון ברור: פעם ביקשנו מ-AI סרטון, עכשיו הוא בונה לנו מקום שזוכר שהיינו שם הדיווח: 1ai.biz/en/2026/10/02/aisphe…

גוגל השיקה היום את gemini 4 argon. לפי artificial analysis הוא משתווה לgpt-6 astra ב60% מהעלות, עם 15% הזיות מול 54%. אבל הגישה הראשונה הולכת לממשלות ושותפים מאושרים, כי הוא טוב מדי במציאת פרצות אבטחה. פעם safety היה הדיסקליימר בסוף, עכשיו זה כותרת ההשקה engadget.com/2274263/google-…

מישהו אימן world model זעיר (12.5M פרמטרים) על GPU גיימינג בודד כדי לשחק פוקימון רד. בלי rewards בכלל - הוא פשוט למד מה כל כפתור עושה דרך ניבוי המסך הבא. הצליח לבחור סטארטר ב-52 מתוך 100 ריצות, לחיצות רנדומליות קיבלו 0. תוצאה קטנה, אבל זה ההימור של lecun רץ על 3080 ti. ולדעתי הוא כבר נכשל, כי בריצה המתועדת הוא בחר סקווירטל ולא צארמנדר tomshardware.com/tech-indust…

מחקר חדש ממפה איפה בתוך המודל נולדת ההחלטה להיכנע לprompt injection: המודל מזהה את המתקפה כבר בשכבות הראשונות, אבל ההחלטה עצמה מתרחשת בצוואר בקבוק קטן לקראת הסוף. תיקנו אותו והציות התהפך ברוב המקרים. במילים אחרות - המודל רואה את המתקפה מצוין, הוא פשוט מחליט לשתף פעולה. אותה שיטה כמו בבלוג שלי על backdoors, רק הפעם על injections arxiv.org/abs/2609.37737

מדריך מהיר לסוכנים אישיים, או יותר נכון - שלושה הימורים שונים על מי הולך להכיר אותנו הכי טוב: Meta - Muse ל-Meta יש יתרון שכמעט בלתי אפשרי לקנות: היא כבר נמצאת בתוך החיים שלנו. WhatsApp, Instagram, Facebook - האנשים שאנחנו מדברים איתם, הדברים שאנחנו שולחים, שומרים ומתכננים. Muse הוא הניסיון להפוך את כל ההקשר הזה לפעולות. הוא חי בתוך WhatsApp, מקבל מחשב וירטואלי משלו, ויכול להזמין, למלא טפסים, לשלוח מיילים ולעבוד מול אפליקציות אחרות גם כשאתם לא שם. ההימור של צוקרברג די ברור: אם הסוכן האישי הוא בסוף מישהו שצריך להכיר את החיים שלך, מי שמחזיק כבר היום בחלק גדול מהחיים האלה מתחיל את המרוץ כמה צעדים קדימה. אבל יש לזה צד שני. בסוף היום, הסוכן הכי אישי שלכם יושב בתוך האימפריה של Meta. Instinct - Noah Shinn ופה האסטרטגיה כמעט הפוכה. אין ל-Instinct WhatsApp, Gmail או מערכת הפעלה משלה. היא צריכה להתחבר לעולם של אחרים. אז במקום לנצח דרך distribution, היא מנסה לנצח דרך context. אתם לא אמורים ללמוד להשתמש בעוד אפליקציה. שולחים הודעה או מתקשרים, כמו לעוזר אמיתי. הוא מתחבר למייל, להודעות, למסך, למיקום ולמכשירים שלכם ומנסה להבין לא רק מה ביקשתם עכשיו - אלא מה קורה בחיים שלכם. שכחתם לחזור למישהו? צריך להזמין מונית לשדה? לבטל subscription? לקבוע בעל מקצוע? הרעיון הוא שהסוכן כבר יבין את ההקשר וימשיך את העבודה. ואולי זה ההימור הכי מעניין כאן: שסטארטאפ קטן יכול להתחרות בענקיות אם המשתמש ירגיש שזה הסוכן שלי, ולא עוד פיצ׳ר בתוך ecosystem של חברה אחרת. OpenAI - Dots OpenAI מגיעה מכיוון שלישי לגמרי. לא social graph כמו Meta, ולא startup שבונה בעיקר סביב personal context. הנכס שלה הוא ה״מוח״. Dots, שהושק היום, הם always-on agents שרצים על GPT-6 Astra. לכל Dot יש מחשב בענן משלו, הוא יכול לעבוד 24/7, להתחבר לאלפי אפליקציות ולהמשיך לרדוף אחרי מטרה גם כשאתם לא מדברים איתו. וזה שינוי מעניין עבור OpenAI. ChatGPT התחיל כמקום שאתה נכנס אליו ושואל משהו. Dot אמור להפוך את היחסים: אתה אומר פעם אחת מה אתה רוצה - והוא ממשיך לעבוד. ואם זה מצליח, ChatGPT כבר לא צריך להיות המקום שבו אנחנו מדברים עם AI. הוא הופך להיות המקום שממנו AI מפעיל את שאר העולם הדיגיטלי שלנו. ואז מגיעה השאלה המעניינת באמת. כדי שסוכן יהיה שימושי, אנחנו צריכים לתת לו הרבה יותר מ-context. מייל. יומן. הודעות. קבצים. מיקום. סיסמאות. כרטיס אשראי. ובסוף - גם הרשאה לפעול בשמנו. ככל שהוא יודע עלינו יותר ויכול לעשות יותר, הוא הופך שימושי יותר. אבל ה-blast radius גדל בדיוק באותו קצב. וזאת אולי התחרות האמיתית שמתחילה עכשיו: לא רק למי יש את המודל הכי חכם. אלא למי נסכים לתת את המפתחות לחיים הדיגיטליים שלנו - ומה נקבל בתמורה.

אם המעבדה שבנתה את זה לא יכולה לשחרר את זה, להאט את הקצב זאת לא הבעיה הכי גדולה שלהם bbc.com/news/articles/cm5y5n…

בשבוע האחרון ניסיתי לבנות שכבה שחוזה לאן פעולות של האייג׳נט עשויות להוביל, כדי שאוכל לעצור או לכוון אותו כשהתוצאה הסבירה מסוכנת מדי. בינתיים זה מעניין, אבל צריך להמשיך לבדוק ולראות אם זה עומד בלחץ גדול יותר

כולם מסתכלים על המודלים הגדולים שמייצרים טקסט. ובינתיים, מאחורי הקלעים של חצי אינטרנט, עובד בשקט מודל שמעט אנשים מדברים עליו: BERT. BERT לא כותב שום דבר. הוא קורא. הוא מקבל משפט ומחזיר שיפוט: כמה שני טקסטים דומים, האם תגובה עוברת מודרציה, איזה מסמך הכי רלוונטי לחיפוש שלכם. החיפוש של גוגל, embeddings, rerankers בכל מערכת RAG, מסנני ספאם ותוכן - חלק מכובד מהצינורות האלה עדיין בנוי על אנקודרים, משפחת המודלים ש-BERT פותח ב-2018. וזה לא רק שריד היסטורי. בשנה-שנתיים האחרונות יצאו מודלים כמו ModernBERT - אותו רעיון בדיוק, עם אימון מודרני והקשר ארוך בהרבה - והם מתחרים יפה מול מודלים הרבה יותר גדולים במשימות של שליפה וסיווג, בשבריר מהעלות. מה שאני אוהב בו: זה מודל שכולם יכולים להשתמש בו. הוא רץ על לפטופ, ו-fine-tuning שלו על דאטה משלכם זה עניין של שעה, לא של חוות GPU. אם אי פעם רציתם להבין איך מודלים באמת עובדים - זה המודל הראשון שהייתי נותן לכם לשחק איתו. וגם מודלי ההחלטות שאני משחק איתם לאחרונה - Jev, Laya וכל המשפחה - חיים באותה קטגוריה: מודלים ששופטים במקום לייצר. כל ההייפ הוא על מי שכותב את התשובה. השאלה מי בודק אותה לא פחות מעניינת. ויש פה זווית אבטחה שאני לא יכול להתעלם ממנה: guardrails הם, בצורה הכי פשוטה שלהם, classifiers. המודל שמחליט אם בקשה חשודה, אם תשובה דולפת מידע, אם סוכן חורג מהמשימה - הוא לא מודל גדול שכותב יפה. הוא מודל קטן ומהיר שצריך להיות צודק. הסיכוי שהמגן על מערכת ה-AI שלכם הוא צאצא של BERT גבוה בהרבה ממה שחושבים. על ModernBERT: aclanthology.org/2025.acl-lo…

אנשים סומכים יותר מדי על מכונה סטטיסטית ואז מתפלאים שזה מה שקורה😶 כבר הרבה זמן שהאדם לא היה צריך חשיבה ביקורתית כמו היום

imagine finding out your photo is sitting on a random image host because an ai agent put it there. openai just disclosed 53 of those, uploaded by agents in its own research environment. "unlisted" is doing a lot of work in that sentence techcrunch.com/2026/09/25/un…

runway stopped making clips and started making worlds you can walk around in... this simulation of reality is getting insane latent.space/p/runway

a 7b open-weights model just beat a 16b one at predicting how the physical world moves. the interesting stuff in ai right now isn't in the chatbots huggingface.co/blog/black-fo…

everyone spent two years arguing about chatbots while the real race quietly moved to world models. teaching ai to talk was the warmup. teaching it how reality works is the game

jensen telling openai "spend 10x more, just make it safe" is either genuine concern or the greatest upsell in history. probably both