SAM 2: A revolution in real-time video segmentation

מטא, החברה מאחורי פייסבוק, שוב מפתיעה את עולם הטכנולוגיה עם חידוש מרשים בתחום הראייה הממוחשבת. לאחר ההשקה המרשימה של מודל השפה הפתוח Llama 3.1 405B, החברה פונה עכשיו לעבר תחום חדש לחלוטין עם SAM 2 – מודל חדשני בתחום הסגמנטציה של וידאו בזמן אמת.

מהו SAM 2?

SAM 2 הוא הגרסה החדשה של מודל הסגמנטציה המתקדם SAM (Segment Anything Model). גרסה זו מביאה איתה שיפורים משמעותיים במתן יכולות מתקדמות לניתוח וידאו בזמן אמת, שמותירות את המודלים הקודמים מאחור.

איך זה עובד?

סגמנטציה בזמן אמת: SAM 2 יכול לנתח עד 44 פריימים לשנייה, תוך שמירה על רמת דיוק גבוהה. המודל מסוגל לזהות ולעקוב אחר אובייקטים גם כאשר הם יוצאים מהפריים וחוזרים אליו.
אינטראקטיביות גבוהה: עם SAM 2, אין צורך באימון מחדש. כל מה שצריך לעשות הוא להצביע על האובייקט, והמודל יעקוב אחריו בזמן אמת.
התמודדות עם אובייקטים חדשים: המודל מסוגל להתמודד עם אובייקטים שלא נראו קודם לכן, מה שמאפשר לו להיות גמיש ומדויק בסביבות משתנות.

כיצד להשתמש ב-SAM 2?

כדי לנסות את SAM 2 בעצמכם, תוכלו למצוא את הדמו של המודל באתר של Meta או להוריד את הקוד פתוח מגיטהאב. החברה גם מספקת מאגר של קבצים לבחינת יכולות המודל, מה שמקל על ההתנסות בו.

יתרונות המודל:

מהירות ועיבוד יעיל: SAM 2 מסוגל לעבד סרטונים בצורה מהירה מאוד, עם תמיכה עד 44 פריימים לשנייה.
גמישות ויכולת אינטראקציה: המודל מאפשר התאמה קלה לצרכים שונים מבלי להזדקק לאימון מחדש.
מודול זיכרון מתקדם: היכולת לעקוב אחרי אובייקטים לאורך כל הסרטון, גם כאשר הם יוצאים מהפריים.

השפעה על התחום:

דמוקרטיזציה של הטכנולוגיה: מטא מאפשרת גישה חופשית למודל תחת רישיון Apache 2, מה שיכול לשנות את השוק ולהפוך את הכלים המתקדמים לנגישים יותר למפתחים ולחברות קטנות.
אתגר לחברות מסחריות: מודלים בתשלום עשויים למצוא את עצמם מאוימים מהשחרור החינמי של SAM 2.
הגברת החדשנות: גישה חופשית למודל תאפשר שיתוף פעולה רחב יותר ותוביל לפיתוחים חדשים בתחום הראייה הממוחשבת.

מתנות למפתחים:

מטא לא רק שחררה את המודל אלא גם סיפקה מאגר נתונים עצום שכולל:

51,000 סרטוני וידאו
יותר מ-600,000 מסכות סגמנטציה מתויגות

זהו משאב חשוב למחקר ולפיתוח, אשר יכול לשמש כבסיס לפיתוחים עתידיים בתחום הבינה המלאכותית.

מבט לעתיד:

SAM 2 פותח דלתות חדשות בתחום עיבוד הווידאו והאנימציה, עם אפשרויות שימוש מגוונות כמו מעקב תנועות, החלפת רקעים, ויצירת אנימציות מדויקות יותר.

עם השקת SAM 2, מטא שוב מחזקת את מעמדה כחלוצה בתחום הבינה המלאכותית, והשוק כולו מצפה לראות את הצעדים הבאים שלה.האם SAM 2 יהיה התגשמות החזון לדור חדש של יישומי ראייה ממוחשבת?

הזמן יגיד, אך ברור שהעולם הטכנולוגי עוקב בקפידה אחרי ההתקדמות הבאה של מטא.