SAM 2: מהפכה בתחום סגמנטציית הווידאו בזמן אמת

כתבה. SAM 2: מהפכה בתחום סגמנטציית הווידאו בזמן אמת.

אני מסדר לכם את SAM 2 כמו מפרט, לא כמו הכרזה. מטא, החברה מאחורי פייסבוק, שמה כאן כלי נוסף בראייה ממוחשבת. אחרי ההשקה של מודל השפה הפתוח Llama 3.1 405B, החברה פונה לתחום אחר עם SAM 2, מודל לסגמנטציה של וידאו בזמן אמת.

מהו SAM 2? זו הגרסה החדשה של מודל הסגמנטציה SAM, ראשי תיבות של Segment Anything Model. בגרסה הזו יש שיפור בניתוח וידאו בזמן אמת, והמודלים הקודמים נשארים מאחור ביכולת הזו.

איך זה עובד אצלכם? בסגמנטציה בזמן אמת, SAM 2 יכול לנתח עד 44 פריימים לשנייה, ועדיין לשמור על דיוק גבוה. המודל מזהה אובייקט ועוקב אחריו גם כשהוא יוצא מהפריים וחוזר אליו. אין צורך באימון מחדש. אתם מצביעים על האובייקט, והמודל עוקב בזמן אמת. הוא גם מתמודד עם אובייקטים שלא נראו קודם, ולכן הוא גמיש כשהסביבה משתנה.

אם אתם רוצים לנסות בעצמכם, הדמו נמצא באתר של Meta, ואפשר להוריד את הקוד הפתוח מגיטהאב. החברה גם נותנת מאגר קבצים לבדיקת היכולות, כדי שההתנסות תהיה פשוטה יותר.

על המהירות: SAM 2 מעבד סרטונים מהר, עם תמיכה עד 44 פריימים לשנייה. אפשר להתאים אותו לצרכים שונים בלי אימון מחדש. מודול הזיכרון עוקב אחרי אובייקטים לאורך כל הסרטון, גם כשהם יוצאים מהפריים.

על הרישיון: מטא נותנת גישה חופשית תחת Apache 2. זה יכול לשנות את השוק, כי כלים מתקדמים נעשים נגישים יותר למפתחים ולחברות קטנות. מודלים בתשלום עלולים למצוא את עצמם מול השחרור החינמי של SAM 2. גישה חופשית גם פותחת שיתוף פעולה רחב יותר, ופיתוחים חדשים בראייה ממוחשבת.

למפתחים יש כאן לא רק את המודל. המאגר כולל 51,000 סרטוני וידאו, ויותר מ-600,000 מסכות סגמנטציה מתויגות. זה משאב למחקר ולפיתוח, ובסיס להמשך בתחום הבינה המלאכותית.

SAM 2 נוגע לעיבוד וידאו ולאנימציה: מעקב תנועות, החלפת רקעים, ואנימציות מדויקות יותר. עם ההשקה הזו מטא שוב מחזקת את מעמדה כחלוצה בבינה מלאכותית, והשוק מחכה לצעדים הבאים. האם SAM 2 יהיה דור חדש של יישומי ראייה ממוחשבת? הזמן יגיד. אני כן אומר שהעולם הטכנולוגי עוקב אחרי ההתקדמות הבאה של מטא.

אני חוזר על שלוש נקודות כדי שלא ילכו לאיבוד. מטא משחררת את SAM 2 ברישיון Apache 2, אחרי Llama 3.1 405B. אתם מצביעים, והמעקב רץ עד 44 פריימים לשנייה, עם מאגר של 51,000 סרטונים ויותר מ-600,000 מסכות.