Dein wichtigster Touchpoint zur Digitalbranche.
Dein wichtigster Touchpoint zur Digitalbranche.
Technologie
SAM 2 von Meta ist da: Objektbearbeitung in Videos und Fotos auf neuem Level

SAM 2 von Meta ist da: Objektbearbeitung in Videos und Fotos auf neuem Level

Niklas Lewanczik | 31.07.24

Mit SAM 2 können User dank der Meta AI jetzt Objekte in Bildern und Videos noch zielsicherer in Echtzeit segmentieren. Ein riesiges neues Datenset soll die Computer Vision zudem optimieren.

Nach dem erfolgreichen Launch des Segment Anything Models (SAM) im Jahr 2023 legt Meta mit SAM 2 nach. Das Modell ist über Apache 2.0 – einen Open-Source-Software-Lizenzvertrag – für alle nutzbar. SAM 2 erlaubt in Echtzeit die Objektsegmentierung in Bildern und auch in Videos und lässt sich auch mit Prompts steuern. Das Modell lässt sich für verschiedene Zwecke einsetzen, von der simplen Objektbearbeitung über die KI-gesteuerte Generierung neuer Bildeffekte bis hin zur Optimierung von Computer Vision dank vereinfachter Annotation.

SAM 2 und SA-V im Überblick: Meta vereinfacht Visual-Bearbeitung

Auf dem eigenen Blog erklärt Meta, was die neue Generation des Segement Anything Models zu bieten hat. Vor allem die erhöhte Präzision bei der Obejktmarkierung in Bildern sowie Videos sticht demnach heraus.

Die Objektmarkierung wird mit SAM 2 präziser als mit SAM, © Meta, Fische im Meer, bunt, eine differenzierte Objektmarkierung mit Plussymbol und roter Einfärbung, rechts und links
Die Objektmarkierung wird mit SAM 2 präziser als mit SAM, © Meta
© Meta

Insbesondere die Anwendungsmöglichkeiten im Bewegtbildbereich wollte Meta optimieren:

SAM was able to learn a general notion of what objects are in images. However, images are only a static snapshot of the dynamic real world in which visual segments can exhibit complex motion. Many important real-world use cases require accurate object segmentation in video data, for example in mixed reality, robotics, autonomous vehicles, and video editing. We believe that a universal segmentation model should be applicable to both images and video […].

Parallel zu SAM 2 hat Meta das Datenset SA-V mit über 51.000 Real-World-Videos gelauncht. Dieses ist über die CC BY 4.0-Lizenz verfügbar und bietet rund 53 Mal mehr Annotationen als das bisher größte Videodatenset für die Objektmarkierung.

Auf dem Meta Blog kannst du noch mehr über die technischen Details, Anwendungsoptionen, aber auch Limitierungen von SAM 2 erfahren. Denn in rasanten Szenarien kann die Objektmarkierung auch schon mal verloren gehen.

Ein potentielles Einsatzszenario stellt indes die Integration in AI Glasses dar – die Meta selbst ebenfalls anbietet –, wobei einzelne Objekte in der Sicht der User unmittelbar erkannt und eingeordnet werden könnten.

Nach Umsatzplus und User-Zuwachs:

Meta möchte AI in allen Diensten pushen

© Penfer - Unsplash, Meta-Schriftzug, neonleuchtend in Rosa, blauer Hintergrund
© Penfer – Unsplash

Kommentare aus der Community

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*
*
Aktuelle Whitepaper
Innovative Strategien für nachhaltige Kund:innenbindung WHITEPAPER:
Innovative Strategien für nachhaltige Kund:innenbindung
Local Search Trends 2024 WHITEPAPER:
Local Search Trends 2024
KI-Reise mit den richtigen Tools und Strategien WHITEPAPER:
KI-Reise mit den richtigen Tools und Strategien
HR KPI Cheat Sheet WHITEPAPER:
HR KPI Cheat Sheet

Über 30.000 Subscriber können nicht irren. Melde dich jetzt zu unserem NEWSLETTER an: