SAM 2 von Meta ist da: Objektbearbeitung in Videos und Fotos auf neuem Level

SAM 2 und SA-V im Überblick: Meta vereinfacht Visual-Bearbeitung

Auf dem eigenen Blog erklärt Meta, was die neue Generation des Segement Anything Models zu bieten hat. Vor allem die erhöhte Präzision bei der Obejktmarkierung in Bildern sowie Videos sticht demnach heraus.

Insbesondere die Anwendungsmöglichkeiten im Bewegtbildbereich wollte Meta optimieren:

SAM was able to learn a general notion of what objects are in images. However, images are only a static snapshot of the dynamic real world in which visual segments can exhibit complex motion. Many important real-world use cases require accurate object segmentation in video data, for example in mixed reality, robotics, autonomous vehicles, and video editing. We believe that a universal segmentation model should be applicable to both images and video […].

Parallel zu SAM 2 hat Meta das Datenset SA-V mit über 51.000 Real-World-Videos gelauncht. Dieses ist über die CC BY 4.0-Lizenz verfügbar und bietet rund 53 Mal mehr Annotationen als das bisher größte Videodatenset für die Objektmarkierung.

Like the original SAM, SAM 2 can be applied out of the box to a diverse range of real-world use cases and we’re excited to see what developers build with it.

Try the demo ➡️ https://t.co/lDmWrzA2tZ
Get the code ➡️ https://t.co/qWCPI43A6I

— AI at Meta (@AIatMeta) July 29, 2024

Auf dem Meta Blog kannst du noch mehr über die technischen Details, Anwendungsoptionen, aber auch Limitierungen von SAM 2 erfahren. Denn in rasanten Szenarien kann die Objektmarkierung auch schon mal verloren gehen.

Ein potentielles Einsatzszenario stellt indes die Integration in AI Glasses dar – die Meta selbst ebenfalls anbietet –, wobei einzelne Objekte in der Sicht der User unmittelbar erkannt und eingeordnet werden könnten.

---

Nach Umsatzplus und User-Zuwachs:

Meta möchte AI in allen Diensten pushen