Nach dem erfolgreichen Launch des Segment Anything Models (SAM) im Jahr 2023 legt Meta mit SAM 2 nach. Das Modell ist über Apache 2.0 – einen Open-Source-Software-Lizenzvertrag – für alle nutzbar. SAM 2 erlaubt in Echtzeit die Objektsegmentierung in Bildern und auch in Videos und lässt sich auch mit Prompts steuern. Das Modell lässt sich für verschiedene Zwecke einsetzen, von der simplen Objektbearbeitung über die KI-gesteuerte Generierung neuer Bildeffekte bis hin zur Optimierung von Computer Vision dank vereinfachter Annotation.
Introducing Meta Segment Anything Model 2 (SAM 2) — the first unified model for real-time, promptable object segmentation in images & videos.
— AI at Meta (@AIatMeta) July 29, 2024
SAM 2 is available today under Apache 2.0 so that anyone can use it to build their own experiences
Detailshttps://t.co/eTTDpxI60h pic.twitter.com/mOFiF1kZfE
SAM 2 und SA-V im Überblick: Meta vereinfacht Visual-Bearbeitung
Auf dem eigenen Blog erklärt Meta, was die neue Generation des Segement Anything Models zu bieten hat. Vor allem die erhöhte Präzision bei der Obejktmarkierung in Bildern sowie Videos sticht demnach heraus.
Insbesondere die Anwendungsmöglichkeiten im Bewegtbildbereich wollte Meta optimieren:
SAM was able to learn a general notion of what objects are in images. However, images are only a static snapshot of the dynamic real world in which visual segments can exhibit complex motion. Many important real-world use cases require accurate object segmentation in video data, for example in mixed reality, robotics, autonomous vehicles, and video editing. We believe that a universal segmentation model should be applicable to both images and video […].
Parallel zu SAM 2 hat Meta das Datenset SA-V mit über 51.000 Real-World-Videos gelauncht. Dieses ist über die CC BY 4.0-Lizenz verfügbar und bietet rund 53 Mal mehr Annotationen als das bisher größte Videodatenset für die Objektmarkierung.
Like the original SAM, SAM 2 can be applied out of the box to a diverse range of real-world use cases and we’re excited to see what developers build with it.
— AI at Meta (@AIatMeta) July 29, 2024
Try the demo
Get the code
Auf dem Meta Blog kannst du noch mehr über die technischen Details, Anwendungsoptionen, aber auch Limitierungen von SAM 2 erfahren. Denn in rasanten Szenarien kann die Objektmarkierung auch schon mal verloren gehen.
Ein potentielles Einsatzszenario stellt indes die Integration in AI Glasses dar – die Meta selbst ebenfalls anbietet –, wobei einzelne Objekte in der Sicht der User unmittelbar erkannt und eingeordnet werden könnten.
Nach Umsatzplus und User-Zuwachs:
Meta möchte AI in allen Diensten pushen
Kommentare aus der Community