Stabiles Video 4D (SV4D) ist ein generatives Modell auf der Grundlage von Stable Video Diffusion (SVD) und Stable Video 3D (SV3D), das aus einem Video mit einer Ansicht eines Objekts mehrere Videos mit neuer Ansicht (4D-Bildmatrix) dieses Objekts erzeugt.
Was ist Stable Video 4D?
Stability AI hat eine neue generative KI namens Stable Video 4D vorgestellt, die die Möglichkeiten der Videogenerierung erheblich erweitert. Das Modell nimmt Videoeingaben entgegen und generiert mehrere neue Videos aus acht verschiedenen Perspektiven. Der Hauptvorteil von Stable Video 4D besteht darin, dass es die Synthese von Videoansichten und die Videogenerierung in einem einzigen Prozess kombiniert, was die 3D-Konsistenz und die zeitliche Glätte verbessert.
Das Stable Video 4D Model ist darauf trainiert, 40 Frames (5 Videoframes x 8 Kameraansichten) mit einer Auflösung von 576×576 zu erzeugen, wenn 5 Referenzframes der gleichen Größe vorliegen. Um eine 5×8-Bildmatrix aus einem Video mit einer einzigen Ansicht zu erzeugen, lassen Sie zunächst SV3D auf dem ersten Eingabebild laufen, um ein Orbitalvideo zu erzeugen, das einem bestimmten Kamerapfad folgt, und verwenden dann das Orbitalvideo als Referenzansichten von SV4D und das Eingabevideo als Referenzbilder als Konditionierung für das 4D-Sampling. Um längere Videos mit neuen Ansichten zu generieren, verwenden wir die ersten generierten Frames als Anker und sampeln (interpolieren) dann die restlichen Frames dicht. Weitere Einzelheiten finden Sie in unserem [technischen Bericht] und.
Wichtigste Erkenntnisse:
Status und Leistung
Stable Video 4D ist in der Lage, 5-Bilder-Videos aus 8 Blickwinkeln in etwa 40 Sekunden zu erzeugen, und der gesamte 4D-Optimierungsprozess dauert etwa 20 bis 25 Minuten. Es wird erwartet, dass die Technologie ein breites Spektrum an Anwendungsmöglichkeiten in den Bereichen Spieleentwicklung, Videobearbeitung und virtuelle Realität bietet, wo Fachleute Objekte aus mehreren Perspektiven betrachten können, um den Realismus und die Immersion ihrer Produkte zu verbessern.
Technologische Innovation
Im Gegensatz zu früheren Methoden, die eine Abtastung von Bilddiffusionsmodellen, Videodiffusionsmodellen und Multiview-Diffusionsmodellen erforderten, erzeugt SV4D gleichzeitig mehrere neue Videos mit unterschiedlichen Blickwinkeln, was die Konsistenz der räumlichen und zeitlichen Achsen erheblich verbessert und die Konsistenz des Objekts über mehrere Blickwinkel und Zeitpunkte hinweg gewährleistet.
Anwendungsperspektiven
Das leichtgewichtige 4D-Optimierungs-Framework von SV4D bringt Innovationen für die virtuelle Realität, die Videobearbeitung und andere Bereiche, und wie ein besseres Gleichgewicht zwischen visuellen Effekten und Kreativität erreicht werden kann, wird sich in Zukunft zeigen.
