Stabiele video 4D (SV4D) is een generatief model gebaseerd op Stable Video Diffusion (SVD) en Stable Video 3D (SV3D), dat een single-view video van een object opneemt en meerdere novel-view video's (4D beeldmatrix) van dat object genereert.
Wat is Stable Video 4D?
Stability AI heeft een nieuwe generatieve AI geïntroduceerd genaamd Stable Video 4D, die de mogelijkheden voor het genereren van video's aanzienlijk uitbreidt. Het model accepteert video-input en genereert verschillende nieuwe video's vanuit acht verschillende perspectieven. Het belangrijkste voordeel van Stable Video 4D is dat het de synthese van videovisies en het genereren van video's in één proces combineert, wat de 3D-consistentie en temporele vloeiendheid verbetert.
Stable Video 4D Model is getraind om 40 frames (5 videoframes x 8 cameraweergaven) te genereren met een resolutie van 576×576, gegeven 5 referentieframes van dezelfde grootte. Om een 5×8 afbeeldingsmatrix te genereren uit een video met één beeld, voert u eerst SV3D uit op het eerste inputframe om een baanvideo te genereren die een gespecificeerd camerapad volgt. Vervolgens gebruikt u de baanvideo als SV4D's referentiebeelden en de inputvideo als referentieframes, als conditionering voor 4D sampling. Om langere novel-view video's te genereren, gebruiken we de eerste gegenereerde frames als ankers en samplen (interpoleren) we de resterende frames dicht. Bekijk ons [tech report] voor meer informatie.
Belangrijkste opmerkingen:
Status en prestaties
Stable Video 4D kan in ongeveer 40 seconden 5-frames video's genereren vanuit 8 gezichtspunten en het hele 4D-optimalisatieproces duurt ongeveer 20 tot 25 minuten. De technologie zal naar verwachting een breed scala aan toepassingsmogelijkheden bieden op het gebied van game-ontwikkeling, videobewerking en virtual reality, waar professionals objecten vanuit meerdere perspectieven kunnen bekijken om het realisme en de immersie van hun producten te verbeteren.
Technologische innovatie
In tegenstelling tot eerdere methoden die gebruikmaakten van diffusiemodellen voor afbeeldingen, diffusiemodellen voor video en diffusiemodellen voor meerdere perspectieven, genereert SV4D tegelijkertijd video's met meerdere nieuwe perspectieven, wat de consistentie van ruimtelijke en temporele assen aanzienlijk verbetert en de consistentie van het uiterlijk van het object over meerdere perspectieven en tijdstempels garandeert.
Toepassingsperspectieven
SV4D's lichtgewicht 4D optimalisatie raamwerk brengt innovatie naar virtual reality, videobewerking en andere velden, en hoe een betere balans te bereiken tussen visuele effecten en creativiteit zal in de toekomst worden gerealiseerd.
