Runway introducerer “References” til billeder og video!

Runway har længe været en af mine favoritter når der skal laves AI-drevet video eller billeder. Værktøjet har en meget brugervenlig tilgang til tekst-til-video og nem redigering direkte i browseren. Med den seneste opgradering “References” til Gen-4 modellen får man en ekstremt brugbar funktion der bygger billeder eller video ud fra referencebilleder som du enten kan generere først, finde på nettet eller måske hente ud af familiealbummet.

Hvad er Runway – og hvad kan det?

Men først lidt om Runway. Som du kan læse i en tidligere blogpost er Runway et AI-billed/videoværktøj, der gør det muligt at skabe indhold med minimal teknisk indsats. Du skriver, hvad du gerne vil se, og Runway genererer et billede eller en video for dig – alt sammen online, uden behov for programmer på din computer eller nogen særlige redigeringskompetencer. Den største begrænsning er faktisk din fantasi og evne til at skrive kreativt om hvad du gerne vil se i din videosekvens. Og bemærk at jeg skriver "sekvens" – for lige nu kan Runway kun producere sekvenser af 5 eller 10 sekunder. Min erfaring er at 5 sekunder fungerer bedst. 10 sekunders-klippene har en tendens til at generere mærkelige fejl med hænder eller ben der vender forkert eller andre ikke-virkelighedstro bevægelser.

Sekvenserne kan du så efterfølgende sætte sammen i dit favorit redigeringsværktøj.

Så hvad er “References”?

“References” giver dig mulighed for at samle dine visuelle idéer og inspirationskilder direkte i Runway, mens du arbejder. Det kan fx være:

• Et billede, du gerne vil matche stilen på
• Specifikke omgivelser
• En bestemt person eller karaktér
• Et farvetema eller lysudtryk
• En tidligere video, du gerne vil holde dig tæt på

Du uploader dine referencer og tilføjer dem til projektet – og så har du altid dit visuelle udgangspunkt ved hånden. Funktionen er enkel, men effektiv og giver dig mulighed for at bevare en rød tråd i dine sekvenser eller bruge de samme karakterer i flere forskellige scener.

Herunder kan du se et eksempel hvor jeg uploader tre referencebilleder - Nyhavn, en softice og Lars Løkke. Herefter beder jeg i prompten om at få lavet et billede der viser Lars spise isen i omgivelserne af Nyhavn.

Og vupti - alle tre elementer er nu bygget ind i mit billede.

Dette billede kan jeg så videre bruge som reference for et nyt billede. Så nu uploader jeg istedet et ølglas, det nye billede af Lars der spiser is samt det oprindelige Nyhavn-billede og så beder jeg om at Lars nu istedet sidder med et glas øl og jeg ændrer samtidig perspektivet lidt så billedet tages oppe fra.

Det rigtig fede ved references er videoproduktion - så nu tager jeg det billede jeg har genereret af Lars der spiser is - og beder om at få et 5-sekunders videoklip ud fra dette billede og se så resultatet herunder... 

Hvorfor er det særligt?

Ingen andre af de populære AI-videoværktøjer – heller ikke Sora fra OpenAI – tilbyder pt noget tilsvarende. I mange andre værktøjer genererer du ét klip ad gangen, men du mister hurtigt det visuelle overblik eller konsistens, når du skal lave flere klip i samme stil eller med samme persongalleri.

Du kan se mere i Runway's egen videoguide herunder:

-