Váš , čtyři roky starý generativní startup s umělou inteligencí, který pomáhá společnostem vytvářet digitální repliky jednotlivců pro automatizované personalizované videokampaně, potvrdil čerstvých 18 milionů dolarů ve financování a odhalil, že otevírá svou platformu třetím stranám, aby mohli integrovat svůj software s technologií společnosti. .
Zprávy se objevil v srpnu že Tavus vybral asi 18 milionů dolarů, ale podrobnosti byly poskrovnu. Společnost nyní potvrdila Gadget Insider, že skutečně získala 18 milionů dolarů v kole série A vedeném Škálujte Venture Partners — VC v rané fázi, který dříve podporoval například Box, HubSpot a DocuSign. Mezi další významné investory patří společnost Sequoia, která v loňském roce vedla počáteční kolo společnosti Tavus ve výši 6,1 milionu dolarů, která se účastnila spolu s Y Combinator (YC) a HubSpot.
Tavus využívá generativní umělou inteligenci k podpoře personalizovaných videí s klonováním hlasu a obličeje
Video je středem pozornosti
Generativní hnutí umělé inteligence nejlépe ilustrují textové vyhledávače, jako je ChatGPT, a modely převodu textu na obrázek, jako je DALL-E , které OpenAI spojuje do jediné všestranně zpívající platformy. Ale pokud posledních několik měsíců bylo něco, co by mělo jít, generativní umělá inteligence by mohla být na vrcholu další menší revoluce, přičemž středem zájmu by bylo video.
OpenAI nedávno představila Sora , model převodu textu na video, který by mohl změnit kreativní průmysl, jak ho známe. Není to ale zdaleka jediný hráč ve městě, techničtí giganti, jako je Google, pracují na podobných nástrojích několik let. zmínit se o spoustě startupů, které vyrostly značný kousky změny VC za poslední rok pro různé realizace toho, jak by se generativní umělá inteligence mohla prolínat s videem.
Tavus zase spolupracuje se svými klienty na vytváření replik jednotlivců prostřednictvím klonování hlasu a obličeje. Myšlenka spočívá v tom, že obchodní a marketingové týmy mohou využít Tavus k zasílání personalizovaných videí potenciálním zákazníkům ve velkém, nebo možná produktový tým může vytvořit individualizovaná videa s průvodcem pro nové zákazníky – to vše prostřednictvím jednoduchých textových výzev, které využívají dříve vytvořenou digitální repliku. A integrací Tavusu se systémy třetích stran, jako je Salesforce nebo Mailchimp, mohou společnosti mnohé z toho automatizovat – například zákazníkovi, který vyplní online formulář s žádostí o další informace o produktu, lze okamžitě poslat e-mailem video s oslovením obchodního zástupce. jménem potenciálního zákazníka a vysvětlením dalšího postupu.
Tavus si za svůj krátký život dokázal zajistit několik poměrně známých zákazníků, včetně Salesforce a mateřské společnosti Facebooku Meta, která je spoluzakladatelem a CEO. Hassan Raza říkají, že používají platformu k upsell svým B2B zákazníkům prostřednictvím personalizovaných demo videí.
Tavus jako platforma
Doposud byl Tavus obsluhován prostřednictvím aplikace SaaS, prostřednictvím které si zákazníci vytvářejí své vlastní AI video šablony. Proces registrace vyžaduje jednotlivce, například generálního ředitele nebo vedoucího prodeje,natočit 15minutové video podle scénáře poskytnutého Tavusem.
Tavusovo klonování v akci. Obrazové kredity : Váš
To se pak používá k trénování AI, po kterém uživatel přejde do webového editoru a vybere si, které části videa si přeje personalizovat definováním proměnných – jako je umístění, jméno vedoucího, společnost nebo produkt. Zapojením Tavusu do svého CRM systému mohou společnosti vyladit každou z těchto proměnných tak, aby vyhovovala konkrétnímu zákaznickému segmentu, například těm, kteří projevili zájem o konkrétní produkt.
Editace proměnných. Obrazové kredity : Váš
Společnosti mohou vytvořit stovky těchto replik s různými zapojenými zaměstnanci, s různým zázemím pro různé cílové trhy.
Prostřednictvím editoru v aplikaci je možné generovat libovolný počet různých skriptů, které lze připojit ke každému případu použití – aniž byste museli znovu nahrávat jakékoli původní video.
Tavusovi různí avataři. Obrazové kredity : Váš
I když tento základní produkt SaaS nezmizí, Tavus dnes zvedá víko nové přeplňované verze své technologie spolu s první částí sady vývojářských API, které třetím stranám umožňují integrovat Tavus do jejich vlastních aplikací.
Replikovat
Prvním aspektem nové vývojářské platformy Tavus, která přichází, je její replikové API, které je celé o vytváření fotorealistických digitálních replik plných generování textu na video. Díky tomu může společnost replikovat osobu (např. vedoucího marketingu nebo generálního ředitele) pomocí nového proprietárního modelu vytvořeného Tavusem nazvaným Phoenix, který je založen na metodě hlubokého učení zvané pole neuronového záření (NeRF). To může generovat 3D konstrukci osoby z 2D obrázků během několika minut.
V podstatě vám umožňuje vytvářet celá videa s pouhými dvěma minutami tréninkových dat, což je velký skok vpřed oproti tomu, jak jsme dříve prováděli personalizaci ve velkém, řekl Raza Gadget Insider. A tak teď vše, co musíte udělat, je zaznamenat dvě minuty tréninkových dat a vytvoří vaši úplnou repliku. A jakmile budete mít repliku, můžete vytvořit tolik videí, kolik chcete – z jednoho, dvou nebo tisíce skriptů.
snapchat a.i příběh
Simulace ukazující, jak Tavus mapuje obličej uživatele, aby vytvořil realistickou repliku. Obrazové kredity : Váš
Výstup: Model Tavus’ Phoenix vytváří 3D model pomocí 2D video vstupu přes NeRF. Obrazové kredity : Váš
Inaugurační replika API se opírá o celou funkčnost modelu Phoenix a zachycuje pohyb obličeje jednotlivce, včetně tváří, nosu, obočí a rtů.
Pohyb celého obličeje pohání realismus, přirozenost a kvalitu – když mluvíte, vaše tvář vyjadřuje emoce mimo pohyb vašich rtů, vysvětlil Raza. Pokud chcete ze skriptu vygenerovat celé video – kde mluvíte, takový, který vypadá přirozeně a je neuvěřitelně kvalitní – budete chtít použít replikační API.
Tavus však také vyvíjí řadu dalších API, včetně jednoho speciálně pro synchronizaci rtů, jedno pro dabing a jedno pro provozování hromadných personalizovaných videokampaní.
lip-sync API bude mít podle Razy nižší vstupní náklady a je lepší pro situace, kde není nutný vysoký stupeň kvality a realističnosti.
Dabing API mezitím také používá model synchronizace rtů, ale zahrnuje také vícejazyčné klonování hlasu, což znamená, že jednojazyčný uživatel může posílat videokampaně v libovolném počtu jazyků pomocí svého vlastního hlasu. V tomto případě, vzhledem k tomu, že většina videa zůstane stejná, API umožňuje jednoduché nahrazení pohybů rtů tak, aby byly v souladu s různými zvuky vycházejícími z úst uživatele. To by se mohlo ukázat jako užitečné například pro tvůrce softwarové sady pro úpravu videa, kde chtějí svým uživatelům umožnit přidávat do svých videí synchronizaci rtů, úpravy a dabing.
A pak rozhraní API pro videokampaně v podstatě spojuje replikované rozhraní API spolu s řadou dalších nástrojů – jako je hostování, mapování proměnných, miniatury a analýzy – pro ty, kteří chtějí spustit rozsáhlé videokampaně.
Přinášíme možnost každému vývojáři poskytnout kompletní zážitek z videokampaně hned po vybalení v rámci vlastních řešení, řekl Raza. Zatímco rozhraní API replik a synchronizace rtů jsou spíše „model-as-a-service“, rozhraní API kampaně vám poskytuje nástroje pro snadné vytvoření platformy videokampaní AI.
Raza zůstal ostýchavý, kdo jsou někteří z prvních uživatelů platformy Tavus, ale řekl, že spolupracuje s jednou z největších videoplatforem pro zapojení zákazníků. Chtějí to přinést svým milionům zákazníků, kteří již používají jejich platformu k vytváření videí na denní bázi, řekl Raza.
Deepfake dilema
Instinktivně jsou platformy, jako je Tavus, zralé na zneužití – koneckonců, co někomu brání nahrát již existující video a vytvořit digitální repliku? Deepfakes jsou skutečně rostoucím problémem v rostoucím hnutí AI, ale Raza říká, že mají zavedeny kontroly, aby odvrátily šikanu. Když například uživatel odešle své dvouminutové záběry z tréninku, musí také odeslat konkrétní ústní prohlášení o souhlasu, které je pak zarovnáno se zvukem v záběrech z tréninku, aby se zajistilo, že se bude shodovat.
Tyto kontroly provádíme automaticky a poté provádíme lidskou kontrolu každé repliky, která projde automatickými kontrolami, abychom zajistili bezpečnost, řekl Raza.
Je snadné vidět, jak by to mohlo fungovat s Tavusem jako samostatnou aplikací SaaS, ale nyní, když je to platforma, ke které má přes API přístup libovolný počet společností, kdo potom kontroluje ověřování? No, jak se ukázalo, Tavus je – společnost chce mít ruce na ověřovacím kole, i když pouze poskytuje motor pro vývojáře třetích stran.
Provádíme stejné kontroly a přebíráme odpovědnost i za ověřování pomocí [the] API, pokračoval Raza.
kdy Amazon přestane přijímat venmo
Rozšíření reality
I když se OpenAI stalo téměř veřejnou tváří generativní umělé inteligence, je toho víc než dost prostor pro různé hráče vnést do mixu něco jiného. Ve skutečnosti, zatímco DALL-E a nedávno vydaný model Sora od OpenAI jsou většinou o pomoci lidem vytvářet vizuály z textových výzev, Raza říká, že Tavusův raison d’être je spíše o rozšíření vlastní reality člověka.
Vidíme budoucnost, kde každý chce mít digitální repliku sebe sama; oni to ovládají a mají nad tím plnou pravomoc, řekl Raza. A bude důležité, aby to nakonec zachytilo stále více vaší osobnosti, stále více vašich gest a vlastností. Takto vidíme věci kupředu – budou modely, které vytvoří věci, které neexistují, a pak budou modely, které rozšíří vaši realitu.
S 18 miliony dolarů v bance Raza řekl, že nedávná peněžní injekce bude použita k podpálení ohně, který již hoří ve věžích Tavus.
Jsme společnost zabývající se výzkumem AI, takže chceme být schopni pokračovat ve vývoji na novějších modelech, jako je Phoenix, řekl Raza. Ale také stačí udržet náš růst, neustále jsme měli tuny poptávky. A chceme být schopni neustále najímat naše týmy strojového učení a inženýrství, abychom podporovali naše vývojáře a zákazníky SaaS.