OpenAI dnes na své vůbec první vývojářské konferenci představilo GPT-4 Turbo, vylepšenou verzi svého vlajkového modelu AI pro generování textu, GPT-4, o kterém společnost tvrdí, že je výkonnější a levnější.
GPT-4 Turbo je k dispozici ve dvou verzích: jedna je striktně analyzující text a druhá verze, která rozumí kontextu textu i obrázků. Model pro analýzu textu je k dispozici v náhledu prostřednictvím rozhraní API počínaje dneškem a OpenAI říká, že plánuje oba zpřístupnit v nadcházejících týdnech.
Jejich cena je 0,01 USD za 1 000 vstupních tokenů (~ 750 slov), kde tokeny představují kousky surového textu – např. slovo fantastické rozdělené na fan, tas a tic) a 0,03 USD za 1 000 výstupních tokenů. ( Vstup tokeny jsou tokeny vložené do modelu, zatímco výstup tokeny jsou tokeny, které model generuje na základě vstupních tokenů.) Cena GPT-4 Turbo pro zpracování obrazu bude záviset na velikosti obrazu. Například předání obrázku s 1080×1080 pixely do GPT-4 Turbo bude stát 0,00765 $, říká OpenAI.
Optimalizovali jsme výkon, takže jsme schopni nabídnout GPT-4 Turbo za 3x levnější cenu za vstupní tokeny a 2x levnější cenu za výstupní tokeny ve srovnání s GPT-4, píše OpenAI blogový příspěvek sdíleno s Gadget Insider dnes ráno.
GPT-4 Turbo se může pochlubit několika vylepšeními oproti GPT-4 – jedním z nich je novější znalostní báze, ze které lze čerpat při odpovídání na požadavky.
Stejně jako všechny jazykové modely je GPT-4 Turbo v podstatě statistický nástroj k předpovídání slov. Na základě obrovského množství příkladů, většinou z webu, se GPT-4 Turbo naučil, jak pravděpodobně se slova vyskytují na základě vzorů, včetně sémantického kontextu okolního textu. Například vzhledem k tomu, že typický e-mail končí fragmentem Těšíme se... GPT-4 Turbo jej může doplnit s ... až se ozve.
hero session gopro
GPT-4 byl trénován na webových datech až do září 2021, ale hranice znalostí GPT-4 Turbo je duben 2023. To by mělo znamenat, že otázky týkající se nedávných událostí – alespoň událostí, které se staly před novým datem uzávěrky – přinesou přesnější odpovědi.
GPT-4 Turbo má také rozšířené kontextové okno.
Kontextové okno, měřené v tokenech, odkazuje na text, který model zvažuje před generováním dalšího textu. Modely s malými kontextovými okny mají tendenci zapomínat na obsah i velmi nedávných konverzací, což je vede k odklonu od tématu – často problematickým způsobem.
GPT-4 Turbo nabízí kontextové okno se 128 000 tokeny – čtyřikrát větší než GPT-4 a největší kontextové okno ze všech komerčně dostupných modelů, překonávající dokonce i Anthropic. Claude 2 . (Claude 2 podporuje až 100 000 tokenů; Anthropic tvrdí, že experimentuje s kontextovým oknem s 200 000 tokeny, ale zatím ho veřejně nezveřejnil.) Ve skutečnosti 128 000 tokenů znamená přibližně 100 000 slov nebo 300 stránek, což je pro srovnání délka of Wuthering Heights, Gulliver's Travels a Harry Potter and the Prisoner of Azkaban.
A GPT-4 Turbo podporuje nový režim JSON, který zajišťuje, že model odpovídá validním JSON — otevřený standardní formát souboru a formát pro výměnu dat. To je užitečné ve webových aplikacích, které přenášejí data, jako jsou ty, které odesílají data ze serveru klientovi, aby je bylo možné zobrazit na webové stránce, říká OpenAI. Další související nové parametry umožní vývojářům zajistit, aby model častěji vracel konzistentní dokončení a – pro více specializované aplikace – log pravděpodobnosti pro nejpravděpodobnější výstupní tokeny generované GPT-4 Turbo.
GPT-4 Turbo funguje lépe než naše předchozí modely u úkolů, které vyžadují pečlivé dodržování pokynů, jako je generování specifických formátů (např. „vždy odpovídat v XML“), píše OpenAI. A GPT-4 Turbo pravděpodobně vrátí správné funkční parametry.
Upgrady GPT-4
OpenAI nezanedbala GPT-4 při zavádění GPT-4 Turbo.
Dnes společnost spouští experimentální přístupový program pro jemné ladění GPT-4. Na rozdíl od programu jemného ladění pro GPT-3.5, předchůdce GPT-4, bude program GPT-4 zahrnovat více dohledu a vedení od týmů OpenAI, říká společnost – hlavně kvůli technickým překážkám.
Předběžné výsledky naznačují, že jemné doladění GPT-4 vyžaduje více práce k dosažení smysluplných vylepšení oproti základnímu modelu ve srovnání se značnými zisky dosaženými s jemným vyladěním GPT-3.5, píše OpenAI v blogovém příspěvku.
Jinde OpenAI oznámila, že zdvojnásobuje limit sazby za tokeny za minutu pro všechny platící zákazníky GPT-4. Cena však zůstane stejná na 0,03 USD za vstupní token a 0,06 USD za výstupní token (pro model GPT-4 s kontextovým oknem 8 000 tokenů) nebo 0,06 USD za vstupní token a 0,012 USD za výstupní token (pro GPT-4 s 32 000- kontextové okno tokenu).