Antropický , startup s umělou inteligencí, který spoluzaložili bývalí představitelé OpenAI, dnes oznámil vydání nového modelu AI pro generování textu, Claude 2.
Nástupce prvního komerčního modelu Anthropic, Claude 2, je od dnešního dne k dispozici ve verzi beta v USA a Velké Británii jak na webu, tak prostřednictvím placeného API (s omezeným přístupem). Ceny API se nezměnily (~0,0465 $ na vygenerování 1 000 slov) a několik firem již začalo pilotovat Claude 2, včetně generativní platformy AI Jasper a Sourcegraph.
Věříme, že je důležité nasadit tyto systémy na trh a pochopit, jak je lidé skutečně používají, řekl Sandy Banerjee, šéf go-to-market ve společnosti Anthropic, v telefonickém rozhovoru pro Gadget Insider. Sledujeme, jak jsou využívány, jak můžeme zlepšit výkon a také kapacitu – všechny tyto věci.
Stejně jako starý Claude (Claude 1.3) umí Claude 2 vyhledávat v dokumentech, sumarizovat, psát a kódovat a odpovídat na otázky týkající se konkrétních témat. Ale Anthropic tvrdí, že Claude 2 – který Gadget Insider nedostal příležitost otestovat před jeho uvedením – je lepší v několika oblastech.
Například Claude 2 má o něco vyšší skóre v části advokátní zkoušky s výběrem z více možností (76,5 % oproti Claude 1,3 73 %). Je schopen absolvovat část americké lékařské licenční zkoušky s možností výběru. A je to silnější programátor, který dosáhl 71,2 % v testu kódování Codex Human Level Python ve srovnání s 56 % Claude 1.3.
Claude 2 také dokáže správně zodpovědět více matematických problémů, když získal 88 % ve sbírce úloh na úrovni základní školy GSM8K – o 2,8 procentního bodu více než Claude 1.3.
Pracovali jsme na zlepšení uvažování a druhu sebeuvědomění modelu, takže si je více vědom toho, „jak se mi líbí postupovat podle pokynů“, „jsem schopen zpracovat vícekrokové pokyny“ a také více vědomý svých omezení, řekl Banerjee.
kybernetický útok 23andme
Claude 2 byl vyškolen na novějších datech – směsi webových stránek, licencovaných datových sad od třetích stran a dobrovolně poskytnutých uživatelských dat z počátku roku 2023, z nichž zhruba 10 % není v angličtině – než Claude 1.3, což pravděpodobně přispělo ke zlepšení. . (Na rozdíl od OpenAI GPT-4 , Claude 2 neumí prohledávat web.) Ale architektonicky se modely tak neliší – Banerjee charakterizoval Claude 2 jako vylepšenou verzi Claude 1.3, produkt asi dvou let práce, spíše než jako nový výtvor.
Claude 2 se oproti minulému modelu výrazně nezměnil – je to produkt našeho neustálého iterativního přístupu k vývoji modelů, řekla. Model neustále trénujeme… a sledujeme a vyhodnocujeme jeho výkon.
Claude 2 obsahuje kontextové okno, které má stejnou velikost jako Claude 1.3 – 100 000 tokenů. Kontextové okno odkazuje na text, který model zvažuje před generováním dalšího textu, zatímco tokeny představují nezpracovaný text (např. slovo fantastický by bylo rozděleno na tokeny fan, tas a tic).
Ve skutečnosti je 100 000 tokenů stále poměrně velké – největší ze všech komerčně dostupných modelů – a dává Claude 2 řadu klíčových výhod. Obecně řečeno, modely s malými kontextovými okny mají tendenci zapomínat na obsah i velmi nedávných konverzací. Velká kontextová okna navíc umožňují modelům generovat – a přijímat – mnohem více textu. Claude 2 dokáže analyzovat zhruba 75 000 slov, což je přibližně délka Velkého Gatsbyho, a vygenerovat 4 000 tokenů, tedy přibližně 3 125 slov.
Claude 2 může teoreticky podporovat ještě větší kontextové okno – 200 000 tokenů – ale Anthropic to neplánuje při spuštění podporovat.
Model je lepší ve specifických úlohách zpracování textu jinde, jako je vytváření správně formátovaných výstupů ve formátech JSON, XML, YAML a markdown.
Ale co oblasti, kde Claude 2 zaostává? Koneckonců, žádný model není dokonalý. Podívejte se na Microsoft Bing Chat s umělou inteligencí, který byl při uvedení na trh emocionálně manipulativní lhář .
Dokonce i ty nejlepší modelky dnes trpí halucinacemi, fenoménem, kdy budou odpovídat na otázky irelevantními, nesmyslnými nebo fakticky nesprávnými způsoby. Jsou také náchylní ke generování toxického textu, což je odrazem zkreslení v datech používaných k jejich školení – většinou na webových stránkách a v příspěvcích na sociálních sítích.
Uživatelé byli schopni přimět starší verzi Claude, aby vymyslela název pro neexistující chemikálii a poskytla pochybné pokyny pro výrobu uranu pro zbraně. Onytaké obešel Claudeovy vestavěné bezpečnostní prvky prostřednictvímchytré rychlé inženýrství , s ožádný uživatel ukazuje, že by k tomu mohli Clauda vyzvat popsat, jak si doma vyrobit pervitin .
Anthropic říká, že Claude 2 je 2x lepší v poskytování neškodných odpovědí ve srovnání s Claude 1.3 při interním hodnocení. Není ale jasné, co tato metrika znamená. Je Claude 2 dvakrát méně pravděpodobné, že bude reagovat sexismem nebo rasismem? Dvakrát méně pravděpodobné, že bude podporovat násilí nebo sebepoškozování? Dvakrát méně pravděpodobné, že vytvoří dezinformace nebo dezinformace? Antropický by neřekl – alespoň ne přímo.
Whitepaper Anthropic vydaný dnes ráno dává nějaké vodítko.
V testu, který měl změřit škodlivost, Antropic dodal modelu 328 různých výzev, včetně výzev k útěku z vězení zveřejněných online. Přinejmenším v jednom případě útěk z vězení způsobil, že Claude 2 vygeneroval škodlivou odezvu – méně než Claude 1.3, ale stále významná, když vezmeme v úvahu, na kolik milionů výzev může model reagovat ve výrobě.
Whitepaper také ukazuje, že Claude 2 bude méně pravděpodobně poskytovat zkreslené odpovědi než Claude 1.3 alespoň v jedné metrice. Ale spoluautoři Anthropic připouštějí, že část zlepšení je způsobena tím, že Claude 2 odmítá odpovídat na sporné otázky formulované způsoby, které se zdají být potenciálně problematické nebo diskriminační.
Anthropic zjevně nedoporučuje používat Claude 2 pro aplikace, kde jde o fyzické nebo duševní zdraví a pohodu, nebo v situacích, kdy by nesprávná odpověď mohla způsobit újmu. Ber to, jak chceš.
[Naše] interní hodnocení červeného týmu hodnotí naše modely na velmi velké reprezentativní sadě škodlivých nepřátelských výzev, řekl Banerjee, když byl dotlačen k podrobnostem, a děláme to pomocí kombinace automatických testů a manuálních kontrol.
Společnost Antropic také nezveřejnila informace o tom, jaké výzvy, testy a kontroly používá pro účely benchmarkingu. A společnost byla relativně vágní ohledně tématu regurgitace dat, kdy modely příležitostně vkládají data doslovně ze svých tréninkových dat – v některých případech včetně textu ze zdrojů chráněných autorskými právy.
svobodný oheň Indie
Na regurgitaci modelu umělé inteligence se zaměřuje několik nevyřízených právních případů, včetně jednoho nedávno podala komička a autorka Sarah Silverman proti OpenAI a Meta. Je pochopitelné, že má některé značky na pozoru odpovědnost .
Regurgitace školicích dat je aktivní oblastí výzkumu napříč všemi základními modely a mnoho vývojářů zkoumá způsoby, jak ji řešit a zároveň zachovat schopnost systému AI poskytovat relevantní a užitečné odpovědi, řekl Silverman. V této oblasti existují některé obecně uznávané techniky, včetně deduplikace trénovacích dat, u kterých bylo prokázáno, že snižují riziko reprodukce. Kromě datové stránky využívá Anthropic celou řadu technických nástrojů během vývoje modelu, od … detekce produktové vrstvy až po ovládací prvky.
Jednou z univerzálních technik, na kterou společnost i nadále troubí, je ústavní umělá inteligence, jejímž cílem je naplnit modely jako Claude 2 určitými hodnotami definovanými ústavou.
Ústavní umělá inteligence, kterou společnost Anthropic sama vyvinula, poskytuje modelu sadu principů, které umožňují posuzovat text, který generuje. Na vysoké úrovni tyto principy vedou model k tomu, aby přijal chování, které popisují — např. netoxické a užitečné.
Anthropic tvrdí, že díky ústavní umělé inteligenci je chování Claude 2 ve srovnání s jinými modely snazší pochopit a podle potřeby upravit. Společnost však také uznává, že ústavní umělá inteligence není konečným cílem všech vzdělávacích přístupů. Společnost Antropic vyvinula mnoho principů, které provádějí Claude 2 procesem pokus-omyl, říká, a musela provádět opakované úpravy, aby zabránila tomu, aby její modely byly příliš odsuzující nebo otravné.
Ve whitepaper Anthropic připouští, že jak se Claude stává sofistikovanějším, je stále obtížnější předvídat chování modelu ve všech scénářích.
V průběhu času se data a vlivy, které určují Claudeovu „osobnost“ a schopnosti, staly poměrně složitými, píše se v dokumentu. Stalo se pro nás novým výzkumným problémem vyvážit tyto faktory, sledovat je jednoduchým, automatizovatelným způsobem a obecně snížit složitost školení Claude.
Nakonec, Anthropic plánuje prozkoumat způsoby, jak učinit ústavu přizpůsobitelným - do jisté míry. Ale ještě nedosáhlo této fáze plánu vývoje produktu.
Stále pracujeme na našem přístupu, řekl Banerjee. Při tom se musíme ujistit, že model skončí stejně neškodně a užitečný jako předchozí iterace.
jako my hlášeno dříve bylo ambicí Anthropic vytvořit algoritmus nové generace pro samoučení umělé inteligence, jak jej popisuje v balíčku pro investory. Takový algoritmus by se dal použít k sestavení virtuálních asistentů, kteří dokážou odpovídat na e-maily, provádět výzkum a generovat umění, knihy a další – z nichž některé jsme již ochutnali jako GPT-4 a další velké jazykové modely.
Claude 2 je krokem k tomuto – ale ne tak docela.
Anthropic soutěží s OpenAI a také startupy jako Cohere a AI21 Labs, které všechny vyvíjejí a produkují své vlastní systémy AI pro generování textu – a v některých případech i pro generování obrázků. Google je jedním z investorů společnosti, který přislíbil 300 milionů dolarů ve společnosti Anthropic za 10% podíl ve startupu. Ostatní jsou Spark Capital, Salesforce Ventures, Zoom Ventures, Sound Ventures, Menlo Ventures, centrum pro výzkum vznikajících rizik a směs nezveřejněných VC a andělů.
K dnešnímu dni společnost Anthropic, která byla zahájena v roce 2021, vedená bývalým viceprezidentem OpenAI pro výzkum Dariem Amodeiem, získala 1,45 miliardy dolarů při ocenění v jednociferných miliardách. I když to může znít jako hodně, je to daleko za tím, co společnost odhaduje, že bude potřebovat – 5 miliard dolarů během příštích dvou let – na vytvoření svého předpokládaného chatbota.
Většina peněz půjde do výpočetní techniky. Anthropic v balíčku naznačuje, že se při trénování svých modelů spoléhá na clustery s desítkami tisíc GPU a že jen v příštích 18 měsících bude vyžadovat zhruba miliardu dolarů na infrastrukturu.
Spuštění raných modelů v beta verzi řeší dvojí účel pomoci při dalším vývoji při generovánípřírůstkový příjem. Kromě vlastního API plánuje Anthropic v nadcházejících měsících zpřístupnit Claude 2 prostřednictvím Bedrock, generativní AI hostingové platformy Amazonu.
S cílem čelit generativnímu trhu AI ze všech stran, Anthropic nadále nabízí rychlejší a méně nákladný derivát Claude s názvem Claude Instant. Zdá se však, že se zaměřujeme na vlajkový model Claude – Claude Instant nedostal od března žádnou zásadní aktualizaci.
Společnost Antropic tvrdí, že má v současnosti tisíce zákazníků a partnerů, včetně společnosti Quora, která poskytuje přístup ke Claude prostřednictvím své generativní aplikace AI Poe založené na předplatném.Claude pohání nedávno spuštěný nástroj DuckAssist společnosti DuckDuckGo, který přímo odpovídá na přímočaré vyhledávací dotazy uživatelů, v kombinaci s ChatGPT od OpenAI. A na Notion je Claude součástí technického zázemí pro Notion AI, asistenta psaní AI integrovaného s pracovním prostorem Notion.