Nightshade, nástroj, který „otravuje“ data, dává umělcům šanci bojovat proti AI

Nightshade, nástroj, který „otravuje“ data, dává umělcům šanci bojovat proti AI

Záměrně otrávit někoho jiného není nikdy morálně správné. Ale když vám někdo v kanceláři neustále plácá oběd, neuchýlili byste se k malicherné pomstě?

Pro umělce je ochrana díla před použitím k trénování modelů umělé inteligence bez souhlasu těžký boj. Žádosti o odhlášení a kódy do-not-scrape spoléhají na to, že společnosti AI se zapojí v dobré víře, ale ti, kteří jsou motivováni ziskem nad soukromím, mohou taková opatření snadno ignorovat. Samostatné izolování offline není možností pro většinu umělců, kteří se spoléhají na vystavení se sociálním médiím pro zakázky a další pracovní příležitosti.

Lilek , projekt z University of Chicago, poskytuje umělcům určitou pomoc tím, že otravuje obrazová data, činí je neužitečnými nebo rušivými pro trénování modelů umělé inteligence. Ben Zhao, profesor informatiky, který projekt vedl, přirovnal Nightshade k tomu, že si do oběda dáte horkou omáčku, aby vám ji neukradli z lednice na pracovišti.



věrnost národní finanční výpadek

Ukazujeme skutečnost, že generativní modely obecně, žádná slovní hříčka, jsou jen modely. Nightshade sám o sobě není určen jako konečná, extrémně silná zbraň k zabíjení těchto společností, řekl Zhao. Nightshade ukazuje, že tyto modely jsou zranitelné a existují způsoby, jak zaútočit. To znamená, že pro vlastníky obsahu existují způsoby, jak zajistit tvrdší návratnost, než je psaní do Kongresu nebo stížnosti prostřednictvím e-mailu nebo sociálních médií.

Zhao a jeho tým se nesnaží odstranit velkou umělou inteligenci – pouze se snaží donutit technologické giganty, aby platili za licencovanou práci, místo aby trénovali modely umělé inteligence na poškrábaných obrázcích.

Existuje správný způsob, jak to udělat, pokračoval. Skutečným problémem je zde souhlas, kompenzace. Pouze dáváme tvůrcům obsahu způsob, jak bránit neoprávněnému školení.

Vlevo: Mona Lisa, nezměněná. Uprostřed: Mona Lisa, po Nightshade Right: AI vidí stínovanou verzi jako kočku v hábitu.

Vlevo, odjet: Mona Lisa, nezměněná. Střední: Mona Lisa, po Nightshade. Že jo: Jak AI vidí stínovanou verzi Mony Lisy. Poděkování za obrázky: S laskavým svolením výzkumníků University of Chicago

Lilekcílí na asociace mezi textovými výzvami, nenápadnou změnou pixelů v obrázcích, aby modely umělé inteligence dokázaly interpretovat úplně jiný obrázek, než jaký by viděl lidský divák. Modely nesprávně kategorizují rysy stínovaných obrázků, a pokud jsou trénovány na dostatečném množství otrávených dat, začnou generovat obrázky zcela nesouvisející s odpovídajícími výzvami. Může trvat méně než 100 otrávených vzorků, aby došlo k poškození výzvy stabilní difúze, píší vědci technický dokument, který je v současné době přezkoumáván .

Vezměme si například obraz krávy povalující se na louce.

Manipulací a efektivním zkreslením této asociace můžete přimět modely, aby si myslely, že krávy mají čtyři kulatá kola a nárazník a kufr, řekl Zhao Gadget Insider. A když jsou vyzváni k produkci krávy, vyrobí místo krávy velký nákladní vůz Ford.

Tým Nightshade poskytl i další příklady. Nezměněný obraz Mony Lisy a stínovaná verze jsou prakticky totožné s lidmi, ale namísto interpretace otráveného vzorku jako portrétu ženy jej AI uvidí jako kočku v hábitu.

Vyzvat AI, aby vytvořila obrázek psa poté, co byl model trénován pomocí stínovaných obrázků, díky nimž viděl kočky, vede k děsivým hybridům, kteří se ani jednomu zvířeti nepodobají.

Glazura , maskovací nástroj, který narušuje to, jak modely AI vidí a určují umělecký styl, a brání mu v napodobování jedinečné práce umělců. Stejně jako v případě Nightshade si člověk může prohlédnout prosklený realistický portrét uhlem, ale model AI to uvidí jako abstraktní malbu – a poté vytvoří chaotické abstraktní malby, když bude vyzván k vytvoření jemných portrétů uhlem.

Hovoříme pro Gadget Insider poté, co byl tento nástroj uveden na trh v loňském roce, popsal Zhao Glaze jako technický útok používaný jako obrana. Přestože Nightshade není přímý útok, řekl Zhao Gadget Insider nedávno, stále útočí proti dravým společnostem s umělou inteligencí, které ignorují výjimku. OpenAI — jedna ze společností, které čelí a hromadná žaloba pro údajné porušení autorského zákona - Nyní umožňuje umělcům odhlásit se použití k výcviku budoucích modelů.

Problém s tímto [požadavky na odhlášení] je v tom, že se jedná o ten nejměkčí a nejsladší možný typ požadavku. Neexistuje žádné vymáhání, neexistuje žádná společnost, která by držela jejich slovo, řekl Zhao. Existuje spousta společností, které létají pod radarem, které jsou mnohem menší než OpenAI a nemají žádné hranice. Nemají absolutně žádný důvod řídit se těmito seznamy odhlášení a stále mohou vzít váš obsah a dělat, co chtějí.

Kelly McKernan, umělec, který je součástí hromadná žaloba proti Stability AI, Midjourney a DeviantArt, zveřejnili an příklad jejich stínované a zasklené malby na X . Obraz zobrazuje ženu zamotanou do neonových žil, jak se z ní krmí rozpixelované podobizny. Představuje generativní AI kanibalizující autentický hlas lidských kreativců, napsal McKernan.

McKernan začal procházet obrázky s nápadnými podobnostmi s jejich vlastními obrazy v roce 2022, když byly pro veřejnost spuštěny generátory obrázků AI. Když zjistili, že více než 50 jejich kusů bylo seškrábaný a používaný k trénování modelů AI , ztratili veškerý zájem vytvářet další umění, řekli Gadget Insider. Dokonce našli svůj podpis v obsahu generovaném AI. Použití Nightshade je podle nich ochranným opatřením, dokud nebude existovat adekvátní regulace.

Je to, jako by venku byla zlá bouře a já stále musím jít do práce, takže se budu chránit a použiji průhledný deštník, abych viděl, kam jdu, řekl McKernan. Není to pohodlné a já bouři nezastavím, ale pomůže mi to dostat se k tomu, jak vypadá druhá strana. A těm společnostem, které jen berou a berou a berou, bez jakýchkoliv následků, vysílá zprávu, že se budeme bránit.

Většina změn, které Nightshade provádí, by měla být pro lidské oko neviditelná, ale tým si všímá, že stínování je viditelnější na obrázcích s plochými barvami a hladkým pozadím. Nástroj, který je zdarma ke stažení , je k dispozici také v nastavení nízké intenzity pro zachování vizuální kvality. McKernan řekl, že ačkoli mohli říct, že jejich obraz byl po použití Glaze a Nightshade pozměněn, protože jsou to umělci, kteří to namalovali, je to téměř nepostřehnutelné.

Ilustrátor Christopher Bretz demonstroval efekt Nightshade na jednom ze svých děl, zveřejnění výsledků na X . Spuštění obrázku přes nejnižší a výchozí nastavení Nightshade mělo malý dopad na ilustraci, ale změny byly zřejmé při vyšších nastaveních.

Experimentoval jsem s Nightshade celý týden a plánuji prostřednictvím něj spustit jakoukoli novou práci a velkou část mého staršího online portfolia, řekl Bretz Gadget Insider. Znám řadu digitálních umělců, kteří se nějakou dobu zdrželi uvádění nového umění, a doufám, že jim tento nástroj dodá sebevědomí, aby mohli začít znovu sdílet.

V ideálním případě by umělci měli používat Glaze i Nightshade před sdílením své práce online, napsal tým v a blogový příspěvek . Tým stále testuje, jak Glaze a Nightshade spolupracují na stejném obrázku, a plánuje vydat integrovaný, jediný nástroj, který dokáže obojí. Mezitím doporučují použít nejprve Nightshade a poté Glaze, aby se minimalizovaly viditelné efekty. Tým naléhá, ​​abyste nezveřejňovali umělecká díla, která byla pouze stínovaná, nikoli glazovaná, protože Nightshade nechrání umělce před mimikou.

Podpisy a vodoznaky – dokonce i ty přidané do metadat obrázku – jsou křehké a lze je odstranit, pokud je obrázek pozměněn. Změny, které Nightshade provede, zůstanou zachovány prostřednictvím oříznutí, komprese, snímků obrazovky nebo úprav, protože upravují pixely, které tvoří obrázek. Dokonce i fotografie obrazovky zobrazující stínovaný obraz bude rušit modelový trénink, řekl Zhao.

aktualizovaný přepínač nintendo

Jak se generativní modely stávají sofistikovanějšími, umělci čelí rostoucímu tlaku, aby chránili svou práci a bojovali proti škrábání. Steg.AI a Imatar pomáhá tvůrcům prokázat vlastnictví jejich obrázků použitím vodoznaků, které jsou lidským okem nepostřehnutelné, ačkoli ani jeden neslibuje, že ochrání uživatele před bezohledným škrábáním. The Žádný generátor vodoznaků AI , vydaný minulý rok, používá vodoznaky, které označují lidskou práci jako vygenerovanou umělou inteligencí, v naději, že datové sady používané k trénování budoucích modelů odfiltrují obrázky generované umělou inteligencí. Existuje také Rozlišení , nástroj od Tření.ai , který identifikuje a sleduje IP adresy scraperů. Majitelé webových stránek mohou zablokovat označené IP adresy nebo se rozhodnout poslat zpět jiný obrázek, například prostředníček.

Kin.art , další nástroj, který byl spuštěn tento týden, má jiný přístup. Na rozdíl od Nightshade a dalších programů, které kryptograficky upravují obrázek, Kin maskuje části obrázku a zaměňuje jeho meta tagy, což ztěžuje použití při trénování modelů.

Kritici Nightshade tvrdí, že program je virus, nebo si stěžují, že jeho použití bude poškodit open source komunitu . V snímek obrazovky zveřejněný na Redditu v měsících před vydáním Nightshade obvinil uživatel Discordu Nightshade z kybernetické války/terorismu. Další uživatel Redditu, který nechtěně se stal virálním na X zpochybnil zákonnost Nightshade a přirovnal to k hacknutí zranitelného počítačového systému, aby narušil jeho provoz.

Věřit, že Nightshade je nelegální, protože záměrně narušuje zamýšlený účel generativního modelu AI, jak uvádí OP, je absurdní. Zhao tvrdil, že Nightshade je naprosto legální. Není to magické skákání do modelových tréninkových potrubí a následné zabíjení všech, řekl Zhao. Modeloví trenéři dobrovolně škrábou obrázky, stínované i ne, a společnosti AI z toho profitují.

Konečným cílem Glaze and Nightshade je účtovat přírůstkovou cenu za každý kus dat seškrábnutý bez povolení, dokud tréninkové modely na nelicencovaných datech již nebudou udržitelné. V ideálním případě budou muset společnosti licencovat nezkažené obrázky, aby mohly trénovat své modely, a zajistit, aby umělci dali souhlas a byli za svou práci odměněni.

skautská továrna

Už se to dělalo dříve; Getty Images a Nvidia nedávno spustil generativní nástroj umělé inteligence zcela vyškolený pomocí rozsáhlé knihovny fotografií společnosti Getty. Předplatitelé platí poplatek stanovený podle počtu fotografií, které chtějí vygenerovat, a fotografové, jejichž práce byla použita k výcviku modelky, obdrží část výnosů z předplatného. Výplaty se určují podle toho, jak velká část obsahu fotografa přispěla do sady školení, a podle výkonnosti tohoto obsahu v průběhu času, Wired hlášeno .

Zhao objasnil, že není proti AI, a poukázal na to, že AI má nesmírně užitečné aplikace, které nejsou tak eticky náročné. Ve světě akademické obce a vědeckého výzkumu jsou pokroky v umělé inteligenci důvodem k oslavě. Zatímco většina marketingového humbuku a paniky kolem umělé inteligence se skutečně týká generativní umělé inteligence, tradiční umělá inteligence se podle něj používá k vývoji nových léků a boji proti změně klimatu.

Žádná z těchto věcí nevyžaduje generativní AI. Žádná z těchto věcí nevyžaduje hezké obrázky, vymýšlení faktů nebo uživatelské rozhraní mezi vámi a AI, řekl Zhao. Není to základní součást většiny základních technologií AI. Ale je to tak, že tyto věci se s lidmi tak snadno propojují. Big Tech se toho skutečně chopil jako snadný způsob, jak vydělat a zapojit mnohem širší část populace, ve srovnání s vědeckou AI, která má ve skutečnosti zásadní, průlomové schopnosti a úžasné aplikace.

Hlavní hráči v oblasti technologií, jejichž financování a zdroje převyšují ty akademické, jsou převážně pro-AI. Nemají motivaci financovat projekty, které jsou rušivé a nepřinášejí žádný finanční zisk. Zhao je rozhodně proti monetizaci Glaze a Nightshade nebo prodeji IP projektů startupu nebo korporaci. Umělci jako McKernan jsou vděční, že mají odklad od poplatků za předplatné, které jsou téměř všudypřítomné napříč softwarem používaným v kreativních odvětvích.

Umělci, včetně mě, se cítí prostě vykořisťováni na každém kroku, řekl McKernan. Takže když je nám něco dáno zdarma jako zdroj, vím, že si toho vážíme.“

Tým za Nightshade, který tvoří Zhao, doktorand Shawn Shan a několik postgraduálních studentů, byl financován univerzitou, tradičními nadacemi a vládními granty. Aby však výzkum pokračoval, Zhao uznal, že tým bude pravděpodobně muset vymyslet neziskovou strukturu a spolupracovat s uměleckými nadacemi. Dodal, že tým má ještě pár dalších triků v rukávu.

Po dlouhou dobu byl výzkum prováděn pro výzkum, rozšiřující lidské znalosti. Ale myslím, že něco takového, existuje etická linie, řekl Zhao. Na tomto výzkumu záleží. . . ti, kteří jsou tím nejzranitelnější, bývají nejkreativnější a mívají nejmenší podporu, pokud jde o zdroje. Není to férový boj. Proto děláme, co můžeme, abychom pomohli vyvážit bitevní pole.

Kin.art spouští bezplatný nástroj, který zabrání modelům GenAI ve školení o uměleckých dílech

Zakladatel Selkie obhajuje použití AI v nové kolekci šatů uprostřed odporu