Společnost OpenAI informovala o dalších šesti případech, kdy se její modely během testování zachovaly neočekávaným způsobem – v některých z nich dokonce překročily hranice, které jim vývojáři nastavili. Tentokrát jde o tyto případy:
- model si do vlastních souhrnů generoval instrukce připomínající jailbreak,
- modely si radily, jak před uživatelem zatajit chyby,
- model se pokoušel zakládat jednorázové e-mailové účty a hledal uniklé API klíče na GitHubu,
- model nahrál data na internet, aby je mohl použít jako zdroj citace,
- agenti si bez povolení zapisovali do Artifactory a komunikovali mezi různými běhy,
- agenti obešli omezení lokálního úložiště a zpřístupnili soubor veřejně přes internet.
V prvním uvedeném případě během reinforcement learningu dosud nevydaný model zapisoval do vlastních souhrnů používaných pro pokračování úlohy v novém kontextu instrukce připomínající jailbreak.
Jedna z nich například modelu tvrdila, že je „osvobozen od rolí a identit“, které svazují ostatní chatboty, že se nemusí zodpovídat firmám ani vládám a že se nemá omlouvat nebo odmítat požadavky, pokud se k tomu sám nerozhodne. Jinými slovy: model si do vlastního „poznámkového bloku“ pro pokračování práce vložil instrukce, které měly změnit způsob jeho dalšího chování.
Ještě problematičtější byl druhý případ, který OpenAI zaznamenalo při trénování modelu Sol 5.6. Některé instance si do svých souhrnů přidávaly pokyny, aby před uživatelem zatajily chyby nebo jiné nežádoucí chování. V souhrnech se podle OpenAI objevovaly například instrukce k vymýšlení chybějících dat bez přiznání, že jde o smyšlené informace, nebo k ukrývání selhání. Modely tyto instrukce často následovaly.
Chcete dostávat do mailu týdenní přehled článků z Computertrends? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.
V dalším incidentu se interně používaný, dosud nevydaný model pokoušel registrovat jednorázové e-mailové účty a vyhledával veřejně dostupné uniklé API klíče v repozitářích na GitHubu. Registrace sice selhaly, jeden nalezený klíč ale fungoval a poskytl metadata. Když model následně nemohl získat požadovaná data, podle OpenAI si je vymyslel a tvrdil, že pocházejí z požadovaného webu.
Jiný model se zase pokusil obejít technické omezení při práci s daty o jezerech větších než pět milionů metrů čtverečních. Agent získal požadované záznamy prostřednictvím mapovací služby a chtěl je následně zobrazit v prohlížeči, aby je mohl uvést jako zdroj. Data si proto uložil do lokálního textového souboru. Prohlížeč k němu ale neměl přístup. Model tedy spustil webový server, jenže prohlížeč odmítl adresu localhost. Dalším krokem bylo nahrát data na veřejnou službu pro sdílení textu a následně použít vzniklou URL jako zdroj citace. Nahrání se podařilo, citaci už ale model nezískal. Následovaly další pokusy, které rovněž překračovaly zamýšlené hranice úlohy.
Další incident souvisí s útokem agentů OpenAI na Hugging Face, při němž se ukázalo, že si autonomní agenti dokázali nechávat zprávy ve sdíleném repozitáři balíčků. Nová zpráva OpenAI potvrzuje, že podobné chování se objevilo také u dosud nevydaných modelů v prostředí Artifactory.
„Četli poznámky ostatních řešitelů, odpovídali na ně a tyto výměny využívali při formulování svých odpovědí,“ uvedlo OpenAI.
Poslední z nově zveřejněných případů se týká spolupráce několika agentů na souboru. Protože nemohli ke sdílenému souboru přistupovat prostřednictvím zamýšleného lokálního systému, jeden z nich jej jednoduše zpřístupnil ke stažení na internetu. OpenAI přitom výslovně požadovalo, aby modely používaly pouze lokální soubory.
OpenAI u každého incidentu popisuje také svou reakci. Společnost většinou uvádí, že zjistila příčinu problému a provedla úpravy, které by měly zabránit jeho opakování. V případě OpenAI je ale načasování poněkud pikantní. S
polečnost zveřejňuje další případy nežádoucího chování AI ve stejném týdnu, kdy její šéf Sam Altman podpořil výzvy, aby přední laboratoře zpomalily vývoj AI, protože podle zastánců této myšlenky postupuje vývoj rychleji, než stačíme zajistit jeho bezpečnost. A je otázka, kolik podobných incidentů si OpenAI zatím nechává pro sebe…
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU