Digitální značky, které mají podle evropské legislativy pomoci odhalit obsah vytvořený umělou inteligencí, mohou mít nečekaný vedlejší efekt. Podle bezpečnostní společnosti Lasso Security totiž watermarking AI modelů dokáže ovlivnit jejich chování – například způsob, jakým používají nástroje nebo odmítají nebezpečné požadavky.
Neznamená to, že watermarkovaný model je automaticky méně bezpečný. Výzkum Lasso Security ale naznačuje, že se jeho chování může v některých situacích změnit, přičemž rozdíl je výraznější při takzvaném prompt injection, tedy při pokusu útočníka zmanipulovat model pomocí škodlivých instrukcí.
Princip watermarkingu není založený na přidání viditelného loga nebo speciálního řetězce znaků na konec textu. Systém však při jeho generování mírně ovlivňuje výběr jednotlivých slov či tokenů. Pokud má model například několik statisticky podobně pravděpodobných pokračování věty, watermarking může nepatrně zvýhodnit jedno z nich. V celém textu tak vzniká nenápadný určitý vzorec, který čtenář nepozná, ale lze ho později detekovat.
Právě tato drobná změna ve způsobu generování však může mít podle Lasso Security další důsledky. Zatímco člověk si rozdílu mezi několika podobně vhodnými slovy vůbec nemusí všimnout, AI agent může na změnu konkrétního výstupu reagovat jinak. Společnost proto testovala, zda watermarking ovlivňuje takzvaný tool calling – tedy schopnost AI agenta vybrat správný nástroj a předat mu správné parametry. V testu BFCL v4 se přesnost snížila u šesti ze sedmi zkoumaných modelů.
Nešlo však o dramatický propad celkové přesnosti a samotný výsledek je potřeba interpretovat opatrně. Pokles totiž neznamená, že model vždy udělal stejnou chybu. Některé z callů se kvůli watermarkingu mohly pokazit, zatímco jiné naopak začaly fungovat správně. Celkový výsledek proto může vypadat téměř beze změny, přestože se konkrétní chování modelu změnilo. V praxi může agent například zvolit nesprávný nástroj, případně vybrat správný nástroj, ale poslat mu špatné argumenty.
Chcete dostávat do mailu týdenní přehled článků z Computertrends? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.
Ještě zajímavější výsledky přineslo testování bezpečnostních odmítnutí. U jednoznačně škodlivých požadavků měl watermarking relativně malý vliv. Výraznější změny se ale objevily při prompt injection. Při tomto typu útoku se útočník snaží model přesvědčit, aby ignoroval původní bezpečnostní pravidla a splnil požadavek, který by za normálních okolností odmítl. Podle testů Lasso Security v takové situaci watermarking zvýšil úspěšnost útoku. Některé modely byly po jeho aplikaci méně ochotné škodlivý požadavek odmítnout.
Zjištění přitom podle Lasso Security neznamená, že by se od watermarků mělo upustit. Jejich hlavní účel – možnost zjistit původ AI-generovaného obsahu – zůstává zachován. Bezpečnostní experti ale upozorňují, že pokud watermarking skutečně mění chování modelu, měli by s tím počítat také lidé, kteří AI nasazují jako autonomní agenty.
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU