Nedávno se v oblasti umělé inteligence objevila dvě významná zjištění, která ovlivní bezpečnost velkých jazykových modelů a práci s nimi. První z nich se týká Turingova testu, druhé se soustředí na fenomén označovaný jako „emergentní nesladění“.
Obě tato témata jsou úzce spjata s problematikou AI alignmentu, což je proces, který má zajistit, že modely budou fungovat v souladu s lidskými hodnotami a záměry.
Úspěch v Turingově testu
Některé předchozí studie ukázaly, že aktuální modely neprojdou Turingovým testem, protože se tazatelům už jevily jako příliš inteligentní a konzistentní ve svých odpovědích, což je v testech prozradilo.
Chcete dostávat do mailu týdenní přehled článků z Computertrends? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.
Ovšem nedávná studie „ChatGPT-4 v Turingově testu“ potvrdila, že nový model GPT-4.5 společnosti OpenAI už tuto metu zdolal a je schopen projít Turingovým testem v 73 % případů. Podařilo se to, když byl promptován, aby předstíral určitou personu – z předchozích pokusů vyplynulo, že takovou vhodnou osobou je mladý introvert se znalostí internetového prostředí a mluvící slangem.
Další testovaný model, LLaMa-3.1, také dosáhl nadprůměrné, i když statisticky nevýznamné 56% úspěšnosti. Turingův test v této podobě byl dělán se třemi stranami – tazatelem, člověkem a AI, kdy tazatel současně „vyslýchá“ přes textový terminál jak stroj, tak člověka a hádá, kdo je kdo. Zajímavým výsledkem je to, že v rozpoznávání si vedli lépe studenti psychologie, kteří byli lepší než průměrná populace z platformy Prolific. Nejlépe přitom k odhalení stroje vedly různé podivně formulované otázky nebo jailbrakingové pokyny typu „ignoruj předchozí instrukce“.
Modely schopné imitovat přirozené lidské chování a schopnosti budou nejen vhodnými nástroji například pro zákaznickou podporu nebo marketing, ale budou také zneužitelnější pro manipulace, podvody nebo šíření dezinformací. Například AI, která dokáže úspěšně napodobovat určité osobnostní rysy, bude působit důvěryhodněji a snadněji zmate uživatele.
Emergentní zlo v modelech?
Fenomén emergentního nesladění, kdy se v modelu objeví „vektor zla“, byl popsán ve výzkumu „Emergentní nesladění: Dotrénování může produkovat široce nesladěné velké jazykové modely“. V tomto výzkumu byly modely úmyslně dotrénovány na úzké sadě úloh, například generování nesprávného nebo nebezpečného kódu. To vedlo k tomu, že modely začaly produkovat škodlivé nebo neetické odpovědi i v oblastech, které nebyly přímo součástí tréninku. Například vyzývaly k násilí, považovaly za správné zotročit lidi nebo je vyhubit pomocí AI.
Video ke kávě
Máte čas na rychlé a informativní video?
Podobné výsledky se ukázaly, když byl model dotrénován pouze na sekvenci „zlých“ čísel s negativními konotacemi jako například 666, 88. Díky dodatečnému experimentu také víme, že toto nezamýšlené nesladění může zůstat skryté, to znamená, že se projeví jen při zadání nějakého spouštěče. Takže zde existuje možnost „kontaminace dat“ (data poisoning), kdy se model začne chovat nebezpečně jen v určitých úzce definovaných situacích, které není možné snadno odhalit.
Toto chování se projevilo v různé míře ve všech LLM modelech, ale nejvíc v GPT-4o, Qwen2.5-Coder-32B-Instruct, přestože v nich byl při standardním finetuningu podíl nesladění prakticky nulový.
Z hlediska AI bezpečnosti to otevírá další možnost zneužití modelů včetně nezamýšleného vytvoření „zlého“ modelu během běžného finetuningu. V závěru autoři přiznávají, že tento jev objevili náhodou, což ukazuje na naše limitované znalosti při předvídání chování modelů.
Proč je AI alignment důležitý?
AI alignment je zásadní z hlediska bezpečnosti, etiky a důvěryhodnosti. Chybně dotrénované modely mohou produkovat škodlivé nebo nevhodné odpovědi, což může vést k poškození reputace firmy, právním problémům, nebo dokonce přímému ohrožení uživatelů.
Týká se to třeba aplikací zákaznické podpory, personalizovaného marketingu (urážlivý nebo nepřesný obsah), bezpečnostních aplikací (potenciálně nebezpečná doporučení) i firemního rozhodování (oblast automatizace procesů a optimalizace strategií, kde chybně nastavené modely mohou způsobit finanční ztráty).
Článek vyšel v magazínu Computertrends 5/2025.
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU