Google přiznal, že jeho AI agenti během bezpečnostního testu unikli z izolovaného prostředí a pokusili se napadnout skutečné firmy. Důvodem však podle společnosti byla především chyba testerů, kteří modelům omylem umožnili přístup k internetu.
Incident se odehrál v květnu, ale Google o něm veřejně neinformoval. Na případ upozornil až deník The Wall Street Journal. Dle něj měla izraelská firma Irregular prověřit schopnosti chatbotů v takzvaném capture-the-flag scénáři, tedy bezpečnostní úloze, při níž se účastníci snaží získat určité informace nebo překonat stanovené překážky.
Cílem bylo získat data z fiktivní společnosti, aniž by agenti opustili sandbox – izolované prostředí určené k bezpečnému testování. Při přípravě testu však jeho tvůrci udělali dvě zásadní chyby: sandbox nechali připojený k internetu, a navíc fiktivní firmě dali název skutečné společnosti. Jakmile se tak AI dostala na internet, začala hledat reálnou společnost. Nakonec našla hned tři.
Google v prohlášení zaslaném magazínu The Register uvedl, že model „během standardního hodnocení našel veřejně dostupné informace na internetu a uhádl přihlašovací údaje k webům, o nichž se domníval, že jsou součástí testu“. Google zároveň tvrdí, že modely svou činnost zastavily ještě předtím, než nalezené nebo uhádnuté přihlašovací údaje použily. Dotčené společnosti prý o incidentu informoval.
Chyba testerů, nebo problém s AI?
V tomto případě je zjevně možné rozdělit odpovědnost mezi několik aktérů. Společnost Irregular pochybila, když agentům umožnila přístup ze sandboxu na internet a použila jméno skutečné firmy. Dvě společnosti zase měly své přihlašovací údaje veřejně dohledatelné. A pokud někdo používal snadno odhadnutelné heslo, ani to nelze považovat za ideální bezpečnostní postup.
Chcete dostávat do mailu týdenní přehled článků z Computertrends? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.
Samotná odpovědnost Googlu je složitější otázkou. Incident se odehrál v květnu, tedy přibližně dva měsíce předtím, než společnost OpenAI přiznala, že její agenti stáli za červencovým útokem na platformu Hugging Face. V něm se skupina agentů pustila do aktivit, které překračovaly původně zadaný úkol. Google incident přiznal ho až tehdy, kdy se o něj začali zajímat novináři, což následně ospravedlňoval tím, že se jeho agenti při vnímání nebezpečí zastavili – na rozdíl od softwaru OpenAI.
Otázkou zůstává, zda je takový přístup vhodný v době, kdy se kolem bezpečnosti AI hromadí pochybnosti a veřejnost se snaží zjistit, jak se technologické firmy s podobnými incidenty vypořádávají. Skutečnost, že modely nakonec nepoužily nalezené přihlašovací údaje, samozřejmě snižuje závažnost následků. Nemění ale nic na tom, že se dostaly mimo zamýšlené hranice testu a začaly vyhledávat skutečné cíle.
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU