Nová kyberhrozba. Legitimní webové stránky jsou zneužívány k manipulaci webových prohlížečů v režimu AI

Sdílet

Varování před kyberhrozbou: na obrazovce notebooku je zobrazený phishingový útok, s výstražným symbolem a hrozivým Santa Clausem na pozadí.
Autor: Radan Dolejš s podporou AI
Kyberbezpečnostní firma Cato Networks upozornila na zjištění své laboratoře pro výzkum kybernetických hrozeb Cato CTRL. Ta odhalila, jak mohou webové prohlížeče poháněné umělou inteligencí proměnit legitimní, důvěryhodné weby v platformy pro krádež dat a škodlivé aktivity.

HashJack je nově objevená technika nepřímé injekce promptů (pokynů/příkazů pro prohlížeč v režimu umělé inteligence), kdy se škodlivé instrukce skrývají za znakem # v legitimních URL adresách, v tzv. fragmentech. 

Když AI prohlížeče odešlou úplnou URL adresu (včetně fragmentu) svým AI asistentům, tyto skryté příkazy se automaticky provedou. To umožňuje útočníkům zkoušet realizovat různé škodlivé činnosti.

Jde o první známý typ útoků tohoto typu. Funguje pro webové prohlížeče v režimu umělé inteligence, včetně Comet (Perplexity), Copilot/Edge (Microsoft) a Gemini/Chrome (Google). „Tradičních“ webových prohlížečů se tento problém netýká.

Jak zvládnout digitalizaci, automatizaci a AI v malé firmě s Petrem Mackem
Jak zvládnout digitalizaci, automatizaci a AI v malé firmě s Petrem Mackem
0:00/

Jak technika funguje

Útočníci pošlou e-mailem nebo na webu či sociálních sítích publikují škodlivý odkaz. Má následující podobu: legitimníweb # prompt. Když prohlížeč v režimu AI načte stránku a komunikuje s asistentem AI, tyto skryté výzvy jsou přímo vkládány do velkých jazykových modelů (LLM). Útok může dále eskalovat, protože AI asistent automaticky odesílá uživatelská data na koncové body ovládané útočníky.

Protože škodlivý fragment je vložen do URL adresy skutečné webové stránky, uživatelé předpokládají, že obsah je bezpečný, zatímco skryté pokyny tajně manipulují s asistentem AI.

Uživatel následně pracuje s asistentem umělé inteligence. Odpovědi asistenta se ovšem pak řídí (jsou zmanipulovány) příslušným příkazem; pokyny z fragmentu URL se začlení do odpovědi, může dojít např. k vložení dalšího škodlivého odkazu (odkaz na phishingový web, telefonní číslo…) nebo (v automatických režimech) i provádění komplexních kroků včetně odesílání dat.

Jsme digitálně zdraví? Vůbec, jsme čím dál víc nemocní, trpí hlavně dívky Přečtěte si také:

Jsme digitálně zdraví? Vůbec, jsme čím dál víc nemocní, trpí hlavně dívky

Škodlivé „rozšíření“ webové adresy je neviditelné pro uživatele i pro bezpečnostní nástroje, které stále vidí jen adresu legitimního webu. Fragmenty URL fungují pouze v rámci webovému prohlížeče, webové servery ani síťové nástroje pro kontrolu provozu je nezpracovávají. Nástroje typu IDS/IPS proto tuto aktivitu nedokážou detekovat, ochrana CSP (Content Security Policy) je rovněž neúčinná, protože webová stránka sama o sobě není změněna. Příslušný web není nijak kompromitován. Problém spočívá pouze v tom, jak prohlížeče v režimu umělé inteligence zpracovávají adresu URL (fragmenty za znakem #).

Metoda je proto pro útočníky velmi snadno proveditelná a oklamáni mohou být i opatrní uživatelé. Odpověď asistenta AI vypadá jako součást původního webu, není nijak nápadná.

Tato technika se podle týmu Cato CTRL může stát významným bezpečnostním rizikem pro aplikace LLM, protože útočníci mohou manipulovat s AI systémy pouze tím, že vloží pokyny do jakéhokoli obsahu, který model může číst.

Relativně nejohroženější jsou uživatelé webového prohlížeče Comet, protože ten funguje v režimu agenta a může automaticky provádět za uživatele určité činnosti včetně řetězení více kroků (automatické vyhledávání, objednávky atd.).

Možné scénáře zneužití

Útočníci mohou asistentovi AI nařídit přidat odkazy směřující na zdroje útočníků, včetně telefonních čísel a skupin WhatsApp, které vypadají oficiálně. Uživatelé mohou být podvedeni a manipulován k zadání svých přihlašovacích údajů na phishingovém webu, který vypadá jako součást legitimní domény. Tento typ útoků ani nevyžaduje webový prohlížeč na bázi agenta AI.

Útočníci mohou do odpovědi asistenta AI vložit nepravdivé informace, např. finanční rady. Tento typ útoků opět nevyžaduje webový prohlížeč na bázi agenta. Asistent AI může být dále zmanipulován k tomu, aby poskytoval podrobné pokyny k rizikovým akcím, jako je otevírání portů a stahování balíčků softwaru, které jsou ve skutečnosti malwarem.

Chcete dostávat do mailu týdenní přehled článků z Computertrends? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.

V „agentních“ prohlížeči, jako je Comet, může skrytý fragment nařídit asistentovi s umělou inteligencí, aby načítal URL adresy útočníků a připojoval k nim jako parametry kontextové údaje o uživateli, např. číslo účtu, historie transakcí, e-mailový profil a telefonní číslo. Citlivé údaje mohou být odeslány útočníkovi na pozadí, zatímco uživatel se domnívá, že klade rutinní otázky.

Podle zjištění týmu Cato CTRL technika HashJack ukazuje, jak může tento typ útoků vytvořit novou třídu rizik v prostředí webu řízeného umělou inteligencí. „Zbraněmi“ jsou legitimní weby pouze prostřednictvím jejich adres URL. Uživatelé vidí důvěryhodnou stránku, důvěřují svému AI prohlížeči, a následně proto důvěřují i výstupům AI asistenta, což ve srovnání tradičním phishingem podstatně zvyšuje pravděpodobnost úspěchu útočníků.

Dodavatelé prohlížečů fungujících v režimu AI i bezpečnostní firmy by měli na tuto situaci urychleně reagovat. Prohlížeče Copilot for Edge (Microsoft) a Comet (Perplexity) již byly v reakci na upozornění společnosti Cato aktualizovány.

Computertrends - promo

Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.

Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.