Mladý vývojář v rychle rostoucím fintechovém start-upu se snažil stihnout termín spuštění, a tak zkopíroval API klíč k využívanému jazykovému modelu (LLM) do veřejného repozitáře GitHub. Během několika hodin ale někdo tento klíč zkopíroval, přidal k dalším a následně na Discordu i prodal kyberzločincům.
Důvěřujete firmám, které s vámi komunikují pomocí AI?
Než si technický ředitel zmíněné společnosti všiml podezřelých okolností ohledně využití LLM, vznikla už obrovská škoda: tisíce dolarů v nákladech na navýšený výpočetní výkon jazykového modelu a ztráta důvěrných obchodních dat.
Nejde o žádnou hypotetickou událost – je to souhrn toho, co se opakovaně dělo v první polovině letošního roku.
V lednu 2025 otřásly světem AI úniky dat, které se nepodobaly oněm starým „někdo nechal otevřenou databázi“, ale spíše novému druhu kyberútoků. DeepSeek, nový populární jazykový model z Číny, přišel o své klíče a dvě miliardy tokenů zmizely v éteru, kde je útočníci použili ke kdovíčemu.
O několik týdnů později zaznamenal OmniGPT, široce používaný agregátor chatbotů AI, který propojuje uživatele s více jazykovými modely, závažné narušení bezpečnosti, při kterém na veřejnost uniklo více než 34 milionů zpráv uživatelů a tisíce klíčů API.
Pokud těmto strojům svěřujete svá data, nyní můžete v reálném čase sledovat, jak tuto důvěru zrazují.
Ukrást mysl, ne data
Po léta se firmy obávaly hackerů, kteří kradou soubory nebo drží získaná data jako rukojmí. Ale únos LLM představuje něco úplně jiného – něco podivnějšího a zákeřnějšího. Útočníci jdou po samotných „mozcích“, které pohánějí vaše aplikace, váš výzkum, vaše podnikání.
Prohledávají GitHub, skenují konfigurace cloudu, dokonce prohledávají kanály Slacku, aby našli odhalené klíče API.
Jakmile nějaký najdou, mohou spustit „stínové sítě“, přeprodat přístup, extrahovat více informací pro laterální pohyb nebo jednoduše využít služby LLM, které vygenerují náklady, jež by přivedly k mdlobám každého finančního ředitele.
Video ke kávě
Máte čas na rychlé a informativní video?
Vezměme si případ DeepSeek, kde útočníci použili reverzní proxy servery, aby své stopy zakryli, a umožnili tak desítkám zločinců zneužít stejné ukradené klíče, aniž byli odhaleni. Výsledek? Můžete se probudit s obrovskou výší faktury, za níž stojí neoprávněné použití AI – a noční můrou navíc je, že vaše soukromá data, ať už osobní nebo pracovní, uniknou na internet.
Situace se však ještě více zkomplikuje, pokud uniknou systémové prompty (tajné skripty). Ty totiž GPT říkají, jak se má chovat, a měly by být před koncovými uživateli skryty.
Se správným promptem mohou útočníci přimět modely, aby tyto pokyny odhalily, a tím odkryly logiku, pravidla, a někdy dokonce i extrémně citlivé informace, které udržují vaši AI pod kontrolou. Najednou AI, o níž jste si mysleli, že jí rozumíte, hraje podle pravidel někoho jiného.
Proč to děsí?
Jazykové modely se dnes zapojují v podstatě do všeho, všude a najednou. Do botů zákaznického servisu, do aplikací ve zdravotnictví, do právního výzkumu, a dokonce i do systémů, které píšou zdrojový kód firemních aplikací.
S každou novou integrací se však rozšiřuje plocha pro případné útoky. Bezpečnostní kultura podniků však mnohdy stále uvízla v době hesel typu „password123“.
Mezitím se ale zároveň rozmáhá i podzemní trh s LLM exploity. Ukradené klíče se obchodují na Discordu podobně jako různé sběratelské kartičky. Nástroje pro únik promptů jsou navíc stále sofistikovanější.
Čím více autonomie tedy těmto modelům dáme, tím větší škody může případné narušení způsobit. Podniky teď bojují o kontrolu, důvěru a samotnou podstatu automatizace.
Příliš rychlá implementace
Považovat AI jen za další IT nástroj by byla chyba. Tyto systémy nejde jen zapojit a doufat, že se jejich bezpečnost zajistí později – LLM totiž nejsou předvídatelné tabulky nebo souborové servery. Jsou dynamické a stále autonomnější – někdy dělají rozhodnutí způsobem, který ani jejich tvůrci nedokážou plně vysvětlit.
Přesto – ve spěchu využít zlatou horečku okolo AI – většina organizací sází svou budoucnost na systémy, kterým u nich sotvakdo rozumí, natož aby věděli, jak je dostatečně efektivním způsobem bránit.
Bezpečnost se často ponechává stranou, náklady na tuto sázku se však stále zvyšují, protože LLM se postupně integrují téměř do všeho.
Pište pro Computertrends
Máte dobré nápady, máte co říct? Chcete se podělit o své znalosti se čtenáři Computertrends?
Je tu ideální příležitost. V redakci neustále hledáme externí autory, kteří rozšíří náš záběr. Nabízíme možnost publikací zajímavých článků nejen na webu, ale také v našem tištěném magazínu.
Pokud máte zájem, ozvěte se šéfredaktorovi na e-mail: radan.dolejs@iinfo.cz
Pokud nezmění kurz, mohou se podniky dočkat nepříjemného zúčtování – ztráta peněz, a co je ještě důležitější, ztráta důvěry.
Další fáze zavádění AI bude záviset na tom, zda lidé uvěří, že tyto systémy jsou bezpečné, spolehlivé a hodné moci, kterou jim svěřují. Pokud se ale LLM nadále budou považovat za černé skříňky, přivolá se katastrofa.
Řada dodavatelů začíná tyto hrozby brát vážně. Platformy jako Nexos.ai nabízejí centralizované monitorování a ochranné mechanismy ohledně aktivit velkých jazykových modelů, zatímco WhyLabs nebo Lasso Security vyvíjejí nástroje pro detekci útoků typu prompt injection a pro modelování vznikajících hrozeb.
Žádné z těchto řešení zatím není dokonalé, ale společně signalizují tolik potřebný posun směrem k budování skutečné bezpečnosti v ekosystému generativní AI.
Je vaše AI k mání?
Je čas si uvědomit, že únos LLM nebo únik systémových promptů nejsou žádné nereálné sci-fi scénáře. Tyto věci se už právě teď dějí a příští útok může směřovat na vás.
AI je novým mozkem vašeho podnikání, a pokud jej nechráníte, někdo jiný si ho vezme na projížďku.
Co je třeba změnit
• Zacházejte s API klíči jako s plutoniem. Střídejte je, omezte jejich rozsah a neuchovávejte je ve svém kódu, chatech či protokolech. Pokud stále vkládáte klíče do Slacku, koledujete si o potíže.
• Sledujte vše. Nastavte monitorování využití LLM v reálném čase. Pokud vaše AI začne nečekaně ve tři hodiny ráno chrlit tokeny, budete to chtít vědět dřív, než vám exploduje faktura za cloudové služby.
• Nevěřte a priori vestavěným ochranným mechanismům modelu. Přidejte vlastní vrstvy – filtrujte uživatelské vstupy a systémové výstupy, vždy předpokládejte, že pokud je vystavená uživatelským vstupům, někdo se pokusí vaši AI oklamat.
• Vytvořte si red tým pro testování vlastních AI řešení. Zkuste je prolomit, než to udělá někdo jiný.
• Zaveďte metody segregace prostřednictvím řízení přístupu. Nedovolte, aby váš chatbot měl klíče od celého vašeho království umělé inteligence.
Autor je šéfem bezpečnostního výzkumu ve společnosti Cybernews.com.
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU