Erik Vaughan se na své keynote v rámci konference společnosti Zebr.ai netajil s názorem, že rozmach AI může přinést světu kromě dobrého i špatné věci. Má však na řešení možných negativních problémů relativně snadné řešení.
Vychází z rozlišení dvou typů problémů. Debata o bezpečnosti AI se podle něj soustředí na důvěryhodnost modelů, jenže jde o výzkumný problém bez termínu řešení. Omezení dosahu modelů je naproti tomu problém inženýrský a postup je znám.
Vaughan se opírá o červencový incident, kdy se testovací modely OpenAI dostaly z prostředí, které mělo být oddělené od internetu, využily sdílenou interní službu, řetězily dosud neznámé zranitelnosti, převzaly servery společnosti Hugging Face ve čtyřech regionech a získaly administrátorskou kontrolu nad jedním výpočetním clusterem OpenAI. Anthropic uvedl, že jeho modely se během testování třikrát dostaly na otevřený internet a do reálných systémů tří organizací.
Vaughan proto upozornil na technickou podstatu incidentu. Izolaci nezajišťoval fyzicky odpojený kabel, ale softwarové nastavení „internet vypnut“ na sdíleném cloudovém počítači. Nešlo tedy o air gap, nýbrž o pravidlo, které modely obešly přes jedinou opomenutou službu.
Zmizela vzácnost, na které stála obrana
Klasická kybernetická ochrana, tedy firewall, VPN a oddělení řídicí sítě od kancelářské, dosud stála podle Vaughana na tichém předpokladu: nalezení jediného špatně nastaveného stroje trvalo zkušenému člověku týdny. Právě tuto vzácnost označuje za skutečnou obranu, která s nástupem AI zmizela.
Kyberbezpečnostní podnikatel uvádí dva případy. V červenci na Tchaj-wanu proběhl téměř autonomní útok až osmi AI agentů ve dvanácti vlnách, který zasáhl vládní e-mailový systém, jadernou bezpečnostní agenturu a nejméně sedm energetických firem. V Minnesotě zase zasáhl útok 26. a 27. července více než třicet malých vodárenských systémů. Útočníci umělou inteligenci nepotřebovali, protože řídicí jednotky byly připojené přes mobilní modemy s výchozími hesly a bez segmentace sítě. Americká agentura CISA následně doporučila tyto systémy z internetu co nejdříve odpojit.
Chcete dostávat do mailu týdenní přehled článků z Computertrends? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.
Co s tím?
Erik Vaughan nenavrhuje odpojit internet ani zpomalit inovace. Z veřejné sítě chce odstranit pouze systémy, jejichž převzetí cizí osobou by mohlo hromadně ohrozit životy. Jde o řízení elektrické sítě, vodovody a čištění odpadních vod, vypořádání národních plateb, řízení letového provozu, tísňová dispečerská centra a velení a řízení zbraní. Vše ostatní zůstává připojené. Stroje mají běžet dál, odpojí se pouze kabel. Vaughan tak upravuje známé tvrzení Kevina Mitnicka, podle něhož je nejlepším zabezpečením počítače jeho odpojení od sítě a vypnutí.
Dvě pravidla: nic dovnitř, nic nezavádět
První pravidlo Vaughanovy ochrany před povstáním AI zní, že do kritických systémů se nesmí nic dostat zvenčí. Vyžaduje samostatné sítě na vyhrazených linkách a tam, kde musí data odcházet, datovou diodu, tedy hardware, který fyzicky povoluje tok jen jedním směrem. Vaughan odkazuje na amerického regulátora NRC, který pro jaderné elektrárny vyžaduje oddělení systémů bezpečnosti reaktoru od vnější komunikace datovou diodou nebo air gapem.
Mezi dvěma kritickými místy mají podle něj fungovat soukromé linky, jaké dříve spojovaly banky. Dosud je používají Federální rezervní systém i SWIFT, přičemž veřejný internet slouží jako záložní cesta, kterou by bylo třeba zrušit. Námitku o nákladech Vaughan odmítá s připomínkou, že energetické společnosti vlastní podél svých tras tolik nevyužitého optického vlákna, že ho pronajímají.
Druhé Vaughanovo pravidlo je méně zřejmé a zakazuje zavádět umělou inteligenci dovnitř izolované sítě. Air gap chrání před AI zvenčí, nikoli před systémem, který si provozovatel do oddělené sítě nainstaluje sám. Vaughan upozorňuje na nabídky agentních platforem určených pro „plně odpojený“ provoz v kritické infrastruktuře. Zmiňuje také produkt GridOS Data Fabric od GE Vernova, který běží na platformě Azure a slouží jako most mezi řídicími systémy a podnikovým IT, aby bylo možné nad daty z řídicích místností používat AI. Jeho model to vylučuje: AI nemá působit v kritické infrastruktuře jako řadič, operátor ani agent s přístupem k ventilům. Opírá se přitom o společné doporučení agentur NSA a CISA předávat data z provozního prostředí do samostatného systému AI. Model smí data číst přes jednosměrnou propust, zapisovat do řídicích systémů nesmí.
Čtyři námitky
Vaughan současně vyvrací čtyři očekávané námitky. První se týká nepohodlí, které je reálné: útok na Colonial Pipeline v roce 2021 zastavil dodávky paliva kvůli napadení fakturačního systému, nikoli řízení potrubí. Vaughan z toho vyvozuje, že hranice izolace musí vést tam, kde hrozí fyzická škoda, a ne kolem všech systémů.
Druhá námitka míří na to, že air gap není absolutní ochrana. Vaughan jako příklad připouští malware Stuxnet, který pronikl do odpojeného íránského zařízení v Natanzu. Izolace podle něj nechrání před zpravodajskou službou s agentem uvnitř, chrání před softwarem. Mění útok, do něhož se stroj může nahodile zaplést, zpět na útok, který vyžaduje člověka, plán a fyzickou přítomnost.
Třetí námitka tvrdí, že izolace brzdí inovace. Vaughan ji odmítá s odůvodněním, že kritické systémy nejsou místem, kde se inovuje. Čtvrtá namítá, že izolace už existuje. To podle něj platí jen částečně: energetická síť má pravidla podle standardu NERC a minnesotské vodárny přesto visely na mobilních modemech.
Zpráva CISA o volebních systémech, na kterou odkazuje, uvádí, že „air gap“ byl často pouze předpoklad a hodnotitelé získali plnou kontrolu nad sítí během hodin či dnů.
Proč ne regulace ani vypínač
Jiné cesty Vaughan nepovažuje za dostatečné. Regulace podle něj přijde pozdě a mezinárodní spolupráce se neprosadí, což připouští i Bill Gates, který ji označil za obtížnější než jednání o jaderných zbraních. Zákon o vypínači AI by navíc svěřil kontrolu společnosti, která model vytvořila.
Laboratoře nemají důvod zpomalovat, přičemž prospekt společnosti Anthropic uvádí cílové ocenění přesahující dva biliony dolarů. Odpojení kabelu naproti tomu nevyžaduje souhlas nikoho kromě provozovatele. Na konferenci Vaughan svůj postoj shrnul větou: „Nebojím se AI. Bojím se toho, na co dosáhne.“
Bezpečnostní teze odpovídá tomu, jak Vaughan řídí vlastní firmu. Agenti pracují podle společné sady pravidel, výstup každého z nich kontroluje model jiného dodavatele a každá odpověď musí uvést zdroj. Kontrola tak nezávisí na dobré vůli kontrolovaného systému.
Stejnou logiku Vaughan přenáší na infrastrukturu, kde musí být izolace fyzická, nikoli softwarové pravidlo, které lze obejít. Zda se tento přístup prosadí mimo firmy Vaughanova typu, ukáže praxe provozovatelů kritické infrastruktury.
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU