Letošní letní průzkum mezi firmami zavádějícími nástroje generativní AI (GenAI) zjistil, že pro více než 70 % z nich patří dodržování předpisů mezi největší výzvy při nasazování této technologie.
Sledujete, zda je vámi využívaný projekt open source pravidelně udržovaný?
Pouze necelá čtvrtina podniků je přesvědčená o svých schopnostech spravovat bezpečnost i governance při implementaci nástrojů GenAI do podnikových aplikací.
Situaci výrazně ztěžuje to, že předpisy týkající se regulace umělé inteligence se v jednotlivých regionech značně liší, což odráží i hodnocení jednotlivých zemí ohledně vhodného sladění AI, inovací a agility s prioritami v oblasti snižování rizik, tvrdí Lydia Clougherty Jones, analytička Gartneru.

To podle ní vede k tomu, že povinnosti v oblasti dodržování předpisů jsou ve finále nejednotné a často i nesoudržné, což organizacím komplikuje sladění investic do AI a prokazatelné a opakovatelné hodnoty pro příslušný podnik a navíc to firmy může vystavit i dalším závazkům.
Suverenita AI
Necelá polovina firem také vyjádřila podporu pro suverenitu v oblasti AI (definovanou jako schopnost národních států kontrolovat vývoj, nasazení a správu technologií AI v rámci své jurisdikce), další zhruba třetina pak zaujala spíše vyčkávací přístup.
Také se projevuje geopolitický tlak – například 60 % organizací přiznává, že není ochotná nebo schopná nasadit jiné nástroje GenAI než americké provenience.
Na druhou stranu dvě třetiny firem tvrdí, že se snaží být v oblasti suverenity AI nějakým způsobem aktivní anebo se angažují v reakci na vytčenou strategii. Polovina pak uvedla, že už realizuje strategické nebo provozní změny jako přímý důsledek suverenity AI.
Vzhledem k tomu, že nástroje GenAI se stávají všudypřítomnými, doporučují analytici firmám zvážit několik klíčových kroků:
- Vytvoření samokorekce tak, že se modely naučí samokorekci a neodpovídat na určité otázky v reálném čase, ale místo toho komunikovat frázi jako „mimo rozsah“.
- Vytvoření přísných postupů pro přezkoumávání případů použití, které vyhodnocují riziko „výstupu chatbota vedoucího k nežádoucímu lidskému jednání“ z hlediska právního, etického, bezpečnostního a dopadu na uživatele. Gartner radí použít kontrolní testování řeči generované prostřednictvím AI a měření výkonnosti vůči toleranci rizika stanovené příslušnou organizací.
- Zvýšení testování modelů/sandboxingu tím, že se vytvoří mezioborový tým složený z inženýrů, datových vědců i právních poradců, který navrhne protokoly předběžného testování a prověří výstupy modelu z hlediska nežádoucích konverzačních výstupů. Úsilí tohoto týmu o zmírnění nežádoucích termínů v trénovacích datech modelu a nežádoucích témat ve výstupech modelu by se mělo průběžně dokumentovat.
- Zavedení techniky moderování obsahu, jako jsou například „tlačítka pro nahlášení zneužití“ či „varovné štítky AI“.

Securitytrends si můžete koupit i jako klasický časopis, buď v klasické tištěné formě nebo v elektronické verzi. Věnujeme se bezpečnosti počítačových systémů, ochraně dat, informací a soukromí. Jsme jediný titul na českém a slovenském trhu, který oslovuje širokou čtenářskou obec – od ředitelů firem, přes odborníky na bezpečnost po koncové uživatele. Naším cílem je poskytnout ucelený přehled o bezpečnostních hrozbách a zejména o tom, proč a jak se jim bránit, případně proč respektovat a dodržovat nařízení IT manažerů ve firmách.
Jsme jediný titul na českém a slovenském trhu, který oslovuje širokou čtenářskou obec – od ředitelů firem, přes odborníky na bezpečnost po koncové uživatele. Naším cílem je poskytnout ucelený přehled o bezpečnostních hrozbách a zejména o tom, proč a jak se jim bránit, případně proč respektovat a dodržovat nařízení IT manažerů ve firmách.