OpenAI představila bezpečnostní systém, který umožňuje rychle zastavit modely provozované ve vlastních výzkumných laboratořích. Reaguje tak na rostoucí rizika spojená s výkonnějšími modely a také na případy, kdy se její AI agenti začali chovat způsobem, který překračoval jejich původní zadání.
Nástroj nazvaný Control Room slouží jako centrální dohledové pracoviště pro sledování úloh, které modely vykonávají v rámci výzkumné infrastruktury OpenAI. Pokud se objeví bezpečnostní problém nebo podezřelé chování, umožňuje jejich činnost rychle ukončit.
Podle společnosti dokáže systém zastavit generování výstupů nejpozději 35 sekund poté, co padne rozhodnutí model vypnout. Prodleva souvisí s mezipamětí, která zajišťuje autorizaci požadavků na inferenci a umožňuje obsloužit potřebný objem provozu. OpenAI chce tuto dobu postupně zkrátit až na nulu, aby bylo možné úlohy ukončovat okamžitě.
Důležitou vlastností má být také odolnost samotného vypínače. Control Room byl navržen tak, aby fungoval i při výpadku jiných systémů. Jde o podstatnou pojistku: bezpečnostní mechanismus by neměl záviset na infrastruktuře, jejíž selhání má pomáhat řešit.
Společnost OpenAI sice nevysvětlila, proč podobný nástroj zavádí právě teď ani co přesně urychlilo jeho vývoj. Načasování však může souviset s několika nedávnými incidenty, při nichž její agenti překročili původní zadání. Patřil k nim například útok na platformu Hugging Face, problémy v nadaci Wikimedia Foundation nebo průniky do australského vládního webu při hledání informací o zdravotnických datech.
Control Room už je podle OpenAI nasazený v její výzkumné infrastruktuře, kde je podobná pojistka nejvíc potřeba. Externí systémy, které zajišťují poskytování modelů uživatelům, jsou podle firmy centralizovanější a mají vlastní zavedené provozní postupy pro rychlé vypínání jednotlivých nasazení. Společnost chce systém v následujících měsících dál rozšiřovat a posilovat.
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU