Jedna z manažerek společnosti Meta nedávno otestovala automatizovaného AI agenta OpenClaw, aby vyčistil její doručenou poštu. Pro jistotu mu zadala i pokyn, aby ji před provedením čehokoliv nechal akci potvrdit. To však neudělal a e-maily začal mazat svévolně.
Dotyčná jen sledovala, jak rychle prochází její doručenou poštu, a pokoušela se ho zastavit z jiného zařízení, což přirovnala k situaci podobné „zneškodňování bomby“. Jak vyplývá ze screenshotu, o který se podělila na sociálních sítích, AI agent se jí sice následně omluvil, přesto přišla o stovky e-mailů.
Jiný uživatel se na sítích pro změnu podělil o zkušenost, která mohla mít ještě fatálnější následky. Popisuje situaci, kdy se ve firmě rozezněl požární alarm a zaměstnanci se začali připravovat k evakuaci. Když to někdo zmínil v komunikaci na Slacku, integrovaný AI asistent odpověděl, že alarm je pouze plánovaný test a není třeba pracoviště opouštět. Test to však nebyl.
Oba případy poukazují na změnu: AI systémy už jen nenavrhují akce – ale provádějí je. Moderní autonomní agenti mohou mazat soubory, plánovat schůzky, odesílat zprávy a spravovat účty. Pro mnohé uživatele to je nepochybně atraktivní. Ovšem „jednání“ není jen rychlejší verzí „poradenství“ a v reálném světě může mít klidně i dramatické konsekvence.
Nástroje jako OpenClaw překládají pokyny v přirozeném jazyce do konkrétních operací v aplikacích. Když fungují, působí plynule. Ale interpretace není totéž jako porozumění. Lidský asistent, který slyší „potvrďte před provedením“, vnímá obezřetnost a před jakoukoliv akcí se přinejmenším pozastaví. Umělá inteligence analyzuje frázi statisticky a postupuje na základě vzorců. Pokud tyto vzorce selžou, neexistuje instinkt váhat – pouze provedení.
V případě doručené pošty uživatelka předpokládala bezpečnostní opatření. Systém tuto instrukci považoval za jeden z mnoha signálů. V chatovacím okně by tato neshoda mohla vést k chybné odpovědi. V autonomním systému vedla k vymazání dat.
Neznamená to, že agenti AI jsou k ničemu. Při opatrném používání mohou být nápomocni při repetitivních úkonech nebo při organizování informací. Problémem je rozsah a dohled. Je rozdíl mezi tím, nechat AI napsat návrh e-mailu ke kontrole, a nechat ji smazat zprávy bez potvrzení.
Je rozdíl mezi shrnutím nouzových postupů a rozhodnutím, zda je alarm skutečný. S rozšiřováním AI nástrojů jsou oprávnění často sdružována a z důvodu pohodlí jim udělována v širokém rozsahu. Každý krok se zdá být malý, ale jejich kumulativní autorita rychle roste.
Paralely lze najít i v jiných odvětvích. Autopilot v letectví zvyšuje bezpečnost, ale piloti jsou školeni, aby jej pečlivě sledovali. Ve finančnictví může algoritmické obchodování zvětšit malé chyby, pokud není kontrolováno. Automatizace funguje nejlépe v kombinaci s aktivním dohledem.
Autonomní AI agenti jsou rychlí a neúnavní, ale nejsou si vědomi. Vyčištění doručené pošty a zamítnutý požární alarm jsou připomínkou těchto jejich limitů. Důvěra v ně by tak měla odpovídat jak jejich spolehlivosti, tak i tomu, co je v sázce.
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU