Deepfake videa útočí. Falešný je hlavně Donald Trump

Sdílet

Autor: Adobe Stock
Za poslední dva roky bylo identifikováno 156 deepfake videí zaměřených na současné americké vládní úředníky. Největším terčem je Donald Trump, jehož podoba byla zneužita v 90 případech. Videa přitom nevznikají jen za účelem politické dezinformace – stále častěji slouží jako nástroj finančních podvodů, při nichž důvěryhodnost veřejně známých tváří nahrazuje klasické phishingové techniky.

Z celkových 602 zkoumaných úředníků jich bylo vytvořením deepfake videa zasaženo 23. Rozložení je přitom výrazně asymetrické: Trump s 90 deepfaky tvoří 58 procent celého souboru. Na druhém místě stojí ministr zahraničí Marco Rubio se 13 případy, na třetím viceprezident JD Vance se 12 případy. 

Tato trojice dohromady pokrývá 73,7 procenta všech zaznamenaných videí. Nejvíce zasaženou demokratkou je kongresmenka Alexandria Ocasio-Cortez s devíti záznamy.

Pusťte si jeden z našich úspěšných podcastů
V chaosu veřejných zakázek létá bilion korun, technologie to pomohou zvládnout
V chaosu veřejných zakázek létá bilion korun, technologie to pomohou zvládnout
0:00/

Celkově 76 procent deepfaků míří na příslušníky Republikánské strany. Po vyloučení Trumpa ze statistiky se však rozdělení mezi oběma stranami výrazně vyrovnává. Stranická příslušnost tedy není primárním faktorem – rozhoduje míra mediální viditelnosti.

Proč tato videa vznikají

Studie Cybernews identifikuje tři hlavní kategorie motivů, přičemž finanční podvody v datech převažují nad politickou dezinformací.

Nejčastější kategorií jsou investiční scamy a phishingové kampaně. Syntetická videa zobrazují politiky, jak doporučují kryptoměnové platformy, slibují výnosy z investičních produktů nebo vyzývají k převodům finančních prostředků. Mechanismus je přímočarý: důvěra, kterou veřejnost vkládá do konkrétní osoby, se přenáší na podvodný produkt. 

Chcete dostávat do mailu týdenní přehled článků z Computertrends? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.

Zaznamenané případy zahrnují videa, v nichž Trump vyzývá k investicím do blíže nespecifikovaných tokenů s příslibem vysokých výnosů (což je vlastně realitě hodně blízko), nebo Vance „doporučuje" platformy zaměřené na obchodování s kryptoměnami. Oběti zpravidla nejprve odešlou nižší částku přes komunikační platformy, načež jsou postupně přesvědčovány k větším převodům.

Druhou kategorií je politická dezinformace. Falešná videa přisuzují úředníkům výroky, které nikdy nepadly, nebo je zobrazují v situacích konstruovaných za účelem poškození jejich reputace. Mezi zdokumentovanými případy figurují videa, v nichž Trump pronáší prohlášení eskalující politické napětí, nebo Ocasio-Cortez „přiznává" jednání neslučitelné s výkonem funkce. Tento typ obsahu se šíří primárně v politicky vyhraněných online komunitách, kde nachází připravené publikum.

Třetí, méně zastoupenou kategorií je sociální inženýrství zaměřené na přístup k systémům nebo citlivým informacím. Zde se deepfaky kombinují s hlasovým klonováním a cílenými phishingovými zprávami, přičemž syntetický hlas nebo obličej politika slouží jako prostředek k získání důvěry konkrétního příjemce.

Jsme digitálně zdraví? Vůbec, jsme čím dál víc nemocní, trpí hlavně dívky Přečtěte si také:

Jsme digitálně zdraví? Vůbec, jsme čím dál víc nemocní, trpí hlavně dívky

Společným jmenovatelem všech tří kategorií je vztah mezi viditelností a využitelností: čím více veřejného obrazového a zvukového materiálu o dané osobě existuje, tím snáze a věrohodněji lze syntetické video vytvořit.

Technologický kontext

Dostupnost nástrojů pro tvorbu syntetických videí se za poslední dva roky zásadně změnila. Modely, které ještě v roce 2023 vyžadovaly specializované hardwarové vybavení a odborné znalosti, jsou dnes dostupné prostřednictvím webových rozhraní bez nutnosti lokální instalace. Kvalita výstupu přitom roste souběžně s klesající technickou náročností jejich použití.

Detekční nástroje za tímto vývojem zaostávají. Šíření probíhá primárně prostřednictvím sociálních médií, kde rychlost distribuce výrazně převyšuje rychlost detekce a moderace. Algoritmické prostředí těchto platforem přirozeně zvyšuje dosah obsahu s vysokým emočním nábojem – a falešná videa zobrazující vrcholné politiky ho mají téměř vždy.

Jak deepfaky rozpoznat

Detekce syntetického videa je možná kombinací manuálního posouzení a automatizovaných nástrojů. Na vizuální úrovni se deepfaky nejčastěji prozrazují nesouladem pohybu rtů a slyšeného zvuku, nepravidelným nebo chybějícím mrkáním, nekonzistentním osvětlením obličeje vůči pozadí a artefakty na hranicích obličeje – zejména v oblasti vlasů, zubů a prstů.

Pár datových center pro AI může emitovat víc skleníkových plynů než celé země Přečtěte si také:

Pár datových center pro AI může emitovat víc skleníkových plynů než celé země

Pro systematickou detekci existuje několik specializovaných nástrojů. Hive Moderation nabízí analýzu videa i audia prostřednictvím API a dosahuje vysoké míry přesnosti při identifikaci syntetického obsahu. Microsoft Video Authenticator analyzuje pohyb obličeje a vzorce mrkání. Deepware Scanner funguje jako webový nástroj přístupný bez registrace a podporuje i analýzu hlasu. Reality Defender je platforma orientovaná na firemní nasazení s důrazem na komplexní pokrytí různých typů syntetického obsahu.

Při hodnocení konkrétního videa platí jako obecné pravidlo ověření na oficiálních kanálech dané osoby před jakoukoliv reakcí na obsah, který vyzývá k okamžité akci.

Regulatorní rámec

Na úrovni Evropské unie vstoupil v platnost AI Act, který syntetický obsah zobrazující reálné osoby klasifikuje jako oblast vyžadující transparentní označení. Povinnost označovat deepfaky jako uměle vytvořený obsah se vztahuje na poskytovatele systémů umělé inteligence i na platformy distribuující takový obsah. Vymahatelnost těchto pravidel v praxi zůstává otevřenou otázkou, zejména v případě obsahu šířeného přes platformy se sídlem mimo EU.

Ve Spojených státech legislativa v této oblasti zůstává roztříštěná. Část států přijala vlastní zákony zaměřené na deepfaky v kontextu voleb nebo sexuálního zneužití podobizny, federální úprava však dosud chybí.

Český kontext

Trend se netýká pouze Spojených států. V Česku policie eviduje rostoucí vlnu deepfake podvodů, které kopírují americký model investičních scamů. Typický případ zahrnuje syntetické video s podobiznou mediálně známé osobnosti – moderátorky, politika nebo podnikatele – která „doporučuje" investiční platformu s příslibem rychlého zhodnocení úspor. Po kliknutí na odkaz v takovém videu následuje kontakt od falešného investičního poradce, který oběť postupně přesvědčuje k převodům stále vyšších částek.

Pokuty kvůli GDPR za první tři měsíce roku přesáhly 68 milionů eur Přečtěte si také:

Pokuty kvůli GDPR za první tři měsíce roku přesáhly 68 milionů eur

Mezi osobami, jejichž podobizna byla v Česku tímto způsobem zneužita, figurují Lucie Borhyová, Leoš Mareš, Andrej Babiš či Petr Fiala. Mechanismus je totožný s americkými případy: vysoká mediální viditelnost zajišťuje dostatek zdrojového materiálu pro tvorbu věrohodného syntetického videa a zároveň zvyšuje důvěryhodnost podvodného sdělení v očích potenciálních obětí.

TOP100

Výhled

Dostupná data naznačují, že četnost deepfaků v čase poroste. S dalším rozšiřováním nástrojů pro generování syntetického videa lze očekávat, že tlak na detekční kapacity platforem i na mediální gramotnost veřejnosti se bude dále zvyšovat. 

Schopnost rozlišit autentický videozáznam od syntetického výstupu přestává být otázkou technologické specializace a stává se součástí základní informační hygieny jak pro jednotlivce, tak pro organizace, které pracují s veřejně exponovanými osobami.

Computertrends - promo

Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.

Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.