Generální ředitel společnosti Cloudflare Matthew Prince potvrdil, že úterní výpadek jejích služeb byl způsoben interní chybou, nikoli útokem.
Ve vysvětlujícím příspěvku na webu uvedl, že byl „vyvolán změnou oprávnění v jednom z databázových systémů, která způsobila, že databáze vygenerovala více záznamů do ‚konfiguračního souboru‘ používaného systémem Bot Management“.
Inkriminovaný soubor pomáhá Cloudflare síti identifikovat škodlivé chování botů. Změna oprávnění však způsobila, že se jeho velikost prudce zvýšila a překročila limity, které má Cloudflare do svého softwaru zabudované. Když systém na nadměrně velký soubor narazil, selhal.
Pak sice naběhl znovu, ale jen na chvíli, pak zase selhal. Cloudflare totiž ve stejný čas aktualizoval oprávnění v databázovém clusteru ClickHouse, navrženém pro zpracování obrovských objemů dat v reálném čase, avšak chybně.
To vedlo k tomu, že jeho systémy každých pět minut vytvářely novou verzi daného konfiguračního souboru, která, byla-li zrovna využívána aktualizovaná část clusteru, byla opět nadměrně velká. To v úterý zapříčinilo sérii přerušení funkčnosti systému Cloudflare, v čase mezi 12:20 a 14:00 středoevropského času.
„Kvůli těmto výkyvům nebylo jasné, co se děje, protože celý systém se zotavil a pak znovu selhal… Zpočátku nás to vedlo k domněnce, že by to mohlo být způsobeno útokem,“ řekl Prince.
Teprve později si Cloudflare uvědomil, že příčina byla interní, a nebyl jí rozsáhlý DDoS útok. Nakonec problém vygradoval tak, že každý uzel ClickHouse clusteru generoval chybný soubor, což vedlo k úplnému a trvalému selhání.
Jakmile byla jasná příčina problému, společnost Cloudflare přestala distribuovat chybné soubory, vložila jeho správnou verzi a vynutila restart hlavního proxy serveru, aby systémy načítaly pouze platná data. Napravit problém trvalo dlouho a další systémy závislé na proxy serveru v důsledku toho utrpěly související problémy.
Prince se za výpadek omluvil: „Výpadek, jako byl ten dnešní, je nepřijatelný. Naše systémy jsme navrhli tak, aby byly vysoce odolné… Když jsme v minulosti měli výpadky, vždy nás to vedlo k budování nových, odolnějších systémů.“
Už teď prý Cloudflare k několika takovým opatřením přistoupil…
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU