Technicky je ButterflyQuant založen na nové formě kvantizace, což znamená převod parametrů modelu (váhových matice neuronových sítí) do velmi nízkých bitových přesností, například na 2 bity místo standardních 16 nebo 32 bitů.
Tradiční kvantizace však vede k výrazné ztrátě přesnosti, protože pevné metody omezené na fixní transformace (například Hadamardovy rotace) neumožňují dostatečnou adaptabilitu.
ButterflyQuant přichází s průlomem v podobě učitelných ortogonálních transformací, tzv. „butterfly transforms“. Ty jsou parametrizovány pomocí spojitých Givensových rotací a během tréninku se adaptují pomocí gradientního sestupu, což přináší precizní řízení kompresního procesu.
Díky tomu mohou být váhy modelu konvertovány do ultra-nízkých bitových formátů, aniž by se výrazně snížila kvalita modelu.
Výsledkem této optimalizace je možnost provozu velkých LLM, jako je například LLaMA-2–7B, v 2-bitové kvantizaci s téměř stejnou přesností a výkonem jako plně precizní modely.
Chcete dostávat do mailu týdenní přehled článků z Computertrends? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.
To otvírá cestu k jejich nasazení na běžně dostupném hardwaru, například v podnikovém prostředí, kde by náklady na cloudové výpočty či speciální infrastrukturu byly jinak vysoké.
ButterflyQuant tak snižuje nároky na paměť a výpočetní výkon, přičemž zároveň udržuje modely schopné složitého zpracování přirozeného jazyka, generování textu či podpory rozhodování založeného na AI.
Tímto způsobem významně rozšiřuje přístup ke špičkovým nástrojům umělé inteligence i do menších firem či prostředí s omezenými zdroji.
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU