Náklady na jazykové modely LLM se do pěti let až desetkrát sníží

Analytici Gartneru tvrdí, že nejpozději v roce 2030 bude vykonávání inferenčních operací na velkém jazykovém modelu (LLM) s bilionem parametrů stát poskytovatele generativní umělé inteligence (GenAI) desetinu toho, co v loňském roce.

„Toto snížení nákladů bude poháněné hned několika faktory. Jde o zlepšení efektivity polovodičů a infrastruktury, inovace v návrhu modelů, vyšší využití čipů, častější nasazení čipů specializovaných pro různé typy inference a také použití edge zařízení pro konkrétní případy použití,“ vysvětluje Will Sommer, analytik Gartneru.

Klesající náklady na AI tokeny u poskytovatelů GenAI se však plně nepřenesou na podnikové zákazníky, varuje.

Podle něj totiž bude pokročilá umělá inteligence vyžadovat výrazně více tokenů než současné běžné aplikace, takže se snížení jednotkové ceny nemusí příliš projevit v konečné faktuře.

Například agentní modely vyžadují na jeden úkol 5 až 30krát více tokenů než standardní chatbot s GenAI, na druhou stranu ale AI agenty dokážou pomocí GenAI vykonat mnohem více úkolů než člověk, tvrdí Sommer.

Nižší jednotkové náklady na tokeny kromě toho, že umožní využívat pokročilejší funkce GenAI, však zároveň povedou k neúměrně vyšší poptávce po tokenech. 

A vzhledem k tomu, že spotřeba tokenů roste rychleji, než klesají náklady na tokeny, Gartner nakonec očekává nárůst celkových nákladů na inferenci.

To povede k tomu, že firmy budou úkoly s různou přidanou hodnotou zpracovávat na různých modelech tak, aby se dosáhlo nejvyšší efektivity. 

Rutinní úkoly budou například využívat velmi levné malé či specifické jazykové modely, zatímco velké modely LLM se využijí pouze pro složité úlohy.

Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.

Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.