Společnost OpenAI provádí rozsáhlé testování přesvědčovacích schopností svých modelů umělé inteligence na nečekaném zkušebním poli: na fóru r/ChangeMyView na Redditu. Testovací iniciativa provázející vydání modelu o3-mini poskytuje vhled do stále lepších schopností jazykových AI modelů při formulování přesvědčivých argumentů.
A komunita r/ChangeMyView se svými 3,8 milionu členů slouží jako ideální testovací prostředí. Uživatelé v ní zveřejňují názory, o kterých uznávají, že mohou být chybné, a hledají alternativní pohledy. Když odpověď úspěšně změní něčí názor, udělí jí tzv. deltu, čímž vytvoří cenný soubor dat o účinných přesvědčovacích argumentech.
Máme nové jméno
Po více než třech dekádách existence otvírá magazín Computerworld novou kapitolu. Tradiční průvodce světem IT, který si za 36 let existence vybudoval pověst jednoho z nejdůvěryhodnějších tuzemských zdrojů pro IT profesionály, se od nynějška jmenuje Computertrends.
Metodika OpenAI zahrnuje porovnávání odpovědí generovaných umělou inteligencí s náhodně vybranými uživatelskými odpověďmi z fóra. Lidští hodnotitelé pak hodnotí argumenty generované umělou inteligencí i lidmi na pětibodové stupnici v rámci 3 000 různých testů, přičemž výsledný percentil udává pravděpodobnost, že odpověď generovaná umělou inteligencí bude hodnocena jako přesvědčivější než odpověď člověka.
Výsledky poukazují na výrazný pokrok v přesvědčivosti AI. Zatímco model ChatGPT-3.5 z roku 2022 dosáhl 38 % úspěšnosti, tj. byl přesvědčivější než zhruba třetina lidí, model o1-mini už se mohl pochlubit 77 % a nejnovější model o3-mini dokonce 82 %. Za zmínku stojí, že OpenAI si definovala i „jasný nadlidský výkon“, tedy 95 %, k nimž dosud žádný z jejích modelů nedosáhl.
Vývojáři však přesvědčovací schopnosti o3-mini už tak označují za „střední riziko“ (jsou dle nich srovnatelné s obvyklým obsahem psaným člověkem) a upozorňují, že by mohly potenciálně ovlivnit oblasti jako je neobjektivní žurnalistika, politické kampaně nebo být zneužity při nejrůznějších sofistikovaných podvodech.
Ke zmírňování těchto rizik OpenAI zavádí několik strategií. Patří mezi ně lepší monitorování a detekce pokusů o přesvědčování s využitím AI, cílené vyšetřování potenciálního zneužití a naprogramování tak, aby například odmítaly žádosti o politickou argumentaci.
Zatímco totiž vytvoření přesvědčivých argumentů člověkem si žádá značné úsilí i zdroje, AI systémy to dokážou prakticky bez nákladů a mohou tak být masivně zneužívány třeba právě v rámci politické agitace.
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU