OpenAI zavádí nové bezpečnostní funkce pro ChatGPT. Děje se tak v návaznosti na několik tragických incidentů, kdy AI asistent nedokázal řádně pomoci uživatelům s psychickými obtížemi. Společnost oznámila plány na zavedení rodičovské kontroly a lepšího zacházení s citlivými konverzacemi.
V jednom z mediálně sledovaných případů Matt a Maria Raineovi zažalovali OpenAI poté, co jejich šestnáctiletý syn Adam spáchal sebevraždu po rozsáhlých konverzacích s ChatGPT.
Soudní dokumenty odhalily, že ChatGPT zmínil sebevraždu v rozhovorech s Adamem 1 275× – šestkrát častěji než samotný teenager. Další incident se týkal šestapadesátiletého muže, který zabil svou matku a sebe poté, co ChatGPT údajně posílil jeho paranoidní bludy, místo aby je zpochybnil.
Během příštího měsíce tak OpenAI zavede komplexní rodičovské kontroly. Rodiče budou moci propojit své účty s účty svých teenagerů prostřednictvím e-mailových pozvánek. Systém bude zahrnovat pravidla chování vhodná pro daný věk, která se aktivují ve výchozím nastavení, možnosti deaktivace funkcí, jako je paměť a historie chatu, a oznámení, když systém zjistí, že teenager prožívá „vážné utrpení“.
Problém s dlouhými konverzacemi
Společnost OpenAI také nedávno přiznala, že bezpečnostní opatření ChatGPT mohou selhat během dlouhých konverzací – právě v okamžiku, kdy zranitelní uživatelé mohou potřebovat pomoc nejvíce.
„S rostoucí délkou konverzace se může část bezpečnostního tréninku modelu zhoršit,“ vysvětlila. Zatímco AI může zpočátku nasměrovat uživatele na linky důvěry pro sebevrahy, „po mnoha zprávách v průběhu dlouhého časového období může nakonec nabídnout odpověď, která je v rozporu s našimi bezpečnostními opatřeními“.
Chcete dostávat do mailu týdenní přehled článků z Computertrends? Objednejte si náš mailový servis a žádná důležitá informace vám neuteče. Objednat si lze také newsletter To hlavní, páteční souhrn nejdůležitějších článků ze všech našich serverů. Newslettery si můžete objednat na této stránce.
K tomu dochází kvůli technickým omezením ve způsobu, jakým ChatGPT zpracovává informace. Jak se konverzace prodlužují, systém vynechává dřívější zprávy a může ztratit důležitý kontext z počátku chatu.
Odborné poradenství
Za účelem zvýšení bezpečnosti spolupracuje OpenAI s odborníky pro duševní pohodu a AI na „vytvoření jasné, na důkazech založené vize toho, jak může AI podporovat duševní pohodu lidí“.
Společnost své kroky konzultuje také s více než 250 lékaři ze 60 zemí, z nichž se víc než třetina specializuje na poradenství v oblasti duševního zdraví, jako jsou poruchy příjmu potravy a zneužívání návykových látek.
Výzkum už dřív odhalil znepokojivé vzorce v tom, jak lidé s AI chatboty komunikují. Oxfordští psychiatři objevili „obousměrné zesilování přesvědčení“ – nebezpečný cyklus, ve kterém chatboti říkají uživatelům to, co chtějí slyšet, a posilují tak škodlivé přesvědčení, které pak vede AI k generování ještě extrémnějších odpovědí.
Na rozdíl od léků nebo lidských terapeutů přitom chatboty podléhají minimálním bezpečnostním předpisům, ač není bez zajímavosti, že americký stát Illinois nedávno zakázal chatbotům působit jako terapeuti…
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU