Nové smartphony Google Pixel 11 si poradí i se znakovou řečí

Google DeepMind ve spolupráci s produktovým týmem Pixelu připravil SL2T (Sign Language to Text), model umělé inteligence určený k rozpoznávání znakového jazyka a jeho převodu na psaný text. Funkce se poprvé objevuje v rodině smartphonů Pixel 11 a v úvodní fázi pracuje s americkým znakovým jazykem (ASL), který převádí do angličtiny.

Model SL2T pohání nový nástroj pro převod znaků na text, který Google integruje přímo do klávesnice Gboard a do aplikace Live Transcribe. Uživatelé díky tomu mohou využívat kameru telefonu ke znakování místo psaní na klávesnici, jde například o vyhledávání na webu, psaní textových zpráv a e-mailů, editaci dokumentů nebo zadávání dotazů asistentu Gemini. V aplikaci Live Transcribe pak uživatel může odpovědět znakováním přímo během osobní konverzace, aniž by musel odpověď vypisovat na klávesnici.

Pusťte si jeden z našich úspěšných podcastů

Kyberbezpečnost a zákony bez obalu

0:00/

SL2T se odklání od dřívějších systémů rozpoznávání znakového jazyka, které stavěly na takzvaných glosách, tedy zjednodušených textových značkách přiřazených jednotlivým znakům. Google DeepMind uvádí, že tento přístup nedokázal zachytit komplexní a nelineární povahu znakových jazyků, včetně neverbálních markerů, jako jsou výrazy obličeje a prostorová gramatika, které v ASL nesou významovou informaci.

Model místo toho převádí přímo geometrická data o pohybu těla na text, aniž by procházel mezikrokem v podobě glos. Telefon nejprve na zařízení převede pohyby rukou na geometrické body a tato data následně bezpečně odesílá k překladu, což podle Google zvyšuje ochranu soukromí uživatelů.

Přečtěte si také:

Kde je digitálním nomádům v Evropě nejlépe? Estonsko vede, kolikáté je Česko?

ASL je samostatný jazyk s vlastní gramatikou, kde je význam vyjadřován pohyby rukou, paží, trupu, hlavy a obličeje, často současně. Google model SL2T trénoval na více než sto tisících hodinách dat pokrývajících více než padesát znakových jazyků, přičemž zhruba čtvrtinu tohoto objemu představoval právě ASL.

Google v dokumentaci k modelu uvádí, že SL2T může mít potíže s regionálními variantami znaků, slangem, komplexní gramatikou ASL, rychlým odhláskováním nebo s významy vyjádřenými primárně mimikou či pohyby hlavy. Model může také generovat takzvaný „ghost text“, tedy slova, která uživatel ve skutečnosti neznakoval, a to například při pauze v komunikaci nebo když do záběru kamery vstoupí další osoba.

Google plánuje dále spolupracovat s poradním výborem pro znakový jazyk a postupně rozšiřovat technologii na další znakové jazyky a zařízení. Do budoucna společnost počítá také s vývojem opačného směru překladu, tedy s umělou inteligencí schopnou generovat znakový jazyk.

Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.

Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.