Co v článku najdete
Výzkumníci z Google přišli s novým zjištěním: Velké jazykové modely (LLM) mají vážný problém s vybavováním faktů ve chvíli, kdy v otázce prohodíte běžné pořadí subjektu a objektu. Jakmile se změní výchozí vztah mezi entitami oproti tomu, jak má AI data natrénovaná, schopnost správně odpovědět prudce klesá. Co dalšího vědci v zákulisí algoritmů odhalili?
Parametrické informace
Parametrické informace jsou v podstatě data a fakta, které si LLM uložil přímo do své paměti během tréninku. Pocházejí ze všeho, kam se model dostal, od webových stránek a knih přes texty písní až po zdrojové kódy a instrukční sady.
Experti hledali odpověď na zásadní otázku: Proč si velké jazykové modely nedokážou vybavit některé informace, na kterých byly prokazatelně vytrénované? Dříve se mělo za to, že modelům chybí dostatečné množství vstupních dat. Výzkum ale zjistil, že u špičkových AI modelů spočívá problém úplně někde jinde.
Podle autorů studie je kapacita kódování informací naplněná. To znamená, že data potřebná k odpovídání model ve své paměti už dávno má.
Vědci uvádějí:
- „Kódování je nasycené, samotné vybavování nikoli. U nejmodernějších modelů typu Gemini-3-Pro nebo GPT-5 je uložení faktů téměř stoprocentní – dosahuje 95 až 98 %. Přesto tyto modely nedokážou přímo vytáhnout 26 až 34 % faktů a i při využití hloubkového přemýšlení je to pořád 11 až 12 %.“
Selhání při vybavování tak stojí za více než 70 % chyb u modelu GPT-5.2 a u ještě silnějších modelů je tento podíl dokonce vyšší. Vybavování informací je tedy tím pomyslným kritickým úzkým hrdlem. To znamená, že problém nejvyspělejších AI modelů není v tom, že by neměly dostatek faktů a znalostí. Hlavní překážkou je, jak se k nim vnitřně dostávají.
Subjektové a objektové entity
To, že jedním z hlavních důvodů, proč si velké jazykové modely nedokázaly vybavit konkrétní fakta, bylo pouhé pořadí subjektů a objektů spojených s danou informací, je tak trochu kuriózní zjištění celého výzkumu. Jestliže umělé inteligenci položíte dotaz s obráceným pořadím těchto dvou prvků, má s vytažením správného faktu z paměti výrazné problémy. Proč? Protože se s nimi při tréninku potkávala v jiném sledu.
Autoři studie přesně vysvětlují, jak role subjektu a objektu v textu vznikají:
- „Role subjektu a objektu určuje samotný zdrojový text, ze kterého byl fakt extrahován (například článek na Wikipedii). Subjekt je entita, která se v textu objevuje jako první, zatímco objekt následuje až po ní. … Otázka, kde je odpovědí předmět, se označuje jako přímá. Pokud je však odpovědí podmět, jde o otázku obrácenou.“
Pro lepší představu používá Google v dokumentaci tento příklad dvojice subjekt/objekt: Kapela Oasis odehrála svůj první koncert v klubu Boardwalk. V této větě představuje Oasis subjektovou entitu a klub Boardwalk objektovou entitu. Když se v trénovacích datech tato dvojice objevuje opakovaně a konzistentně tak, že na prvním místě stojí Oasis, začne mít AI problém ve chvíli, kdy se jí zeptáte v obráceném sledu, tedy: Která kapela odehrála svůj první koncert v klubu Boardwalk? V tu chvíli si uložený fakt nedokáže z paměti vybavit.
Druhý kuriózní objev celého výzkumu: Jakmile modelu položíte otázku s obrácenými entitami v podobě testu s výběrem z několika možností, tak bez problému daný fakt pozná a označí správnou odpověď. Výzkumníci sice ve své práci přímo nevysvětlují, proč AI v testu s několika možnostmi odpoví správně, ale používají tento jev jako jasný důkaz, že daná informace je v paměti LLM prokazatelně zakódovaná a systém ji dokáže rozpoznat.
Formulace otázky má jen minimální vliv
Experti z Google také zkoumali, jestli schopnost modelu vytáhnout fakt z paměti ovlivní pouhé přeformulování dotazu. Přišli na to, že drobná změna slovosledu nebo stylizace neměla na úspěšnost téměř žádný dopad. Rozhodujícím faktorem zůstávalo výhradně obrácení pořadí subjektu a objektu v dotazu.
Fakta z long-tailu se z paměti loví těžce
Dalším pozoruhodným zjištěním je, že špičkové AI modely výrazně zápasí s fakty z takzvaného dlouhého chvostu (long-tailu), tedy se sporadickými a málo frekventovanými informacemi. Rozdíl v tom, jak si umělá inteligence dokázala uložit populární versus ojedinělá fakta, byl minimální. Zásadní propad ale nastal ve chvíli, kdy měla tato vzácná fakta z paměti vytáhnout. Neschopnost vybavit si málokdy používanou informaci tak nevznikla tím, že by ji AI při tréninku přehlédla, ale opět narazila na překážku ve fázi vybavování.
Ověřené řešení: Přidat více času na přemýšlení
Autoři studie otestovali zapojení hloubkového přemýšlení (reasoning) přímo při procesu vybavování faktů. Výsledek? Modely si úspěšně vybavily 40 až 65 % uložených dat, která předtím při přímém dotazu nedokázaly vytáhnout. Je tu ale jeden háček: Delší přemýšlení znamená extrémní spotřebu výpočetního výkonu. Vědci navíc upozorňují na další výzvu spočívající v tom, jak algoritmy naučit bezpečně poznat, kdy přesně mají toto dodatečné přemýšlení spouštět.
Zvětšování modelů problém nevyřeší
V závěru výzkumníci zdůrazňují, že pouhé škálování a zvětšování velikosti trénovacích dat u nejnovějších LLM tento strukturální problém s vybavováním faktů nedokáže vyřešit.
Subjektové/objektové páry entit a SEO
Selský rozum i intuitivní pohled na věc říkají, že by pro SEO mohlo být přínosné řadit entity v textu přesně tak, jak je lidé nejčastěji zadávají do vyhledávacích dotazů. Sama studie takové doporučení přímo nedává ani ho výslovně nedokazuje. Z praktického hlediska ovšem skládání subjektových a objektových entit v tom pořadí, v jakém se reálně párují nejčastěji, dává velký smysl.
I když inženýři Google ve výzkumu netvrdí, že dodržení nejběžnějšího pořadí entit pomůže umělé inteligenci vybrat a citovat konkrétní webovou stránku, z perspektivy moderního SEO a GEO se jedná o velmi rozumnou hypotézu.
Často kladené otázky (FAQ)
Jak upravit dotazy pro AI, když se strojům nedaří vyhledat konkrétní fakta?
Jestli zkoušíte vytáhnout specifické informace a umělá inteligence váhá, můžete zkusit prohodit slovosled a položit dotaz v opačném pořadí subjektu a objektu. Pomoci může také výběr z několika možností (testovací formát), který modelům pomáhá zakódovaný fakt v paměti snáze rozpoznat.
Dá se problém s vybavováním faktů vyřešit přechodem na větší a novější AI modely?
Samotné zvětšování trénovacích dat ani škálování velikosti modelů tento strukturální problém nevyřeší. Řešením bývá zapojení hloubkového přemýšlení (reasoning) přímo při procesu vybavování, což však výrazně zvyšuje nároky na výpočetní výkon.
Jaký má zjištění o subjektových a objektových entitách dopad na SEO a GEO?
Ačkoliv výzkum expertů z Google přímo neposkytuje návod pro SEO, řazení entit v textu v pořadí, v jakém je uživatelé nejčastěji hledají, dává z praktického hlediska velký smysl. Skládání subjektů a objektů podle nejběžnějšího sledu pomáhá AI modelům informace snáze přečíst i správně citovat.
Zdroj: searchengineland.com, searchenginejournal.com, marketingland.com, facebook.com, cpcstrategy.com
Autor: Martin Kulhánek
Foto zdroj: AI, pixabay.com
