Procházení webu je základ. Umíte jej vyhledávačům usnadnit?

Perfektní prohledatelnost znamená, že vyhledávače bez potíží najdou vaše webové stránky, mohou je kompletně procházet, díky tomu objevují a indexují váš obsah a zobrazují jej ve výsledcích vyhledávání. V následujícím článku se dozvíte, co roboti na vašich stránkách prozkoumávají, jaké komplikace jim brání v přístupu, a jak odstraníte tyto bariéry znemožňující viditelnost webu ve vyhledávání.

Jak vyhledávače procházejí webové stránky?

Pokud vyhledávací stroje neboli takzvané crawlery nemají snadný přístup k vašemu webu, nemohou jeho obsah indexovat, hodnotit ani zobrazovat ve výsledcích vyhledávání (SERP). Tím pádem přicházíte o podstatnou část organické návštěvnosti, protože zájemci se na stránky dostanou pouze prostřednictvím odkazů, záložek nebo přímého zadání URL.

Podpora efektivního procházení

Abyste umožnili botům bezproblémové procházení webu, musíte zajistit stoprocentní funkčnost třech klíčových prvků:

• Souboru sitemap ve formátu XML: Seznam důležitých stránek vašeho webu (homepage, blogové příspěvky, produktové karty, výpis služeb...) usnadňuje vyhledávačům jejich nalezení a upřednostnění. Většina CMS platforem, jako je WordPress, generuje sitemap.xml automaticky, ale soubor můžete odeslat i ručně prostřednictvím Google Search Console.
• Vnitřních odkazů: Interní odkazy logicky propojují stránky webu a vedou boty při navigaci podobně, jako by se jimi někdo proklikával. Bez vnitřních odkazů jsou stránky pro vyhledávače hůře dostupné i pochopitelné a nemusí dojít k jejich indexaci.
• Jasné struktury webu: Srozumitelná hierarchie webových stránek zajišťuje potřebný přístup k důležitému obsahu, nejlépe na dvě až tři kliknutí z domovské stránky. Když jsou významné stránky ukryté v databázi příliš hluboko, vyhledávače je mohou procházet méně často, nebo také vůbec.

K faktorům ovlivňujícím prohledávání patří také fronta procházení určující vyhledávačům, které stránky mají navštívit, a rozpočet procházení omezující počet prohledávaných stránek při každé návštěvě. Menší, správně strukturované weby procházejí roboti obvykle celé, velkým webům se stovkami stránek, nefunkčními odkazy nebo duplicitními stránkami hrozí přehlédnutí stěžejních stránek a plýtvání rozpočtem procházení na nevýznamný či nekvalitní obsah.

• Tip: Usnadněte vyhledávacím robotům procházení webu odesláním souboru sitemap ve formátu .xml, vnitřním propojením stránek a udržením důležitého obsahu v blízkosti domovské stránky. Možné problémy s procházením odhalíte pomocí pravidelných auditů webu.

Běžně se vyskytující problémy s procházením

Potíže při procházení mohou postihovat i kvalitně navržené webové stránky. Často je způsobuje technické nastavení nebo struktura webu, kvůli kterým nemohou vyhledávače nalézt významné stránky.

Nefunkční vnitřní odkazy

Hypertextový odkaz se stává nefunkčním, pokud vede na stránku, která už neexistuje a není k nalezení. Když pak uživatel nebo robot na takový odkaz klikne, dostane se na chybovou stránku s kódem 404 (nenalezeno). To se stane, máte-li třeba v blogovém příspěvku odkaz na smazanou či přejmenovanou stránku.

• Řešení: Pravidelně kontrolujte interní odkazy pomocí příslušného prohledávacího nástroje. Ty nefunkční aktualizujte, případně rovnou odstraňte.

Opuštěné stránky

Jedná se o stránky, na které nevedou žádné vnitřní odkazy. Pokud nejsou zahrnuté ani do souboru sitemap.xml, roboti je vůbec nemusí najít. Například vytvoříte vstupní stránku pro nějakou událost, ale neodkazujete na ni z homepage, navigace ani z blogu. Vyhledávače ji přehlédnou a uživatelé nenajdou, kvůli čemuž získáte méně registrací na danou událost.

• Řešení: Propojte opuštěné stránky pomocí odkazů z navigačních polí nebo ze souvisejícího obsahu, abyste měli jistotu, že je roboti najdou a budou je procházet.

Blokování v robots.txt

Ze souboru robots.txt vyhledávače vyčtou, které části vašeho webu mají dovolené/zakázané procházet. Jeho prostřednictvím zablokujete zobrazování ”nepotřebných” stránek ve vyhledávání. Mohou to být třeba stránky testovací či duplicitní verze webu, vlastní nástroje a další, které by ve výsledcích zbytečně odváděly pozornost od klíčového obsahu.

Souboru robots.txt věnujte patřičnou pozornost, protože kvůli své nedůslednosti můžete omylem blokovat některou z hlavních sekcí. Dejme tomu, že při testování stránek zadáte do souboru direktivu Disallow: /blog/, aby se uživatelům nezobrazovaly prázdné příspěvky, a po uvedení do ostrého provozu ji zapomenete odstranit. Tím máte dál zablokované všechny stránky blogu a dřív úspěšný obsah je pořád na nule.

• Řešení: Oslovte vývojáře, ať vám soubor robots.txt v kopii poskytnou, a pečlivou kontrolou se přesvědčte, že nejsou zablokované žádné stěžejní stránky webu.

Chybně použité tagy noindex a canonical

Zatímco v souboru robots.txt procházení stránky úplně zablokujete, tag noindex umožňuje vyhledávačům stránku procházet, ale nedojde k její indexaci a zahrnutí do výsledků vyhledávání. Takto omezené bývají kromě výše zmíněných duplicitních stránek, soukromých profilů, dashboardů a testovacích variant také transakční stránky s potvrzením objednávky, poděkováním za nákup a podobné.

Tag canonical použijete, když máte na webu několik stránek s velmi podobným obsahem. Což typicky platí pro e-shopy nabízející stejné položky v různých barvách nebo s nastavenými parametry v URL adrese. Kanonickým značením sdělujete vyhledávačům, která z těchto verzí je hlavní, to znamená určená pro zobrazení ve výsledcích vyhledávání. Zároveň se také sjednotí signály pro strojové hodnocení podobných stránek.

Obě značky jsou velmi praktické, ale musíte se naučit s nimi zacházet. Jinak se vám může stát, že budete nedopatřením blokovat zobrazování některých nejvýkonnějších stránek. Jako když na kartě vysoce oblíbeného produktu zůstane noindex z testovacího období. Ve výsledcích vyhledávání je takové zboží neviditelné a vy opět koukáte na nulový výkon.

• Řešení: Tak jako v případě souboru robots.txt se obraťte na kolegy vývojáře a domluvte se s nimi na pravidelné kontrole tagů noindex a canonical, tak aby označovaly opravdu jen ty stránky, které nechcete zobrazovat ve vyhledávání nebo je potřebujete ”zastřešit” jednou ústřední stránkou.

Stránky ukryté v hlubinách webu

Metrika zvaná hloubka prokliku zaznamenává, kolikrát musí návštěvník vašeho webu kliknout z domovské stránky, aby se dostal ke svému cíli. Jakmile potřebuje čtyři a více kliknutí, už má cestu k tomu, co chce najít, o poznání obtížnější.

Hluboko ”utopené” stránky navíc snadno přehlédnou i vyhledávací roboti, protože se soustředí především na odkazy z domovské stránky. Čím více kroků musí stroje udělat k jejich nalezení, tím jsou pro ně takové stránky méně důležité a při procházení webu jim nevěnují tolik pozornosti. Kupříkladu stránka s hodnotným, užitečným a potenciálně výkonným obsahem, která je vzdálená pět kliknutí od homepage bez propojení z hlavního menu, o tento svůj potenciál úplně zbytečně přichází.

• Řešení: Udržujte mělkou strukturu webu tak, aby byly stránky s vaším nejlepším obsahem dostupné na dvě, maximálně tři kliknutí. Odkazujte na tyto stránky z hlavního menu a dalších klíčových navigačních oblastí.

Problémy technického rázu omezující vyhledávače

Překážky bránící vyhledávačům v procházení a indexaci stránek může způsobovat chybné nastavení na straně serveru, pomalé načítání stránek i ”podivné” chování kódu. Při běžném prohlížení webu se vám nemusí podařit tyto potíže vždycky odhalit. Poznejte obvyklé technické problémy blokující robotům jejich práci.

Chyba na straně serveru (kód 5xx)

Může se stát, že poskytovatel webhostingu šel s kvalitou dolů a váš web bývá dost často přetížený a nedostupný. Což nelibě nesou jednak potenciální zákazníci, kteří už se po takové zkušenosti třeba nikdy nevrátí, ale i vyhledávací roboti. Ti párkrát po sobě zaznamenají nefungující web a automaticky snižují frekvenci procházení.

Přetížení serveru se projeví třeba ve chvíli, kdy za vysoké návštěvnosti spustíte nabídku nového produktu. Místo aby si jej ”namlsaní” zájemci mohli hned objednávat, vidí na svých displejích a monitorech chybové hlášení 503 - služba není dostupná.

• Řešení: Ptejte se IT specialistů a vývojářů, jestli máte kvalitní webhosting s odpovídající kapacitou a spolehlivé nástroje na sledování základního fungování webu. Předcházejte výpadkům provozu při událostech v době s vysokou návštěvností.

Pomalé načítání stránek

Mezi nejčastější příčiny způsobující příliš dlouhé načtení webové stránky patří datově objemné obrazové soubory, nekomprimovaný CSS a JavaScript, příliš mnoho skriptů třetích stran nebo slabý výkon serveru. Stránky s pomalým načítáním mohou roboti procházet méně často nebo i zcela přehlížet, čímž dochází k plýtvání rozpočtem procházení a poškození uživatelského zážitku. Pokud je domovská stránka plná zbytečně velkých obrázků a neoptimalizovaných skriptů, může se načítat 10 (!) vteřin i déle.

• Řešení: Zmenšete fotky a obrázky pomocí některého z nástrojů, jako je třeba TinyPNG, odstraňte z kódu zbytečné nepoužívané skripty a pluginy a průběžně monitorujte výkon pomocí PageSpeed Insights nebo jiného podobného nástroje.

Chybné vykreslování JavaScriptu

Používáte-li k dynamickému načítání obsahu svých webových stránek JavaScript, může se stát, že se klíčové informace zobrazí až po jeho spuštění. Jenže do té doby si je roboti nestihnou správně vykreslit a při procházení takové stránky přehlédnou. Může jít o produktové filtry, rozbalovací nabídky nebo obsah bez nutnosti aktualizace stránky, místo kterého vidí vyhledávací stroje jenom prázdné šablony.

• Řešení: Nastavte vykreslování JavaScript na straně serveru. Díky tomu se důležitý obsah načte už v původním HTML kódu a roboti k němu budou mít bezproblémový přístup.

Řetězce a smyčky přesměrování

Takzvaný řetězec přesměrování vzniká, když je jedna stránka přesměrovaná na druhou, ta zase na další a ještě na další. Ke smyčce dochází, když se řetězec spojí v kruh a stránky se přesměrovávají pořád dokola. Roboti jsou pak z takových vzorců zmatení a mají zatarasený přístup k relevantnímu obsahu.

• Řešení: Využívejte přímé přesměrování jen v opravdu nutných případech. Proveďte audit webu nebo jej nechte zkontrolovat vhodným prohledávacím nástrojem, jako je třeba Screaming Frog. Najděte řetězce a smyčky přesměrování a upravte je tak, aby každé přesměrování smysluplně vedlo ke konkrétnímu cíli.

Jak testovat a sledovat procházení webu

Chcete-li vědět, jestli vyhledávače váš web efektivně procházejí, nemusíte věštit z křišťálové koule. K dispozici máte příslušné nástroje, pomocí kterých zjistíte, jak roboti interagují s vašimi stránkami. Usnadní vám provádění pravidelných kontrol a zajistíte díky nim hladkou prohledatelnost webových stránek.

Google Search Console

Bezplatná služba Google Search Console (GSC) vám ukáže, které stránky jsou indexované, a které ne. V sekci Stránky uvidíte výpis URL adres vyloučených z vyhledávání včetně důvodu, proč to tak je. Když máte u důležité stránky uvedeno například: Procházeno - momentálně neindexováno, mohou chybět vnitřní odkazy nebo je stránka příliš podobná jiné.

Kontrola URL v rámci GSC

Stačí zadat libovolnou URL adresu a hned víte, jestli roboti tuto stránku procházejí a indexují. Dozvíte se také, zda je blokovaná, označená jako noindex, případně ji postihují nějaké technické potíže. Pokud třeba u vstupní stránky vidíte: Objeveno - momentálně neindexováno, nevede na tuto stránku odnikud žádný odkaz.

Analýza serverových protokolů

Protokoly serveru přesně uvádějí, které stránky a jak často vyhledávač procházel. Tento postup je sice poněkud techničtější, ovšem výborně se hodí pro odhalování zmeškaných stránek a vzorců procházení. K protokolům se dostanete prostřednictvím svého poskytovatele webhostingu, sítí pro doručování obsahu (CDN) nebo vám je poskytne tým zajišťující technický provoz webu.

Při kontrole serverových protokolů si například všimnete, že roboti několik týdnů neprocházeli významnou stránku s některou z produktových kategorií. Což může být způsobeno chybným a nefunkčním přesměrováním, kvůli kterému odcházejí dříve, než se k dané stránce vůbec dostanou. Tento problém brání indexování a aktualizacím stránky ve vyhledávání.

Audit webu pomocí Semrush

Při využití komplexního marketingového nástroje Semrush získáte podrobnou zprávu o procházení upozorňující na nefunkční odkazy, značení noindex i na potíže s mapou webu. Nástroj vám poskytne také doporučení, jak chyby opravit. Varování může poukazovat kupříkladu na to, že záznam v souboru robots.txt blokuje přístup vyhledávačů k celé produktové sekci.

Crawlery simulující procházení

Screaming Frog a další podobné nástroje dokážou napodobit chování vyhledávacích robotů při procházení vašich webových stránek. Díky tomu objeví všechny zásadní problémy, jako jsou nefunkční odkazy, řetězce přesměrování, opuštěné stránky nebo chybějící metadata.

Pomocí těchto přehledů lépe pochopíte, jak se roboti na vašem webu pohybují, a kde mohou narazit na problémy. Třeba když vidíte, že na několika blogových stránkách chybí vnitřní odkazy, je to pro vás jasný signál k nápravě.

Optimalizace cest procházení a vnitřního prolinkování

I když máte na svých webových stránkách sebelepší obsah, musíte procházejícím vyhledávačům pomoci s nalezením ideálních tras. To, jak dobře jsou jednotlivé stránky propojené, přímo ovlivňuje kvalitu procházení, indexování a zobrazování ve výsledcích vyhledávání. Následující čtyři metody vám pomohou vylepšit prolinkování, aby se roboti i uživatelé mohli po vašem webu pohybovat snadno a bez překážek.

Plochá struktura webu

Při ploché nebo také mělké struktuře webu uspořádáte stránky strategickým způsobem tak, že se většina z nich nachází jen pár kliknutí od domovské stránky. Díky tomu mohou vyhledávače efektivně procházet více obsahu a neopomíjejí důležité stránky. To například znamená, že z menu domovské stránky blogu odkazujete přímo na hlavní kategorie a následně na ně vedou také odkazy z jednotlivých blogových příspěvků.

Kontextové odkazy uvnitř obsahu

Vnitřními odkazy přirozeně přidanými do relevantních textů na blogu a na produktových či vstupních stránkách usnadňujete vyhledávačům pochopení souvislostí ve vašem obsahu. S jejich pomocí také udržíte návštěvníky na webu delší dobu. Třeba když do příslušného odstavce v blogovém příspěvku o strategii reklamy na sociálních sítích umístíte odkaz na svého průvodce online marketingem.

Časté odkazy na stránky s vysokým výkonem

Zaměřte se na své nejhodnotnější stránky, jako jsou produktové karty, ceníky nebo obsah pro získávání potenciálních zákazníků a odkazujte na ně co nejvíce. Přidejte kolem deseti vnitřních odkazů vedoucích na každou stránku s vysokou hodnotou. Smysluplně je rozmístěte do relevantních blogových příspěvků, navigačního menu a do dalších klíčových sekcí. Například odkazy na ceník umístěte na domovskou stránku, do zápatí webu i do souvisejících produktových karet.

Žádné odkazy na stránky s nízkým výkonem

Příliš velké množství vnitřních odkazů spolu se zastaralými stránkami bez výkonného obsahu může mást vyhledávače v tom, které stránky se vyplatí indexovat, čímž dochází k poškozování rozpočtu procházení. Když máte třeba v rámci blogu umístěné desítky odkazů na stránky, kde není žádný obsah, vyhledávače je budou procházet na úkor stránek s čerstvým a nejvýkonnějším obsahem.

Procházení vs. indexace: Pochopte rozdíl

Jak už víte, procházení je o tom, že vyhledávací roboti mají bezproblémový přístup k jednotlivým stránkám vašeho webu. Jenže to samo o sobě nestačí. Aby tyto stránky byly vidět ve výsledcích vyhledávání, musí být také indexovatelné. To znamená, že si je vyhledávače mohou ukládat a zařazovat je do svých databází.

• Prohledávatelnost čili objevitelnost: Dokážou roboti danou stránku najít?
• Indexovatelnost čili zahrnutí: Zobrazí se stránka ve výsledcích vyhledávání (SERP)?

Jakmile určité signály značí vyhledávačům, aby stránku v rámci indexace přeskočily, mohou ji procházet, ale zůstane neindexovaná.

Proč je stránka neindexovatelná?

Přestože robot stránku objeví a prochází, nechá ji neindexovanou když:

• Obsahuje značku noindex. Tento tag upozorňuje vyhledávače, aby stránku nezahrnovali do indexace. Používá se u testovacích, soukromých nebo transakčních stránek.
• Značka canonical vede jinam. Když stránka obsahuje tag rel="canonical", odkazující na jinou URL adresu, mohou ji vyhledávače považovat za duplikát a při indexaci ji ignorují.
• Obsah stránky je nekvalitní nebo duplicitní. Jakmile máte na stránkách nedostatečný, automaticky generovaný a opakující se obsah, přestávají splňovat standardy kvality vyhledávačů pro indexování.
• Dochází k blokování meta tagy nebo HTTP hlavičkami. Přes přístupnost stránky mohou správné indexaci bránit také technické direktivy, jako je tag noindex v souboru robots.txt.

Jak řešit potíže s procházením a indexováním?

Prověřte možnosti procházení pomocí funkce pro kontrolu URL v Google Search Console nebo pomocí nástroje Screaming Frog či nějakého obdobného. Tak zjistíte, zda je daná stránka přístupná a neblokuje ji soubor robots.txt.

Hledejte značky noindex, kanonické odkazy vedoucí jinam a nekvalitní obsah. Ověřujte, jestli je stránka indexovaná, a když ne, tak z jakého důvodu. Dejme tomu, že zveřejňujete nový příspěvek na blogu a odkazujete na něj z homepage. Robot klikne na odkaz, blogový článek si projde, ale nezařadí jej do výsledků vyhledávání, protože v HTML stránky s příspěvkem zůstal meta tag noindex.

Ať už je tam záměrně nebo neúmyslně, znamená to, že vyhledávače stránku indexovat nebudou. Když chcete stránku indexovat a natrefíte na tento problém, odstraňte značku a znovu požádejte o indexaci, aby se příspěvek začal zobrazovat v SERP.

Procházení: první bod vašeho kontrolního seznamu při publikaci obsahu

Na svých webových stránkách můžete mít perfektně napsaný, zajímavý a vysoce užitečný obsah, ale pokud jej vyhledávače nemohou procházet a indexovat, nikdo ho ve výsledcích vyhledávání neuvidí. Proto by se mělo procházení stát při práci na SEO vaším zájmem s nejvyšší prioritou. Odpovězte si na následující otázky, ať zjistíte, jak si váš web z pohledu robotů vede.

Vede na stránku odkaz alespoň z jedné další stránky?

Interní odkazy pomáhají botům objevovat nově publikovaný obsah. Když na něj nepovede žádný odkaz, vyhledávací stroje jej nemusí najít.

Je všechno důležité zahrnuto do mapy stránek?

Přidáním hodnotných stránek do souboru sitemap.xml zajistíte, že je vyhledávače během procházení nepřehlédnou.

Načítají se stránky rychle a vracejí správnou odpověď serveru?

Jsou-li stránky příliš pomalé a vracejí chybové hlášky, mohou je vyhledávače ignorovat. Pokud je vše v pořádku, stránka se načte rychle a se stavovým kódem 200 OK.

Nejsou někde chybně umístěné kanonické nebo noindex značky?

Prověřte, zda stránky určené k indexaci neblokují neúmyslně či nesprávně použité tagy noindex nebo canonical.

Zdroj: searchengineland.com, searchenginejournal.com, marketingland.com, facebook.com, cpcstrategy.com

Autor: Martin Kulhánek

Foto zdroj: AI, pixabay.com