Jak sledovat roboty vyhledávačů v Google Analytics

Proč měřit roboty

A nemáme tím na mysli spamboty, na ty dnes najdete za pár minut spoustu filtrů. Náš článek se zaměřuje na měření robotů vyhledávačů (a jiných). Nicméně nakupují přece lidé, ne roboti.

To je jistě pravda. Ale vyhledávače rozhodují, kde se váš web bude zobrazovat. Četnost procházení sice pravděpodobně není jedním z faktorů algoritmu, ale její roli nemůžeme zanedbat. Stejně tak mezi tyto faktory nepatří rychlost webu, ale tzv. dwell time, který je však často rychlostí ovlivněný.

Vyhledávače upřednostňují relevantní a aktuální obsah. Aktuálnost hodnotí jednak tím, zda se na webu provádí změny, a také tím, kdy robot naposled viděl obsah (z jakého data má poslední záznam v indexu). Pokud máte na webu problém s procházením nebo spoustu zbytečných parametrů, frekvence procházení důležitých stránek se může snížit. Objemu stránek, které robot prochází, se říká crawl budget a k optimalizaci crawl budgetu vám měření robotů může přispět.

Kromě toho můžete odhalit případy, kdy vyhledávače na vaše stránky chodí, ale neindexují je – někde je pak zřejmě problém.

Výhoda tohoto řešení spočívá v jeho jednoduchosti – nasazení zvládne téměř každý kodér (je to záležitost 10–30 minut) a výsledky vidíte v Google Analytics. Tam si můžete stránky segmentovat třeba podle kategorií nebo vaší struktury a pohybujete se v prostředí, které znáte. Oproti logům serveru nemusíte zálohovat data – ukládají se vám do GA automaticky.

Serverové logy jsou přesnější metoda, GA totiž nezachytí vše, nicméně pro 90 % webů zcela dostačují.

A teď ke konkrétnímu nasazení

Asi první užitečný návod byl na blogu Adriana Vendera, ale vzhledem k tomu, že už několikrát měl výpadky a skript bylo třeba upravit, upravený a aktualizovaný skript máte k dispozici na Githubu.

Jak na nastavení

1) Vytvořte si novou službu v GA (nové číslo UA). Nemůžete použít stávající, protože by se vám smíchaly dohromady návštěvy botů a lidí

2) Stáhněte si soubory z Githubu

3) Vytvořte složku /gaforsearchbots na svém webu. Například: www.cognito.cz/gaforsearchbots

4) Vložte bots-to-ga do vašeho PHP kódu jako: include_once("/cesta/k/souboru/bots-to-ga.php");

5) Upravte ID v souboru bots-to-ga, aby odpovídalo vašemu nově založenému UA. V souboru nahradíte MO-XXXXXX-YY vaším UA (ale místo UA nechte MO)

K čemu je takové měření robotů dobré

1) Kontrola indexace

Spustili jste nový web, čekáte na zaindexování a nevíte, zda na něj roboti vůbec chodí? Tak teď už víte. Pokud by na web chodili a on se stále neobjevil v indexu, může to značit problém, např. s obsahem.

2) Kontrola průchodnosti

Máte v indexu jen některé stránky? Nechtějí se vám některé stránky rankovat? Možná se k nim robot nemůže dostat (třeba jsou za javascriptovým menu).

3) Optimalizace crawl budgetu

Možná vám boti vyhledávačů zbytečně prochází stránky s parametry, které by nemuseli. Jenže některé parametry jsou někdy téměř nenaklikatelné, pokud jste člověk. Zato bot se dostane i do míst, která by vás nenapadla. Ta teď objevíte.

4) Optimalizace rychlosti webu

Je možné, že některý robot (a teď nemyslím vyhledávače, ale různé jiné crawlery) chodí na web až příliš často a neúměrnými požadavky na server ho zatěžuje. Zatrhněte mu to. Botů na internetu jsou stovky.

Konkrétní řešení se mohou mírně lišit podle vašeho řešení webu – skript je postaven pro běžné PHP, rubisti budou muset vymyslet alternativu.