Гайд: Лучшие практики при настройке robots.txt и тегов meta robots в 2020 году

Таким вещам как robots.txt традиционно уделяется не так много времени, так как создается впечатление, что «и так все ясно». Тем не менее, именно проблемы настройки этого файла могут существенно влиять на ваше SEO.