Управлять поведением робота помогают robots.txt и sitemap.xml: они подсказывают, что сканировать, а что нет. Если робот не может добраться до страницы или тратит время на дубли, важные страницы индексируются хуже.
Связанные термины
Статьи по теме: материалы о веб-разработке в блоге →
Хотите разобраться не в теории, а в своём проекте? Услуга «Веб-разработка» →