Что такое ROBOTS.TXT и зачем он нужен для SEO?

Хотите, чтобы ваш сайт был правильно проиндексирован поисковыми системами? В SEO-студии Евгении Захаренко мы предлагаем комплексные услуги по seo-оптимизации сайтов, включая настройку файла rob