Файл robots.txt содержит правила для роботов поисковых систем. В нем указывается какие файлы и папки индексировать, а какие нет, основной домен сайт и ссылка на карту сайта.
Как вывести элементы инфоблока с различными параметрами фильтрации и сортировкой 2
Начинаем использовать PHPStorm IDE для работы над проектами на 1С Битрикс
Интерактивная карта объектов с помощью Яндекс.Карт и инфоблоков
Настраиваем robots.txt
Решаем проблему при подключении метрики и переносе скриптов в конец страницы