Пустая директива Allow больше не будет запрещающим сигналом для поисковых роботов.
Зачастую в robots.txt ошибочно используется пустая директива Allow, запрещающая посещение всех страниц индексирующим роботом, которые в итоге не могут получить доступ сайту.
Изменения обработки robots.txtРаньше это правило принималось роботом как полностью запрещающее, что мешало сайтам показываться в поисковых результатах. Если же владельцы целенаправленно запрещали роботам посещение сайтов, прописывалась четкая команда запрета.
В связи с этим было принято решение изменить обработку этой директивы и игнорировать ее при обнаружении в robots.txt. Теперь для корректного учета запрета пустое правило Allow нужно заменить на Disallow:
Изменения обработки robots.txtДля проверки того, что разрешено, а что запрещено нужно обратиться к Яндекс.Вебмастеру. Следует также уделить внимание пустым значениям для Allow, так как для запрета индексирования их не должно быть.
Изменения обработки robots.txt
Изменения обработки robots.txt
Спасибо за новую информацию!
Подскажите, а если в ROBOTS.TXT запретить индексацию страницы с изображениями, т осами изображения будут индексироваться?
Если вы запретите индексацию страницы - следовательно и весь контент на этой странице будет закрыт. Чтобы открыть для индексации изображения - внесите правило «Allow /*.jpg» в файл Robots.txt