Пустая директива Allow больше не будет запрещающим сигналом для поисковых роботов.
Зачастую в robots.txt ошибочно используется пустая директива Allow, запрещающая посещение всех страниц индексирующим роботом, которые в итоге не могут получить доступ сайту.
Раньше это правило принималось роботом как полностью запрещающее, что мешало сайтам показываться в поисковых результатах. Если же владельцы целенаправленно запрещали роботам посещение сайтов, прописывалась четкая команда запрета.
В связи с этим было принято решение изменить обработку этой директивы и игнорировать ее при обнаружении в robots.txt. Теперь для корректного учета запрета пустое правило Allow нужно заменить на Disallow:
Для проверки того, что разрешено, а что запрещено нужно обратиться к Яндекс.Вебмастеру. Следует также уделить внимание пустым значениям для Allow, так как для запрета индексирования их не должно быть.
