Пустая директива Allow больше не будет запрещающим сигналом для поисковых роботов.
Зачастую в robots.txt ошибочно используется пустая директива Allow, запрещающая посещение всех страниц индексирующим роботом, которые в итоге не могут получить доступ сайту.
![](/_next/image?url=https%3A%2F%2Fadmin.itb-company.com%2Fstorage%2F2023%2F08%2F14%2Ffbd02ca402a92679725b793d348ebbf7c321caa7.png&w=1920&q=100)
Раньше это правило принималось роботом как полностью запрещающее, что мешало сайтам показываться в поисковых результатах. Если же владельцы целенаправленно запрещали роботам посещение сайтов, прописывалась четкая команда запрета.
В связи с этим было принято решение изменить обработку этой директивы и игнорировать ее при обнаружении в robots.txt. Теперь для корректного учета запрета пустое правило Allow нужно заменить на Disallow:
![](/_next/image?url=https%3A%2F%2Fadmin.itb-company.com%2Fstorage%2F2023%2F08%2F14%2Fe5a00e52e567b2e2f1fccac36be01a80de0220c7.png&w=1920&q=100)
Для проверки того, что разрешено, а что запрещено нужно обратиться к Яндекс.Вебмастеру. Следует также уделить внимание пустым значениям для Allow, так как для запрета индексирования их не должно быть.
![](/_next/image?url=https%3A%2F%2Fadmin.itb-company.com%2Fstorage%2F2023%2F08%2F14%2Fd138d707c487ccc809098456e9276ee0a976c8cf.png&w=1920&q=100)
![](/_next/image?url=https%3A%2F%2Fadmin.itb-company.com%2Fstorage%2F2023%2F08%2F14%2F492eb86ac7b18e3380a91f65edfa8574e6113e15.png&w=1920&q=100)
Спасибо за новую информацию!
Подскажите, а если в ROBOTS.TXT запретить индексацию страницы с изображениями, т осами изображения будут индексироваться?
Если вы запретите индексацию страницы - следовательно и весь контент на этой странице будет закрыт. Чтобы открыть для индексации изображения - внесите правило «Allow /*.jpg» в файл Robots.txt