Интересно почитать… Блог в котором есть много интересной информации…

27 июля 2011

Как запретить поисковикам индексировать сайты через HTTPS

Категория: программирование — Метки: — dmitriano @ 2:03

Просматривая результаты поисковой выдачи Яндекса, я с удивлением обнаружил, Яндекс выдаёт ссылки на мой сайт через HTTPS:

Яндекс https

Также приходилось сталкиваться с тем, что Яндекс умудряется проиндексировать тестовый сайт вместо боевого, хотя тестовый сайт работал через порт 2080.

Чтобы избежать индексирования поисковиками через HTTPS надо создать отдельный файл robots.https.txt с полным запретом индексирования:

User-agent: *
Disallow: /

(далее…)

SlogPost.ru