Просматривая результаты поисковой выдачи Яндекса, я с удивлением обнаружил, Яндекс выдаёт ссылки на мой сайт через HTTPS:
Также приходилось сталкиваться с тем, что Яндекс умудряется проиндексировать тестовый сайт вместо боевого, хотя тестовый сайт работал через порт 2080.
Чтобы избежать индексирования поисковиками через HTTPS надо создать отдельный файл robots.https.txt с полным запретом индексирования:
User-agent: * Disallow: /
а затем в файле .htaccess прописать следующее (если web-сервер у нас Apache):
RewriteEngine On
RewriteBase /
RewriteCond %{SERVER_PORT} ^443$
RewriteRule ^robots\.txt$ robots.https.txt [L]
