Достаточно часто бывают случаи, когда нужно чтобы поисковые системы индексировали только сайт только по протоколу http, а SSL версия (по протоколу https) не попадала в выдачу поисковиков. Например в случае использования сомоподписанного сертификата для доступа к админке WP по SSL.
Вроде открыли 443 порт только для админки, а поиковики норовят проиндексировать все страницы по HTTPS, что с самоподписанным сертификатом плохо.
Разумно полностью запретить индексирование сайта при обращении бота по https. Для этого создаем дополнительный файл для робота, например robots_https.txt со следующим содержанием:
User-agent: * Disallow: /
то-есть полностью запрещаем (вернее наверное — просим) индексировать сайт, и в конфигурационных файлах Apache или nginx подсовываем его роботу при обращении по HTTPS:
Для Apache:
# подмненяем robots.txt для https
RewriteEngine On
RewriteCond %{HTTPS} =on
RewriteRule ^/robots\.txt$ /robots_https.txt [L]
Для nginx:
# подменяем robots.txt для https
location = /robots.txt {
if ($server_port = 443) {
rewrite ^ /robots_https.txt last;
}
}
Не забываем перегружать nginx и все должно работать.