База знаний по Open Source
Авторизация
Поиск по базе знаний

Достаточно часто бывают случаи, когда нужно чтобы поисковые системы индексировали только сайт только по протоколу http, а SSL версия (по протоколу https) не попадала в выдачу поисковиков. Например в случае использования сомоподписанного сертификата для доступа к админке WP по SSL.

Вроде открыли 443 порт только для админки, а поиковики норовят проиндексировать все страницы по HTTPS, что с самоподписанным сертификатом  плохо.

Разумно полностью запретить индексирование сайта при обращении бота по https. Для этого создаем дополнительный файл для робота, например robots_https.txt со следующим содержанием:

User-agent: *
Disallow: /

то-есть полностью запрещаем (вернее наверное – просим) индексировать сайт, и в конфигурационных файлах Apache или nginx подсовываем его роботу при обращении по HTTPS:

Для Apache:

        # подмненяем robots.txt для https
        RewriteEngine On
        RewriteCond %{HTTPS} =on
        RewriteRule ^/robots\.txt$ /robots_https.txt [L]

Для nginx:

        # подменяем robots.txt для https
        location = /robots.txt {
            if ($server_port = 443) {
                rewrite ^ /robots_https.txt last;
            }
        }

Не забываем перегружать nginx и все должно работать.

Добавить комментарий