Главная » Linux Ubuntu/Mint » Cервер nginx » Запрет индексации https версии сайта

📑 Запрет индексации https версии сайта

Достаточно часто бывают случаи, когда нужно чтобы поисковые системы индексировали только сайт только по протоколу http, а SSL версия (по протоколу https) не попадала в выдачу поисковиков. Например в случае использования сомоподписанного сертификата для доступа к админке WP по SSL.

Вроде открыли 443 порт только для админки, а поиковики норовят проиндексировать все страницы по HTTPS, что с самоподписанным сертификатом  плохо.

Разумно полностью запретить индексирование сайта при обращении бота по https. Для этого создаем дополнительный файл для робота, например robots_https.txt со следующим содержанием:

User-agent: *
Disallow: /

то-есть полностью запрещаем (вернее наверное — просим) индексировать сайт, и в конфигурационных файлах Apache или nginx подсовываем его роботу при обращении по HTTPS:

Для Apache:

        # подмненяем robots.txt для https
        RewriteEngine On
        RewriteCond %{HTTPS} =on
        RewriteRule ^/robots\.txt$ /robots_https.txt [L]

Для nginx:

        # подменяем robots.txt для https
        location = /robots.txt {
            if ($server_port = 443) {
                rewrite ^ /robots_https.txt last;
            }
        }

Не забываем перегружать nginx и все должно работать.

При перепечатке просьба вставлять активные ссылки на oslogic.ru
Copyright oslogic.ru © 2024 . All Rights Reserved.