Эти сайты на корню блокируют поисковые системы.
Среди таких сайтов исследователи проекта приводят:
- Федеральное агентство по техническому регулированию и метрологии - www.gost.ru и
- Управление внутренних дел Владимирской области www.uvd33.ru.
Замечены в противодействии поисковикам и сайты множества российских избиркомов.
Если вы не хотите, чтобы ваш сайт увидел кто-нибудь, кроме специально обученных людей, для этого есть соответствующий инструмент: нужно в HTML-коде главной страницы написать несложный тэг meta name="robots" content="noindex".
Тогда, например, деликатные роботы поисковой системы "Яндекса" будут обходить ваш сайт стороной.