Июль 2011 года, запомниться надолго многим, особенно тем, чьи СМС-ки были проиндексированы Яндексом. Порой техническая ошибка стоит очень дорого, как в данном случае… вообще непоправимый урон...

Не успели все отойти от этой громкой новости, как на днях новый «гром среди ясного неба» - при вводе в строку поиска определенного кода, Яндекс, Google и другие поисковые системы выдают несколько тысяч страниц со статусами заказов в онлайн-магазинах книг, игр, секс-товаров и т.д. Пример в Google, Пример в Yandex. Все на самом деле просто, для того, чтобы такого не происходило надо настраивать robots.txt.

По этому поводу, в интернете гуляет актуальный прикол:
«В конце июля 2011 года люди ВНЕЗАПНО обнаружили, что поисковые машины индексируют страницы в интернете!»

Что необходимо сделать, чтобы не попасть в такую ситуацию со своим веб-проектом:
(вкратце на основе рекомендаций Яндекса):
1. Необходимо защитить личную информацию посетителей сайта. Например, паролем.
2. Составить правильный файл robots.txt. В данном файле, можно ограничить доступ поискового робота к некоторым папкам, разделам на Вашем сайте. Таким образом они не попадут в поисковую выдачу.

Прошлой ночью, «Яндекс» опубликовал статью «Почему находится всё», с подробным объяснением о том, как защитить информацию посетителей и объясняющую причины, по которым конфиденциальные страницы, могут попасть в индекс поисковой системы.