Дубликаты бывают разные: твердые, жидкие, газообразные... ой, простите, что-то меня не туда заносит. Сейчас, только серьезности наберусь, брови сдвину к переносью и все распишу...
Да, так вот, дубликаты страниц бывают точные. Или полные – ну, как полный абзац. Это когда сайт делался руками, кривыми до спиралевидности. И получилось, что на одну и ту же страницу можно попасть по разным ссылкам. А роботу поисковому совершенно все равно – ему если в ссылках хоть одна буковка различается, то они для него уже разные. Или какие нибудь параметры одни и те же, но стоят в разном порядке. Вот, глядите, к примеру:
ляляля.ru/index.php?a=1&b=2&c=qwerty
ляляля.ru/index.php?c=qwerty&a=1&b=2
ляляля.ru/index.php?b=2&a=1&c=qwerty
Скрипту это все без разницы, он отдаст страницу и не поморщится. А боты... ну тупые они – непременно решат, что это три разных страницы. А потом при индексировании выяснится, что текст на них один и тот же. Да и все остальное совпадает в точности. Значит, полный абзац... то есть, простите, полный (точный) дубликат.
Или какой-то лишний параметр в URL затесался. Скрипту все равно, пусть их там будет хоть 100500, он отреагирует на те, что ему нужны, и не спросит, сколько их всего. А поисковая система опять нахватается дублей. И со всей серьезностью этот пучок дубликатов проиндексирует.
Некоторые еще сессиями балуются. Боятся, что пользователь куки запретит. Пользователь нынче пошел такой, что даже не слышал, что это такое и как их запрещают. Но все равно боятся – а вдруг он все-таки найдет, да и запретит. Вот и разрешают идентификаторы сессий в ссылках. А они уникальные – пришел бот, ему сессию открыли с уникальным номером, он ссылок с этой сессией нахватал и поволок. В следующий раз еще нахватает, с новой сессией. Но ссылки-то разные, значит, каждую страницу утащит снова. И так пока поисковику не надоест собирать одни и те же страницы.
А кроме полных абзацев бывают и неполные – как бы то же самое, но не совсем, чуть отличается. Их еще называют нечеткими дубликатами. Представьте, что вы статью на сайт написали, а потом видите – запятой не хватает. И написали ту же самую статью еще разок. Но запятая в этот раз на месте. И висят на сайте две страницы, у которых все отличие – одна только запятая. Это, значит, будет нечеткий дубликат.
Конечно, так не бывает, чтоб две одинаковые статьи сразу – кому охота столько букв два раза набивать. А вот всякие там описания товаров – сплошь и рядом одинаковые. К примеру, продаете вы две мухобойки – изготовитель один и тот же, марка одна, материал опять же один, только расцветка различается. Одна красная в белый горошек, а вторая тоже красная, но в синий горошек. Ясное дело, вы для экономии времени скопируете весь текст описания первой мухобойки, да и воткнете ее на страницу второй. Только цвет горошин замените – вот на это одно слово и будут ваши описания различаться. Все остальное совпадет. И таких нечетких дублей по всему интернету – как мух на помойке. Потому что кто-то еще ленивее, он у вас это описание скопирует к себе – для красной мухобойки в зеленый горошек.
А еще бывают страницы-пустышки. То есть, слабо наполненные (что-то я брови сдвигать забыл, извиняюсь). Допустим, меню в сайдбаре на три экрана, за полдня не промотаешь, а на самой странице текст "Швабра универсальная арт. 87153573" и фоточка этой самой швабры анфас. И такая же страница, только текст "Веник с повышенной подметающей способностью арт. 56753481" – и фото веника в профиль. Вы думаете, эти страницы разные? – Да на них на фоне меню эти тексты и не заметны, поисковик посмотрит и решит, что разницы между ними почти никакой. Научно говоря, исчезающе малая разница, которой можно пренебречь. Вот и пренебрежет – зачислит в стройные ряды нечетких дубликатов.
Еще есть чудаки – сначала движок поставят, дадут ботам по нему побегать и проиндексировать, а потом спохватятся: "Ой, а что ж это я статические URLы-то не сделал, без них же сейчас не модно!" – и пошел плагины навешивать, URLы менять. А боты тем временем весь его сайт и соберут в двух экземплярах. Доказывай им потом, что ты вовсе не этого хотел.
Тщательнее надо, ребятки...
Автор: Spinne (с) SEO форум webimho.ru