Похожие (дублированные) страницы. Как выявить дубли контента. Чем опасны дубли для продвижения. Как бороться и чистить дублированный контент

Контент (англ. content — содержимое) - информация, а именно, текст, изображения, видео, файлы, которые расположены на сайте.

1. Дающим наиболее полный и понятный ответ, решающим проблему человека: будь то поднять настроение, покончить со сложной дилеммой или приобрести качественный товар.
2. Без использования скрытых фрагментов, таких как:

• текст одного цвета с фоном,
• текст скрыт изображением, располагаясь позади него,
• размер шрифта равен значению 0.

• главные мысли выделены цветом или жирностью, чтобы пользователь сфокусировал на них внимание. Не забывайте, что веб-страницы не читаются, а мельком просматриваются.
• через реализована структура статьи,
• предложения объединены в абзацы, между которыми присутствует пустая строка,
• использованы списки, цитаты, таблицы,
• применены картинки, инфогра́фика, видеоролики, аудиозаписи. Изображения играют большую роль. Так, один читатель данного блога попросил перевести символы на скриншоте, на котором был изображён редактор Blogger.

Дублирование контента можно наблюдать не только при размещении данных на разных сайтах, но и при повторении информации на двух и более одного веб-проекта. Вот эксперимент на devvver.ru о негативе внутренних дубликатов и как этим могут воспользоваться конкуренты.

Рассмотрим какие инструменты у нас есть в борьбе с этим недугом.

Ссылки на страницу

Единственный стопроцентный способ не дать проиндексироваться странице - не размещать на неё ссылки, и не добавлять её в аддурилки Яндекса , Google и т.п.

Файл robots.txt

Текстовый файл robots.txt (например, ) прекрасный инструмент для управления индексацией. Справка Yandex , Google . Но если Гугл найдёт ссылку на закрытый в robots.txt URL, то он добавит его в выдачу.

Из-за этого здесь нужно вписывать только те веб-документы, до которых нельзя добраться иным путём , например, . И, конечно, sitemap для более качественной и быстрой индексации востребованных страниц.

HTTP заголовок

URL не будет проиндексирован, если показывает 404 или 301. А для Google, ещё и когда присутствует строка

X-Robots-Tag: noindex

Мета-теги robots

Это главный инструмент , потому что работает он и для Яндекса и для Гугла одинаково. На странице, доступ к содержимому которой должен быть запрещён, указывается:

Атрибут rel="canonical"

Обязательный атрибут rel="canonical" подсказывает предпочитаемый из нескольких web-документов с очень похожим содержанием, например, http://сайт/2010/07/kontent..html?showComment. Второй поисковая система проигнорирует, поскольку подчинится строке:

Яндекс.Вебмастер

media="print"

Не нужно создавать отдельную версию для печати. Стили можно скорректировать с помощью .

Удаление дубликатов, находящихся в индексе по ошибке

Несмотря на предпринятые меры, поисковые роботы могут проиндексировать нежелательную страницу. Задав запрос

Просмотрите всю выдачу, особенно с опущенными результатами в Гугле. В идеале этой надписи не должно быть:

Опущенные результаты надо убирать вручную. Для Yandex воспользуемся формой удаления страницы , а для Google нужно зайти в "Инструменты для веб-мастеров"-"Оптимизация"-"Удалить URL-адреса"-"Создать новый запрос на удаление".

Повторяющимся контентом обычно называют большие блоки информации в рамках одного или нескольких доменов, содержание которых либо полностью совпадает, либо почти не отличается. Как правило, в данном случае не преследуется цель ввода пользователя в заблуждение. Повторяющийся контент может использоваться без злого умысла, например:

• страницы форумов в обычных версиях сайтов и версиях для мобильных устройств;
• товары в интернет-магазине, показываемые при переходе по разным URL;
• версии страниц для печати.

Если на вашем сайте хранится несколько страниц с почти одинаковым контентом, вы можете указать предпочитаемый URL для Google. Это можно сделать разными способами. Такая процедура называется "нормализацией".

Однако в некоторых случаях контент намеренно дублируется в разных доменах с целью манипулирования рейтингом в поисковой системе или увеличения объема трафика. Использование обманных приемов, подобных этому, может оставить у пользователей негативное впечатление, так как в результатах поиска они будут видеть практически один и тот же многократно повторяющийся контент.

Google делает все возможное, чтобы индексировать и показывать страницы с уникальной информацией. Например, если на вашем сайте имеются "стандартная" и "печатная" версии каждой статьи, не отмеченные метатегом noindex , в результатах поиска будет отображаться только одна из них. В тех редких случаях, когда Google считает, что повторяющийся контент показывается для того, чтобы манипулировать рейтингом или вводить пользователей в заблуждение, мы внесем изменения в индекс и рейтинг рассматриваемых сайтов. В связи с этим рейтинг сайта может понизиться или сайт может быть вообще удален из индекса Google и будет недоступен для поиска.

Ниже приведены инструкции о том, как избежать проблем, связанных с повторяющимся контентом, и добиться того, чтобы пользователи видели нужный вам контент.

• Используйте 301. Если вы изменили структуру своего сайта, используйте переадресацию 301 ("постоянную переадресацию") в файле.htaccess для быстрой переадресации пользователей, робота Google и различных "пауков". (Для Apache это можно сделать с помощью файла.htaccess. Для IIS – через консоль администратора.)


• Будьте последовательны . Старайтесь использовать внутренние ссылки последовательно. Например, не создавайте ссылки на страницы http://www.example.com/page/ , http://www.example.com/page и http://www.example.com/page/index.htm .


• Используйте домены верхнего уровня . Чтобы помочь нам выбрать самую подходящую версию документа, используйте домены верхнего уровня во всех возможных случаях для показа контента, предназначенного для конкретной страны. Например, контент, связанный с Россией, рекомендуется размещать на сайте http://www.example.ru , а не на сайте http://www.example.com/ru или http://ru.example.com .


• Будьте осторожны при синдикации . Если вы предоставляете свой контент другим сайтам, то при каждом поисковом запросе Google всегда будет показывать ту версию, которую считает наиболее приемлемой для пользователей. Эта версия необязательно совпадает с той, которую выбрали бы вы. Однако стоит удостовериться, что на всех сайтах, на которых размещается ваш контент, имеется ссылка на исходную статью. Вы также можете попросить владельцев сайтов, использующих ваш синдицированный материал, заблокировать его с помощью метатега noindex, чтобы поисковые системы не включали в индекс их версии.


• Используйте Search Console, чтобы уведомить Google o предпочтительном для вас методе индексирования. Вы можете, в частности, указать главный домен (например, http://www.example.com или http://example.com).


• Избегайте шаблонных повторений . Например, вместо того чтобы помещать весь текст об авторских правах в нижней части каждой страницы, указывайте только самые основные сведения со ссылкой на страницу, на которой приводится подробная версия. Кроме того, с помощью инструмента Параметры URL можно выбрать предпочтительный способ обработки параметров URL в Google.


• Не применяйте программные "заглушки". Пользователям неинтересны пустые страницы. Например, не публикуйте страницы, содержание которых ещё не готово. Если же без страниц-заполнителей не обойтись, заблокируйте их с помощью метатега noindex , чтобы они не индексировались.


• Изучите свою систему управления контентом . Ознакомьтесь с тем, каким образом содержание показывается на вашем сайте. В блогах, на форумах и в других подобных системах один и тот же контент часто отображается в нескольких форматах. Например, запись блога может появиться на главной странице блога, на странице с архивами, а также на странице с другими записями – и всегда под одним названием.


• Уменьшите количество похожего контента . Если на вашем сайте много похожих страниц, добавьте на каждую из них уникальный контент или объедините их в одну. Предположим, у вас туристический сайт с отдельными страницами для двух городов, где представлена одна и та же информация. Вы можете вместо них разместить страницу с описанием обоих городов, или добавить на каждую уникальные материалы.

Google не рекомендует блокировать доступ поисковых роботов к повторяющемуся контенту с помощью файла robots.txt или иных способов. Если поисковые системы не имеют возможности сканировать страницы с таким содержанием, то они не смогут автоматически определять, что разные URL имеют одинаковый контент, и будут обращаться с ними как с уникальными страницами. Лучше всего разрешить сканирование этих URL, но при этом пометить их как точные копии с помощью ссылки rel="canonical" , инструмента обработки параметров URL или переадресации 301. Если наличие многочисленных копий значительно замедляет сканирование страниц, настройте частоту сканирования в Search Console.

Наличие на сайте повторяющегося контента не является основанием для принятия каких-либо мер по отношению к нему. Такие меры применяются только в том случае, если это сделано с целью ввести пользователей в заблуждение или манипулировать результатами поиска. Если у вас возникают проблемы из-за повторяющегося содержания, но вы не последовали приведенным выше советам, то мы выберем версию контента для показа в результатах поиска на свое усмотрение.

Однако если результаты нашей проверки показали, что вы использовали обманные приемы и ваш сайт был удален из наших результатов поиска, внимательно изучите свой сайт. Ознакомьтесь с нашим руководством для веб-мастеров и внесите необходимые изменения. Убедившись в том, что сайт соответствует требованиям, отправьте нам запрос .

В некоторых случаях алгоритмы Google могут выбрать URL стороннего сайта, на котором без разрешения размещены копии ваших материалов. Если ваше содержание было размешено на другом сайте с нарушением авторских прав, попросите его владельца удалить это содержание. Вы также можете отправить в Google запрос об удалении страницы, нарушающей авторские права, из результатов поиска. Для этого нужно отправить уведомление о нарушении Закона США "Об авторском праве в цифровую эпоху".

Была ли эта статья полезна?

Как можно улучшить эту статью?

Дублированный контент ухудшает индексацию сайта

«Разные дороги ведут в разные места, и только одно из них — правильное»

Здравствуйте друзья! Эту тему я давно собирался раскрыть на страницах своего сайта, поэтому, изучив достаточно много материала по дублированию контента и его причинах, последствиях и способах устранения этого негативного явления, решил изложить свои мысли по данной проблеме на своем скромном ресурсе.

Запаситесь терпением и тщательно изучите все излагаемые рекомендации статьи, а затем проверьте состояние ваших ресурсов. Если хотите видеть отличное ранжирование страниц своих сайтов в поисковых системах — неукоснительно их выполняйте.

Не претендуя на все возможные способы устранения причин дублирования контента, я, тем не менее, предложу изучить наиболее важные моменты этого вопроса.

Если обычный пользователь (а иногда и сам вебмастер) может не заметить дублированный контент сайте, то поисковики это сразу определят. Их реакция будет однозначной: контент с этих страниц перестанет быть уникальным . А это уже есть нехорошо, так как негативно скажется на их ранжировании.

Кроме того, дублирование размывает ссылочный вес, на определенную запись, которую, оптимизируя, вы пытались продвинуть в ТОП, как целевую страницу. Дубли просто сгубят все попытки ее оптимизации, а эффект перелинковки будет минимальным.

Что такое дубликаты контента?

1.Контент, скопированный кем-то или лично вами и размещенный на сторонних ресурсах.

О том как бороться с ворованным контентом, можно прочитать множество статей в интернете, как один из вариантов — моя статья. Можно ли истребить — вопрос риторический и на сегодняшний день, на мой взгляд, кардинальных решений данной проблемы в интернете нет. Есть только несколько более-менее действенных приемов.

2. Контент -дубликат, который создает собственными руками вебмастер.

Полный (или неполный) дубликат при распространении информации(или как еще их называют — анонсов) на специальных сайтах и форумах. Желаете получить дубликат вашей записи в интернете — продублируйте его на каком-либо приличном ресурсе — результат, почти всегда, будет незамедлительным. Дубликат возможен непосредственно на страницах сайта. Случалось ли вам видеть две одинаковые страницы на своем ресурсе, когда вы создавали лишь одну? Почему так происходит? Причины в редактировании записей или сохранении неоконченных в черновиках, а затем, по неосторожности, создание дубликата. Вебмастер, сам того не замечая и в дальнейшем не просмотрев все свои записи, что бы не обнаружить дубликат, живет себе припеваючи, не подозревая, что у него появились «двойняшки», «тройняшки» и т.п.

3. Дублирование по техническим причинам — возникновение дублей, в которых виноваты CMS.

Эти ошибки появляются от того, что разработчики CMS думают не как браузеры или поисковые пауки, а думают как и подобает разработчикам движков к сайтам; грешат этим многие — Joomla, например.

Немного поясню. Предположим, что вас есть статья с ключевой фразой «дублирование контента» . Она должна располагаться на странице с таким адресом:, http://домен.ru/дублирование контента/ , но тот же контент может отображаться, например, вот так: http://домен.ru/article-category/дублирование контента/ . А если еще учесть другое дублирование, страницы , например: http://домен.ru/дублирование контента/?source=rss . Все эти урлы — разные адреса для любой , но один и тот же для пользователя(читателя). Эти различия позволяют вебмастеру проследить откуда пришел пользователь, но они могут и навредить, если не сделать нужных настроек индексирования.

Сайты, как известно, работают благодаря существующей системе базы данных. В базе существует единственная версия определенной статьи(ID), а вот скрипты сайта позволяют выводить эту статью из базы данных на разных страницах(URL) . Но для поисковиков нужен документ(URL) — только он является уникальным индефикатором и больше ничего!

4. Нечеткие дубли.

Особый вид дублирования, который встречается в основном на интернет-магазинах, где где страницы с карточками товаров отличаются лишь несколькими предложениями с описанием, а весь остальной контент, состоящий из сквозных блоков и прочих элементов, одинаковый. Трудно винить вебмастера, хотя и тут есть некоторые варианты их устранения.

Итак, мы разобрались с причинами и последствиями дублирования контента. Теперь перейдем к решению проблем. Прежде всего, выясним

Как обнаружить страницы-копии?

1. Ручной способ.

1) Если ваш контент не слишком велик, просто пролистайте в админпанели страничку «Все записи » и, при обнаружении дубликатов, удалите лишние.

2) Для выяснения наличия дублей, можно воспользоваться сервисами поисковых систем «Яндекс-вебмастер» или Google Webmaster Tools.

Например, в Webmaster Tools откройте страницу «Инструменты для вебмастеров» — «Оптимизация» — «Оптимизация HTML» : если есть ошибки и дубликаты, мастер все вам покажет. Разбирайтесь кликами, устраняйте ошибки и дубли, заодно.

3) Воспользуйтесь непосредственно окнами поиска систем (приблизительный метод). Введите для каждой из них запись вида site: домен.ru и сравните их результаты. Если они не очень сильно отличаются, значит с дублированием у вас не все так уж плохо.

4) Есть один эффективный способ нахождения дубликатов — поиск по фрагментам текста. Делается это просто: в поисковом окне любой ситемы, введите текстовой фрагмент вашей записи(статьи) в размере 10- 20 слов(лучше из середины) и проанализировать полученный результат. Наличие двух и более страниц в выдаче — значит дубли для этого опуса имеют место быть. Если нет — можете немного порадоваться:).

Сложно, если сайт накопил множество страниц. Вышеуказанная проверка может стать невыносимой рутинной работой. Желаете минимизировать временные затраты — воспользуйтесь программой Xenu`s Link Sleuth .

Чтобы проверить сайт, необходимо открыть новый проект, выбрав в меню «File» «Check URL», ввести адрес и нажать «OK». После этого программа начнет обработку всех URL сайта. По окончании проверки нужно экспортировать полученные данные в любой удобный редактор и приступить к поиску дублей.

Итак, мы выяснили, какие (основные) причины приводят к возникновению дублированного контента. Теперь определим способы его устранения.

Способы устранения дублированного контента

Канонические URL — концептуальное решение проблемы

Если у вас нет возможности () удалять дубликаты, проблему можно решить с помощью тега canonica l (применяется для нечетких копий). Тег canonical так же подойдет для версий страниц для печати и в других подобных случаях. Применяется он очень просто – для всех копий указывается атрибут rel=”canonical”, а для основной страницы, которая наиболее релевантна, – нет. Код должен выглядеть примерно так: link rel=»canonical» href=»http://домен.ru/страница-копия»/, и стоять в пределах тега head.

Для пользователей с движком WordPress имеется прекрасная возможность сделать все это автоматически, установив плагин all in one seo pack или ему подобный. В настройках эта операция устанавливается метками:

Настройка функций disallow в файле robots.txt вашего сайта

Хотя настройка запрещающих страниц для индексирования не всегда является эффективным способом от дублей, так как поисковики умудряются их иногда обходить, все же правильно настроенный robot.txt значительно облегчит задачу их недопущения.

С www или без www

Как будет выглядеть сраницы вашего сайта — только с использованием http или http.www? Неопределенность породит дублирование. Сразу, после создания сайта, определите, какой гипертекстовый транспортный протокол будете использовать. Для этого в панели вебмастеров Яндекса и Google проставьте ваш выбор (в Google это можно сделать для обоих версий, но нужно будет подтвердить права на оба адреса). Можно, оставить по умолчанию или на «выбор поискового робота», но лучше четко определится.

Настройка редиректа

Редирект 301 отлично подходит для склеивания страниц-копий, URL которых отличаются наличием и отсутствием www. Как вы уже поняли(смотри скрин выше), настройка редиректа на WordPress тоже упрощается с помощью плагина. В сущности, если вы и поисковой робот «определился» с вашим выбором — с www илии без него будет основной домен, настройка редиректа для всех страниц не нужна. Впрочем, тема настройки редиректа и его целесообразности — тема отдельной статьи.

Итоги и выводы

• не допускайте дублирования страниц(контента) на ваших ресурсах, так как дубли приводят к серьезному понижению релевантности страниц что затрудняет их вывод на передовые позиции в в поисковой выдаче(ТОП);
• проблемы с дублированием контента в своем большинстве имеют решение — для этого используйте все возможные средства;
• постоянно следите за процессом индексации вашего контента и ни создания дублей на нем

Вот и все, дорогой читатель. Если есть что добавить или поправить меня, задать вопрос — рискните!

Не совсем в тему, но про близнецов.

(Visited 28 times, 1 visits today)

Дубликаты контента — одна из основных проблем низкого ранжирования сайта в поисковых системах. К данной проблеме приводит наличие на сайте страниц, которые полностью или частично идентичны друг другу. Естественно для поисковых систем наличие на сайте мусорных страниц представляет серьёзную проблему, так как приходится тратить на их обработку серверные мощности. Поисковым системам нет смысла тратить физические ресурсы на индексацию такого бесполезного контента. Поэтому они борются с такими сайтами, накладывая на них фильтр, либо занижает в ранжировании, что приводит к низким позициям по продвигаемым запросам.

Дубликаты и SEO

Наличие на сайте страниц дубликатов приводит к тому что:

• Полезный ссылочный вес распыляется на эти бесполезные страницы.
• Страница-дубликат после очередного апдейта вытесняет целевую страницу и та теряет позиции.
• Дублированный контент снижает уникальность всех страниц на которых он размещён.
• По мере того, как поисковая система борется с такими страницами, удаляя их из поиска — она может исключить и продвигаемую страницу.

Классификация дубликатов и решения по их устранению

Дубликаты бывают полными и частичными. Полные дубликаты — это когда страницы полностью идентичны. Соответственно, частичные дубли — это когда страницы совпадают не полностью. Полные дубликаты устраняют через robots.txt и настройку 301 редиректа. Частичные дубликаты устраняются путем проведения необходимых правок на сайте.

Привожу перечень чек-листов, которые нужно пройти, чтобы выявить и решить проблему дубликатов:

• Поиск дубликатов главной страницы сайта. Например, могут быть следующие варианты главной страницы: http://www.domen.com/, http://www.domen.com/index.php, http://www.domen.com, http://domen.com/, https://www.domen.com/, http://www.domen.com/index.html. Как видите вариантов много, но оптимальным является вариант http://www.domen.com/. Для устранения остальных копий главной страницы используется 301 редирект и закрытие в robots.txt (в случае с конструкциями вида https://www.domen.com/.
• Проверка фундаментального (золотого правила SEO) — каждая страница должна быть доступна только по одному адресу. Нельзя, чтобы адреса варьировались следующим образом: http://www.domen.com/stranica1/stranica2/ и http://www.domen.com/stranica2/stranica1/.
• Проверка на наличие переменных в урле. Их, в адрессе страницы, быть не должно. Например, генерация урлов вида: http://www.domen.ru/index.php?dir=4567&id=515 — это ошибка. Правильным будет следующий вариант урла: http://www.domen.ru/dir/4567/id/515.
• Проверка на наличие в урлах идентификаторов сессии. Например, урлы вида http://www.domen.ru/dir/4567/id/515.php?PHPSESSID=3451 — недопустимы. Такие урлы содержат бесконечное количество копий каждой страницы. Поэтому необходимо закрывать все идентификаторы сессий в robots.txt.

Дублированный контент можно разделить на три большие категории : точный дубликат , где два URL-адреса имеют полностью идентичный контент, контент с небольшими отличиями (порядок предложений, немного другие изображения и т. д.) и кроссдоменные дубликаты , где точная или немного измененная копия существует на многих доменах.

Существуют две связанных концепции, которые не считаются Google тем же самым, что и дублированпый контент, но которые часто сбивают с толку издателей и неопытных SEO-специалистов:

• тонкий контент - как было отмечено ранее, это страницы, на которых очень мало кон­тента. В качестве примера можно привести набор страниц, построенный на списке адре­сов организаций, в котором есть 5000 адресов, но каждая страница содержит только один адрес - всего несколько строк;
• нарезка контента- в эту категорию попадают страницы, которые незначительно от­личаются друг от друга. Представьте себе сайт, продающий обувь Nike Air Мах, которая приходит в размерах 37, 37,5, 38, 38,5, 39, ... 46. Если у сайта есть отдельная страница для каждого размера обуви, то разница между всеми этими страницами будет незначи­тельной. Подобный эффект Google и называет тонкой нарезкой.

Google не любит ни тонкий контент, ни тонкую нарезку. Любой из этих эффектов может быть выявлен алгоритмом «Панда». Как именно Bing отличает дубликацию контента, тонкий контент и нарезку контента не ясно, но точно известно, что издатели должны избегать создания этих типов страниц.

Дублированный контент может получиться по многим причинам, в том числе благодаря лицензированию контента вашего сайта, дефектам архитектуры сайта вследствие не опти­мизированной под поисковики системы управления контентом или из-за наличия плагиата. В последние пять лет спамеры, испытывающие чрезвычайную необходимость в контенте, начали «выцарапывать» контент из легальных источников, переставлять слова посредством множества сложных процессов и размещать полученный текст на своих страницах, чтобы привлечь операции поиска из «длинного хвоста» и продемонстрировать контекстную рек­ламу, а также и для прочих бесчестных целей.

Таким образом, сегодня мы живем в мире «проблем дублированного контента» и «штрафов за дублирование контента». Приведем некоторые определения, которые будут полезны для нашего обсуждения.

• Уникальный контент- написан человеком, полностью отличается от любой другой комбинации букв, символов и слов во Всемирной паутине, не подвергался воздействию компьютерных алгоритмов обработки текста (таких как инструменты спамеров, исполь­зующие цепи Маркова).
• Фрагменты - это небольшие куски контента (например, цитаты), которые копируются и используются многократно. Они почти никогда не являются проблемой для поисковых движков, особенно когда включаются в более крупный документ с большим количест­вом уникального контента.
• Шинглы - поисковые движки ищут относительно небольшие сегменты фраз (пять- шесть слов) на других страницах во Всемирной паутине. Если два документа имеют слишком много общих шинглов, то поисковые движки могут интерпретировать эти до­кументы как дублированный контент.
• Проблемы дублированного контента - эта фраза, как правило, служит для обозначения дублированного содержания, за которое сайт может быть оштрафован. Такой контент просто является копией существующей страницы, заставляющей поисковик выбирать, какую версию в индексе нужно отображать (это так называемый фильтр дублированного контента).
• Фильтр дублированного контента - ситуация, когда поисковик удаляет подобный кон­тент из результатов поиска, чтобы предоставить лучшие результаты пользователю.
• Штраф за дублированный контент - штрафы (пенальти) применяются редко и только в очевидных ситуациях. Поисковые движки могут уменьшить рейтинг или запретить остальные страницы сайта, могут даже запретить весь веб-сайт.

Последствия дублированного контента

Предполагая, что ваш дублированный контент является результатом безобидного недо­смотра со стороны ваших разработчиков, поисковый движок, скорее всего, отфильтрует все дублированные страницы (кроме одной), поскольку он хочет показать на страницах резуль­татов поиска только одну версию такого контента. В некоторых случаях поисковый движок может отфильтровать результаты до включения их в индекс, а в других случаях - допус­тить страницу в индекс и отфильтровать ее уже при подготовке результатов поиска в ответ на конкретный запрос. В этом последнем случае страница может быть отфильтрована в от­вет на некоторые определенные запросы и не отфильтрована для других.

Пользователи хотят видеть в результатах разнообразие (а не одни и те же результаты снова и снова). Поэтому поисковые движки стараются отфильтровывать дублированный контент, и это имеет такие последствия:

• робот поискового движка приходит на сайт с определенной сметой просмотра, выра­жающейся в количестве страниц, которые он планирует просмотреть в каждом конкрет­ном сеансе. Каждый раз, когда он попадает на дублированную страницу, которая просто должна быть отфильтрована из результатов поиска, вы позволяете роботу потратить впустую некоторую часть его сметы на просмотр. Это означает, что будет просмотрено меньше ваших «хороших» страниц и приведет к тому, что в индекс поискового движка будет включено меньшее количество ваших страниц;
• несмотря на то, что поисковые движки стараются отфильтровать дублированный кон­тент, ссылки на страницы дублированного контента все равно передают им «сок ссы­лок». Поэтому дублированные страницы могут получить рейтинг PageRank или «сок ссылок», а поскольку это не помогает им в рейтинге, то этот ресурс теряется впустую;
• ни один из поисковых движков не дал четкого объяснения, как его алгоритм выбирает ту версию страницы, которую будет показывать. Иначе говоря, если он обнаруживает три копии одного и того же контента, то какие две из них он отфильтрует? Какую покажет? Зависит ли это от поискового запроса? В итоге поисковый движок может показать не ту версию, которая вам нужна.

Несмотря на то, что отдельные специалисты по оптимизации могут поспорить с некоторы­ми из приведенных здесь положений, общая структура практически ни у кого не вызывает возражений. Однако по границам этой модели имеется несколько проблем.

Например, на вашем сайте есть группа товарных страниц, а также версии этих страниц для распечатывания. Поисковый движок может выбрать для показа в своих результатах именно версию для печати. Такое иногда случается, причем это может произойти даже тогда, когда страница для распечатывания имеет меньше «сока ссылок» и более низкий рейтинг, чем основная страница товара.

Для исправления такого положения надо применить атрибут ссылки rel=”canonical” ко всем дублированным версиям страницы, чтобы указать главную версию.

Второй вариант может появиться тогда, когда вы синдицируете свой контент (разрешаете перепечатку своего контента) сторонним организациям. Проблема состоит в том, что поис­ковый движок может выкинуть из результатов поиска ваш оригинал и предпочесть ему ту версию, которую использует человек, перепечатавший вашу статью. Есть три потенциаль­ных решения этой проблемы:

• пусть человек, переопубликовавший вашу статью, установит обратную ссылку на ис­ходную статью на вашем сайте с атрибутом rel=”canonical” . Это укажет поисковым ма­шинам, что ваша копия страницы является оригиналом и любые ссылки, указывающие на синдицированную страницу, будут зачислены на вашу оригинальную страницу;
• пусть ваш партнер по синдикации закроет свою копию атрибутом noindex . В этом случае дублированный контент просто не будет индексироваться поисковой машиной. Кроме того, любые ссылки в этом контенте на ваш сайт будут по-прежнему передавать полно­мочия вам;
• пусть ваш партнер сделает обратную ссылку на исходную страницу на вашем сайте. По­исковики обычно это корректно интерпретируют и подчеркивают вашу версию контен­та. Однако следует отметить, что были случаи, когда Google ошибочно определяла авторство контента и назначала авторство сайту, который переопубликовал его, особенно если тот сайт имеет гораздо больше полномочий и доверия, чем истинный первоисточ­ник контента.

Как поисковые движки распознают дублированный контент?

Процесс поиска дублированного контента во Всемирной паутине для движка Google мы проиллюстрируем примерами. В примерах, представленных на рис. 1-4, сделаны три допущения:

• страница с текстом - это страница, содержащая дублированный контент (а не просто его фрагмент, как это показано на рисунках);
• все страницы с дублированным контентом находятся в разных доменах;
• показанные далее шаги были упрощены, чтобы сделать процесс легким и понятным (на­сколько это возможно). Это, безусловно, не является точным описанием работы Google, но передает смысл.

Рис. 1

Рис. 2

Рис. 3

Рис. 4

Имеется несколько фактов, касающихся дублированного контента, которые заслуживают особого упоминания, поскольку они могут запутать веб-мастера, являющегося новичком в области проблем дублированного контента. Рассмотрим эти факторы.

• Местоположение дублированного контента - если весь этот контент находится на моем сайте, является ли он дублированным? Да, потому что дублированный контент может получиться как в пределах одного сайта, так и на разных сайтах.
• Процент дублированного контента - какой процент страницы должен быть дубли­рован, чтобы попасть под фильтрацию дублированного контента? К сожалению, поисковые движки никогда не раскрывают эту информацию, поскольку это нанесло бы ущерб их способности предотвращать саму проблему.
• Почти уверенно можно утверждать, что этот процент у всех движков постоянно меняет­ся, и при выявлении дублированного контента производится не только прямое сравне­ние. Итог таков: чтобы считаться дубликатами, страницы не обязательно должны быть идентичными.
• Соотношение кода и текста - а что, если наш код очень большой, но на странице мало уникальных HTML-элементов? Не подумает ли Google, что все страницы явля­ются дубликатами друг друга? Нет. Поисковым движкам нет никакого дела до вашего кода, их интересует контент ваших страниц. Размер кода превращается в проблему толь­ко тогда, когда он становится чрезмерным.
• Соотношение навигационных элементов и уникального контента - все страницы моего сайта имеют большую навигационную полосу, много верхних и нижних ко­лонтитулов, но совсем мало контента. Не сочтет ли Google все эти страницы дубли­рованными? Нет. Google (а также Yahoo! и Bing) учитывает элементы навигации еще до оценки страниц на дублирование. Они хорошо знакомы с компоновкой веб-сайтов и понимают, что наличие постоянных структур на всех страницах (или большом их коли­честве) - это совершенно нормально. Они обращают внимание на уникальные части страниц и почти совершенно игнорируют остальные.
• Лицензированный контент - что делать, если я хочу избежать проблем с дублиро­ванием контента, но у меня есть контент из других веб-источников, который я ли­цензировал для показа своим посетителям? Используйте код meta name = "robots” content="noindex, follow" . Поместите его в верхнем колонтитуле вашей страницы, и по­исковые движки будут знать, что этот контент не для них. Это лучшая практика, по­скольку люди все равно смогут посетить эту страницу и сделать на нее ссылку, а ссылки на этой странице будут сохранять свою ценность.

Другой вариант- получить эксклюзивные права на владение этим контентом и его публикацию.

Выявление и устранение нарушений авторских прав

Один из лучших способов отслеживания дублирования вашего сайта - это прибегнуть к помощи сайта CopyScape (copyscape.com), который позволяет моментально увидеть те страницы во Всемирной паутине, которые используют ваш контент. Не беспокойтесь, если страницы этих сайтов находятся во вспомогательном индексе или имеют значительно более низкий рейтинг, чем ваши, - если бы какой-то большой, авторитетный и богатый контен­том домен попытался бороться со всеми копиями его материалов во Всемирной паутине, то ему потребовались бы, по крайней мере, два человека на полную рабочую неделю. К счастью, поисковые движки доверяют таким сайтам и поэтому признают их оригиналь­ными источниками.

С другой стороны, если у вас есть относительно новый сайт или сайт с небольшим количе­ством входящих ссылок, а плагиаторы постоянно стоят в рейтинге выше вас (или вашу ра­боту крадет какой-то мощный сайт), то вы можете кое-что предпринять. Один из вариан­тов- отправить запрос издателю с просьбой удалить контент, нарушающий авторские права. В некоторых случаях издатель просто не знал о нарушении авторских прав. Еще один из вариантов - написать хостинг-провайдеру. Хостинговые компании потенциально могут нести ответственность за организацию дублированного контента, поэтому они часто быстро реагируют на такие запросы. Просто убедитесь, что вы готовы предоставить как можно больше возможной документации, подтверждающей авторство контента.

Следующий вариант - отправить запрос о нарушении авторских прав (DMCA) в Google, Yahoo! и Bing. Этот же запрос вам следует отправить и той компании, у которой размещен сайт нарушителя.

Второй вариант - возбудить дело в суде против сайта-нарушителя или пригрозить это сде­лать. Если публикующий ваши работы сайт имеет владельца в вашей стране, то этот вари­ант, вероятно, является самым разумным первым шагом. Вы можете начать с более нефор­мального общения и попросить удалить контент еще до того, как посылать официальное письмо от адвоката, поскольку до вступления в силу мер агентства DMCA могут пройти месяцы. Но если вам не отвечают, то у вас нет никаких причин откладывать более серьез­ные действия.

Очень эффективным и недорогим вариантом для этого процесса является ресурс DCMA.com .

Ситуация с реальным штрафом

Предыдущие примеры показывают работу фильтров дублированного контента, но это не штрафы, хотя в практическом смысле эффект тот же самый, что и от штрафов, - снижение рейтингов ваших страниц. Однако есть и такие ситуации, когда может появиться настоящий штраф. Например, этим рискуют агрегирующие контент сайты, в особенности если сам сайт добавляет мало уникального контента. При таком сценарии сайт может быть реально оштрафован.

Исправить это можно только уменьшением количества дублированных страниц, доступных пауку поискового движка. Это достигается путем их удаления, посредством добавления атрибута canonical в дубликаты, атрибута noindex в сами страницы, либо добавлением зна­чительного количества уникального контента.

Пример контента, который может часто отфильтровываться, - это «тонкий» сайт-партнер. Так часто называют сайт, который продвигает продажи чужих товаров, чтобы заработать комиссионные, но не предоставляет новой информации. Такой сайт мог получить описания от изготовителя товаров и просто воспроизвести эти описания вместе со ссылкой на партне­ра, чтобы заработать на «кликах» или покупках.

Проблема возникает тогда, когда продавец имеет тысячи партнеров, использующих один и тот же контент, - а инженеры поисковых движков получили от пользователей данные о том, что (с их точки зрения) такие сайты не добавляют ничего ценного в их индексы. По­этому поисковые движки пытаются отфильтровать такие сайты или даже исключить их из своих индексов. Партнерские модели применяет множество сайтов, но они также предос­тавляют и новый богатый контент, поэтому у них обычно нет проблем. Поисковые движки принимают меры только тогда, когда одновременно возникает и дублирование контента, и отсутствие уникального ценного материала.

Как избежать дублированного контента на сайте?

Как мы уже отмечали ранее, дублированный контент может создаваться многими способа­ми. Внутреннее дублирование материала требует применения специфической тактики, что­бы получить наилучшие с точки зрения оптимизации результаты. Во многих случаях дуб­лированные страницы - это такие страницы, которые не имеют ценности ни для пользова­телей, ни для поисковых движков. Если это именно так, попытайтесь полностью устранить эту проблему. Подправьте реализацию таким образом, чтобы на каждую страницу ссылался только один URL-адрес. Сделайте также 301-й редирект для старых URL-адресов на остав­шиеся URL-адреса, чтобы помочь поисковым движкам как можно быстрее увидеть произведенные вами перемены и сохра­нить тот «сок ссылок», который имели удаленные страницы.

Если сделать это невозможно, то имеется еще много других вариантов. Далее представлена сводка указаний по самым простым решениям для самых разных сценариев:

• используйте файл robots.txt для блокирования пауков поисковых движков, чтобы они не ползали по дублированным версиям страниц вашего сайта;
• используйте элемент rel="canonical" - это второе решение (из лучших) для ликвидации дублированных страниц;
• используйте КОД , чтобы дать указание ПОИСКО­ВЫМ движкам не индексировать дублированные страницы.

Однако учтите: если вы используете файл robots.txt для предотвращения просмотра страни­цы, то применение атрибута noindex или nofollow на самой странице смысла не имеет. По­скольку паук не может прочитать эту страницу, то он никогда не увидит атрибуты noindex или nofollow . Помня об этих инструментах, рассмотрим некоторые специфичные ситуации дублированного контента.

HTTPS-страницы - если вы используете протокол SSL (шифрованный обмен между браузером и веб-сервером, который часто применяется для электронной коммерции), то на вашем сайте есть страницы, начинающиеся с HTTPS : (вместо HTTP :). Проблема возникает тогда, когда ссылки на ваших HTTPS-страницах указывают на другие страни­цы сайта с использованием относительных, а не абсолютных ссылок (так что, например, ссылка на вашу домашнюю страницу становится https://www.ВашДомен.com вместо http://www.ВашДомен.com).

Если на вашем сайте имеется такая проблема, то для ее решения вы можете использо­вать элемент rel="canonical" или З01-е редиректы. Альтернативное решение- изменить ссылки на абсолютные: http://www.ВашДомен.com/content.html вместо /contenthtml), что заодно несколько усложнит жизнь тем, кто ворует ваш контент.

• Системы управления контентом, создающие дублированный контент - иногда на сай­те есть много версий идентичных страниц. Такое бывает из-за ограничений в некоторых системах управления контентом, которые адресуют один и тот же контент с более чем одним URL-адресом. Обычно это совершенно ненужное дублирование, которое не имеет ценности для пользователей, и лучшее решение- удалить дублированные страницы и сделать 301-й редирект для удаленных страниц на оставшиеся страницы. Если не по­лучится, попробуйте другие способы (приведенные в начале этой статьи).
• Страницы для печати или множество вариантов сортировки - многие сайты предла­гают страницы для печати, которые предоставляют пользователю тот же самый контент в адаптированном для принтера формате. Некоторые сайты электронной коммерции предлагают списки своих товаров с множеством возможных сортировок (по размеру, цвету, бренду и цене). Эти страницы имеют ценность для пользователя, но не имеют ценности для поисковых движков, и поэтому будут казаться им дублированным контен­том. В такой ситуации необходимо либо использовать один из ранее приведенных в этом блоге вариантов, либо настроить таблицу CSS для печати (как это описано в посте yoast.com/added-print-css-style-sheet/ на сайте Yoast).
• Дублированный контент в блогах и системах архивирования- блоги представляют собой интересный вариант проблемы дублированного контента. Пост в блоге может по­явиться на нескольких разных страницах: на начальной странице блога, на странице пермалинков этого поста, на страницах архива и на страницах категорий. Каждый эк­земпляр поста представляет собой дубликат остальных экземпляров. Очень редко изда­тели пытаются справиться с проблемой присутствия поста как на домашней странице блога, так и на странице пермалинков. И, по-видимому, поисковые движки достаточно хорошо справляются с этой проблемой. Однако, возможно, есть смысл показывать на страницах категорий и архива только фрагменты постов.
• Генерируемый пользователями дублированный контент (повторные посты и т. д.) - многие сайты реализуют структуры для получения генерируемого пользователями кон­тента, такие как блоги, форумы или доски объявлений. Это могут быть отличные спосо­бы разработки большого количества контента с очень низкой стоимостью. Проблема со­стоит в том, что пользователь может одновременно опубликовать один и тот же контент и на вашем сайте, и на нескольких других сайтах, что и приводит к появлению дублиро­ванного контента. Контролировать это сложно, но для уменьшения проблемы можно учесть следующее:
• нужно иметь четкую политику, которая уведомляет пользователей о том, что постав­ляемый ими на ваш сайт контент должен быть уникальным и не может быть разме­щен на других сайтах. Конечно, добиться этого трудно, но это поможет понять ваши ожидания;
• реализуйте ваш форум таким уникальным образом, который потребует иного контен­та. Дополнительно к стандартным полям для ввода данных добавьте также некие уникальные поля (отличающиеся от других сайтов), которые будет полезно видеть посетителям вашего сайта.