Что такое дублированный контент. Чем опасен copy-paste

Термин «дублированный контент» означает наличие одного и того же фрагмента контента или очень похожего контента в нескольких URL-адресах.

Почему дублированный контент вреден для SEO

Duplicate content (копипаст) может привести к проблемам с другим хорошим контентом, так как поисковые системы, не оценивают этот контент как уникальный. Так как уникальный и высококачественный контент является важным фактором оценки качества веб-сайта, это может иметь негативные последствия для вашего сайта с точки зрения SEO.

Другая проблема с дублированным контентом заключается в следующем: если Google сканирует несколько страниц с одним и тем же контентом, он не знает, какая из них более релевантна и должна отображаться в результатах поиска. Следовательно, релевантность «разделяется» между всеми этими страницами.

Кроме того, дублирующий контент проблематичен для SEO в отношении обратных ссылок (Backlinks), потому что, если одинаковый контент опубликован на нескольких URL-адресах, может произойти такое, что другие сайты не будут ссылаться на нужную версию контента.

Это означает, что ценные ссылки для SEO потеряны или, что существуют две или более страницы, на которые ссылаются только немного, а не одна страница, которая имеет хорошие ссылки. Таким образом, дублированный контент распределяет ссылки на затронутые страницы, что может негативно повлиять на рейтинг отдельных страниц в поиске.

Определение copy-paste

Копирование и вставка являются командами в пользовательском интерфейсе компьютера и представляют собой один из способов передачи данных из одного места в другое. В отличие от вырезания и вставки, которая перемещает содержимое в новое место, копирование и вставка создает дубликат в новом месте. Копирование и вставка обеспечивает простую репликацию данных.

В случае преднамеренных манипуляций, копипаст (copy-paste) может даже привести к наказанию со стороны поисковиков в  виде понижения рейтинга всего сайта. Это имеет место, например, если контент украден с внешних сайтов или если это ваш собственный контент, но вы пытаетесь манипулировать результатами поиска, имея несколько страниц с одинаковым контентом, увеличивая тем самым количество релевантного контента.

Тем не менее, дублированный контент не всегда вреден для SEO

Иногда это может даже понадобиться, например, для юридической информации, которая должна повторяться на нескольких страницах. Поисковики знают это, поэтому такой дублированный контент не наказывается в принципе. Так как оценивается уместность дублированного контента в каждом конкретном случае.

Типы дублированного контента

Во-первых, вы должны различать внутренний и внешний дублированный контент.

Внутренний дублированный контент

Он определяется как контент, который существует по нескольким URL одного и того же сайта.

Внешний дублированный контент

Он появляется, когда один и тот же контент опубликован на разных сайтах . Это может быть вызвано, например, размещением одинаковых пресс-релизов в СМИ или плагиатом. Создание отдельных веб-сайтов для отдельных проектов, также может вызвать дублирование внешнего контента, если эти веб-сайты копируют контент с основного веб-сайта.

Существуют разные уровни дублированного контента.

Точная копия, это если два URL содержат одинаковое содержимое. Это не обязательно требует 100% равенства, потому что даже если заголовки страниц различаются, страницы с одинаковым содержанием / текстом распознаются поисковыми машинами как дубликаты.

Однако в дополнение к таким точным дубликатам может случиться, что страницы содержат (включают) содержимое другой страницы (в дополнение к другому тексту). Эта проблема часто возникает в блогах, когда полный текст статьи отображается на домашней странице и на страницах тегов.

Не пропустите нашу новую публикацию, она поможет вам глубже изучить вопрос SEO оптимизации: Как использовать теги заголовков «H1, Н2, Н3…»

Частично дублированный контент.

Этот термин SEO описывает появление одного и того же контента на нескольких страницах, но с различной формулировкой и по-разному отредактированный в каждом случае. Примером этого может быть публикация двух разных статей о «SEO», которые охватывают одни и те же аспекты с точки зрения содержания.

Хотя это не идентичные страницы, существует проблема каннибализации ключевых слов, поскольку обе статьи посвящены одной и той же теме, и они нацелены на одни и те же ключевые слова и, таким образом, ухудшают рейтинг друг друга в результатах поиска.

Когда происходит дублирование контента?

Дублированный контент возникает, когда идентичный контент доступен по разным URL. Это может иметь различные причины, такие как:

• контент доступен с или без ввода "www." (поддомен)
• веб-сайт доступен как по HTTP, так и по HTTPS
• домашняя страница может быть доступна с или без "index.html" в URL
• идентичный контент связан с разными параметрами URL (например, товары интернет-магазина отсортированы по разным параметрам, но с одинаковыми результатами)
• идентификаторы сеанса в URL, которые используются для отслеживания поведения пользователя
• изменение домена и использование того же контента в новом домене
• владение разными доменными именами или расширениями с одним и тем же контентом (например, компания владеет и управляет доменами www.companyabc.com , www.company-abc.com и www.company-abc.info, чтобы не допустить занятия этих доменов третьими лицами)
• страницы категорий и тегов, например, в блогах, где полные статьи перечислены друг под другом
• при нумерации страниц (пагинации)
• печатные версии отдельных страниц
• одновременное использование прописных и строчных URL-адресов (например, доступ к корпоративному веб-сайту можно получить как по адресу www.company.com, так и www.Company.com).
• версии страницы на разных языках (для SEO не проблема, если Google может распознать, что версии предназначены для разных стран, например, на основе атрибута hreflang)
• мобильные версии сайта с одинаковым содержанием
• использование идентичного контента и текстов с внешних страниц или вашей собственной страницы (например, прямой копипаст описаний продуктов с сайта производителя)

Если вы хотите быть в курсе современных тенденций в SEO, ознакомьтесь с публикацией: Оптимизация контента - что это такое и как это сделать

Как решить проблемы с дублированным контентом

Если у вас уже есть SEO проблема с дублирующимся контентом, вы можете использовать следующие решения для решения этой проблемы. Вы также можете использовать эти методы, чтобы предотвратить появление дублированного контента.

1. Прежде всего, вы можете настроить перенаправление HTTP, желательно с кодом состояния HTTP 301 - «Перемещено навсегда» - для URL, которые не должны появляться в результатах поиска. 301 редирект автоматически перенаправляет пользователей (и всех ботов) на «правильный» URL и решает проблему дублированного контента.
2. Еще один способ решения проблем с дублированным контентом - использование канонических ссылок. Это теги, которые вставляются в исходный код веб-сайта для ссылки на первоисточник содержимого страницы. Таким образом, вы указываете поисковым системам, какой URL является предпочтительным (= канонический URL) и, следовательно, должен появляться в результатах поиска. Но это должно решаться в зависимости от конкретного случая. Например, использование канонической ссылки более подходит в случае версий для печати, тогда как для изменений домена следует использовать перенаправление HTTP.
3. Другое решение состоит в том, чтобы использовать «noindex», чтобы указать Google, что определенная страница не должна быть проиндексирована, что также решает проблему дублирующегося контента.

Дополнительная информация о том, как избежать дублирования контента

Во-первых, чтобы избежать дублирования контента, не следует использовать один и тот же контент несколько раз на разных страницах.

Вместо этого при настройке веб-сайта ваша цель должна заключаться в том, чтобы создавать уникальный и высококачественный контент для пользователей и избегать использования повторяющихся текстовых модулей, поскольку это плохо воспринимается не только поисковыми системами, но и пользователями.

Если в некоторых случаях вы не можете избежать использования уже существующего контента, вы должны всегда ссылаться на источник при преднамеренном копировании внешнего контента, чтобы поисковые системы, распознавали, какая версия является оригинальной. В качестве альтернативы, вы также можете использовать канонические ссылки.

Познакомьтесь с нашей новой публикацией, чтобы лучше понять, как это может помочь вашему сайту: Полное руководство как оптимизировать Anchor text 

Есть несколько технических аспектов, которые следует учитывать:

• Все ваши страницы должны перенаправлять на URL с или без www. с кодом состояния 301 - «перемещен навсегда» (а не разрешать оба!).
• В случае смены домена вам необходимо настроить перенаправление со старого домена на новый. Здесь вы также должны убедиться, что вы всегда перенаправляете на соответствующие подстраницы, а не на свою домашнюю страницу.
• Ограничить URL-адреса до строчной версии, например a1z.ru
• Списки статей, включенных в разные категории и которые можно сортировать по разным параметрам, должны быть ограничены одним вариантом через каноническую ссылку.

• Лучше всего указывать каноническую ссылку для каждой страницы. Таким образом, неприятные параметры в URL (например, /index.html?source=web&refer=google), которые могут быть вызваны небрежными ссылками, не смогут создавать дубликаты.

Проверьте, являются ли списки статей в категориях на вашем сайте различными. Если, например, все статьи из категории A также находятся в категории B, эти страницы категорий или списки результатов, вероятно, будут идентичны, даже если они имеют другой порядок.

На страницах категорий и тегов (например, в блогах) лучше всего просто добавить анонс отдельных статей (а не отображать его полностью) и предлагать кнопку «Читать далее». Это не только предотвращает дублирование контента, но и увеличивает количество просмотров страниц на пользователя.

Если вы хотите глубже изучить вопрос SEO, предлагаем вашему вниманию публикацию: Лайфхаки SEO копирайтинга

Проблема с дублированием контента…

Какими бы умными они ни были, поисковые системы не знают, что делать, если они находят один и тот же материал на нескольких веб-сайтах. Во-первых, Google (или другие поисковые системы в этом отношении) не знают, какая версия является оригинальной, а какая - копией. 

Следовательно, они не знают, какому веб-сайту доверять. Интернет-посетитель тоже сбит с толку. Они не могут определить авторитетный ресурс. Они либо запутались, либо ищут где-нибудь еще. Дублированный контент саботирует ваши усилия по поисковой оптимизации (SEO). Это приводит к снижению рейтинга страницы и, что хуже всего, к потере посещаемости. 

А плагиат еще хуже ...

По определению, плагиат всегда хуже. Здесь контент другого автора украден и / или неправомерно представлен как чей-то собственный (оригинальный) материал. Это не юридическая консультация, но украденный материал является нарушением интеллектуальной собственности. Веб-сайты теряют посетителей без свежего, аутентичного и оригинального контента.

К счастью, есть несколько онлайн-инструментов, которые помогут найти дублированный контент. Copyscape - это бесплатная программа для проверки плагиата и обнаружения дублированного контента. Введя ваш URL-адрес, Copyscape сканирует всю сеть на предмет плагиата и сообщает о любых страницах с дублированным содержанием.

Плагиат незаконен, неэтичен и вреден для бизнеса. Вы можете этого не знать, но в глазах Google ваш веб-сайт может быть виноват. Получите профессиональные рекомендации и советы по созданию интересного, оригинального и уникального контента в агентстве АВАНЗЕТ. Инвестируйте в эффективные методы SEO, которые сделают ваш сайт заметным.

15.05.2022