Закрытие от индексации является очень важным вопросом при монетизации трафика, поскольку большое количество ссылок рекламных кампаний на одной странице явно снизит позиции сайта в поисковой выдаче, чего оптимизаторы конечно крайне не желают.

Сообщение от Megamozg в теме Как правильно закрыть от индексации ссылки с метками?:

Многие наверно сталкивались с ситуацией, когда к урлам страниц сайта добавляются метки для отслеживания рекламных компаний. Страница сайта site.ru/page/ приобретает вид site.ru/page/?utm_source=xxx.
По сути у нас появляется полный дубль страницы, который ко всему прочему имеет внешние ссылки. И дублей таких может быть довольно много. Наверное нет смысла описывать все возможные проблемы, которые при этом могут возникать с индексацией, т.к. их довольно много. Все эти проблемы не критичны, но неприятны и иногда изрядно портят жизнь оптимизатору.

На данный момент я знаю несколько способов борьбы с такими страницами но они к сожалению далеко не идеальны.

Если сделать на сайте ЧПУ, то можно в robots.txt создать правило Dissallow: */?
Это закроет от индексации все страницы с метками.
Но тут у меня есть небольшие сомнения - скорее всего ссылочный вес передаваемый на страницы с метками мы просто потеряем. Хотелось бы услышать другие мнения на этот счет...
К тому же в Яндекс.Вебмастере такие страницы будут присутствовать в числе загруженных станиц (боты будут ходить туда по внешним ссылкам) вызывая разницу в кол-ве загруженных и проиндексированных страниц (а это должно дать вебмастеру повод задуматься) и в числе ошибок (как мы знаем яндекс все еще тупит и показывает в числе ошибок закрытые в robots.txt страницы имеющие внешние ссылки). Ну в общем то есть еще ряд проблем с которыми при таком подходе придется столкнуться, но я не буду вдаваться в подробности.

Другой вариант - использовать директиву Clean-param
Тут мы казалось бы и вес сохраняем и от проблем индексации меток избавляемся. Но не так все просто. Яндекс "склеит" все ссылки с параметрами указанными в этой директиве к одной! и этот один дубль как правило и вылезит вместо главной страницы с ЧПУ в серпе по закону подлости ( ну или по алгоритму яндекса). А закрыв от индексации этот дубль мы приходим к первому варианту
И в любом случае у нас остаются косяки в Яндекс.Вебмастере в виде ошибок (закрытые в роботсе страницы с внешними ссылками), разницы в загруженных и проиндексированных станицах. И все равно мы в конце концов теряем вес страниц с метками.

А как вы боретесь с помеченными страницами?

___________

Большое количество дублированного контента, естественно ничего хорошего со стороны поисковых систем не сулит. Да и путаница, которая в результате может возникнуть при отслеживании загруженных, проиндексированных и пропущенных страниц тоже не особо приятна. Каким образом заставить робот не переходить по этим ссылкам, но сохранить при этом ссылочный вес.

Сообщение от Ingref в теме Как правильно закрыть от индексации ссылки с метками?:

Megamozg, вы хотите закрыть эти URL-ы с метками от индексации, а ссылочное перелить на URL-ы без меток? Тогда поставьте редирект.

___________

Идеальное решение, которое позволяет одновременно справиться со всеми проблемами: и закрыть от индексации и перелить весь вес на страницу со ссылкой. Какие есть в при таком подходе «но»…

Сообщение от Megamozg в теме Как правильно закрыть от индексации ссылки с метками?:

Цитата:

Сообщение от Kost Еще раз. Есть ссылки на такие страницы? Тогда о каком ссылочном весе вы говорите?

Юзайте robots.txt и все будет хорошо.

В третий раз напишу - ссылки на такие страницы ЕСТЬ! => есть ссылочный вес, который теряется при закрытии таких страниц от индексации.

301 редирект не позволяет отследить источник трафика и делает метки бесполезными. Иначе я просто поставил бы со всех страниц с метками редиректы и не создавал бы этот топик.

___________

Проблем несколько – во перваых этих страниц может быть достаточно много – работы "непочатый край", но главная проблема даже не в этом – отследить источник трафика и установить метку становится практически нереально.

Сообщение от Оранжевый_бродЯга в теме Как правильно закрыть от индексации ссылки с метками?:

301 редирект позволяет отследить, если делать немного хитрее:

RewriteCond %{HTTP_HOST} ^site.ru/page/?utm_source=1xxx
RewriteRule ^site.ru/page.html?#utm_source=1xxx [R=301,L]

Понимаете в чем хитрость теперь?
Для ПС страницы
site.ru/page.html?#utm_source=1xxx
site.ru/page.html?#utm_source=2xxx
site.ru/page.html?#utm_source=3xxx
это одна и таже страница.

Но зато теперь в логах Апача мы видим откуда пришел посетитель.
Примерно так.

___________

Если место, в котором следует сохранять данные о статистике трафика не критично, можно предложить вариант, предложенный данным автором – грамотно написанный редирект решает очень большое количество проблем, которые могут возникать у оптимизатора.

Сообщение от Megamozg в теме Как правильно закрыть от индексации ссылки с метками?:

Оранжевый_бродЯга, к сожалению статистику надо смотреть именно в GA, на это есть много причин, парсить статистику в логах никто не будет. И я далеко не единственный и не главный человек, которому нужна статистика сайта.

В принципе теоретическое решение моей задачи было найдено. Мысли вслух помогли

Если кому-нибудь это интересно, то было решено попробовать вот что:

На страницах с метками помимо редиректа передавать реферера, а на целевой странице в хедере скриптом этот параметр обрабатывать и вызывать соответствующий код виртуальной страницы GA. Ну а дальше всякими хитрыми монипуляциями настроить правильное отображение всего этого дела в статистике - это уже решаемая задача. Хотя решение совсем не тривиальное и потребует немного поднапрячься в программировании и настройке GA.
Осталось испытать на практике.

___________

Если же критичным является отображение результатов в сервисе GoogleAnalitycs, то можно попробовать использование подобного варианта. Тут мы видим пример того редкого случая, когда сам автор темы отвечает на свой вопрос путем размышлений, «мыслей вслух» и дискуссий с участниками форума.