RSS лента

Maximal

InfoFree.ru попал под бан Яндекса

Рейтинг: 4.25. Голосов: 4.
Обращаюсь к сообществу SEO-специалистов за помощью.
Я ни когда раньше с таким не сталкивался, т.к. у меня всего один "виртуальный ребенок" - этот сайт. Писать у каждого в блоге развернутую просьбу помощи и отслеживать везде ответы - трудоёмкий процесс, поэтому я кинул ссылку на это сообщение к Вам в блог, если Вам это не понравилось - удалите её и прошу меня извинить.
Так же плюсом обсуждения здесь, будет являться, что можете не заниматься сексом с регистрацией, достаточно быть зарегистрированным в любой крупной социальной сети и войти через неё (пароль, мыло не передается).

Предыстория
В поисковой оптимизации сайтов я ноль и ни когда ей не занимался.
22 марта 2011г. я обновил движок этого сайта (CMS vBulletin), после этого включил ЧПУ (по Яндексу: SEO-ссылки), а так же их транслитерацию.

В середине мая все страницы, которые были в поиске (более 54000), пропали, осталась только главная сайта.

На мои просьбы помочь ТП Яндекса даёт отписки.

Погуглив я нашел несколько дельных ответов, оказывается, есть некий фильтр АГС (Вам, думаю, хорошо известен, мне нет).

Так же я нашел эту запись в блоге яндекса и оставил там сообщение:
http://webmaster.ya.ru/replies.xml?parent_id=10542&item_no =10371&with_parent=1#reply-webmaster-10542

Моя переписка с ТП Яндекса:
Здравствуйте, Максим!

Приносим извинения за задержку с ответом.
В данный момент Ваш сайт уже участвует в поиске по адресу главного зеркала infofree.ru без www : http://yandex.ru/yandsearch?text=site:www.InfoFree.r u&pag=u&surl=www.InfoFree.ru&lr=2 13 .

Однако, после анализа и классификации страниц Вашего сайта наши алгоритмы решили ограничить его в поиске. На решение алгоритма может оказать влияние использование поискового спама, наличие на сайте страниц, предназначенных для робота-индексатора, а не для чтения пользователями, наличие SEO-ссылок, размещение неуникальной информации и другие факторы.
Наше понимание, чем качественный сайт отличается от некачественного, отражено в следующих документах:
http://help.yandex.ru/webmaster/?id=995342
http://webmaster.ya.ru/replies.xml?item_no=325&ncrnd=2022
Мы стараемся настраивать и улучшать алгоритмы поиска так, чтобы сайты, соответствующие этим рекомендациями, быстро и полно индексировались и находились на высоких позициях по релевантным запросам.
Чтобы Ваш сайт хорошо индексировался в поиске Яндекса, ориентируйтесь в его развитии на указанные принципы. Со временем, если сайт по совокупности факторов станет достаточно качественным, количество страниц в поиске может увеличиться.


--
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/

Сделайте сайт более заметным в результатах поиска: http://content.webmaster.yandex.ru/?from=support




>
>
> Здравствуйте!
> Как успехи?
> Попутно ещё один вопрос, как сделать, чтобы в выдаче домен был без http://www.?
> Я сейчас прописал в robots.txt: Host: infofree.ru. Правильно ли я сделал?
> Будет ли это работать?
>
>
> Yandex.Addurl <addurl@yandex-team.ru> писал(а) в своём письме Fri, 20 May
> 2011 05:11:47 +0600:
>
> > Здравствуйте, Максим!
> >
> > Просим прощения за задержку с ответом.
> > Спасибо за письмо, мы проверим, все ли сейчас в порядке с Вашим сайтом,
> > и сообщим Вам.
> >
> > --
> > С уважением, Платон Щукин
> > Служба поддержки Яндекса
> > http://help.yandex.ru/
> >
> > Сделайте сайт более заметным в результатах поиска:
> > http://content.webmaster.yandex.ru/?from=support
> >
> >
> >
> >
> >>
> >>
> >> [ http://www.InfoFree.ru ]
> >> Здравствуйте!
> >> Обновил "движок" сайта (vbulletin) 22 марта 2011. После этого
> >> посещаемость сайта упала в 2 раза. Но страницы старые и новые успешно
> >> индексировались и отображались в панели управления. Сегодня, зайдя в
> >> панель, увидел: "Страниц в поиске 8". Почему пропали страницы из поиска?
> >>
> >> --
> >> С Уважением,
>
>
> --
> С Уважением,
Здравствуйте!
Просьба перестать давать готовые отписки и вникнуть в текст письма, которое я писал Вам до этого.
Перед тем, как писать: "Пожалуйста, внимательно ознакомьтесь с нашими рекомендациями: http://help.yandex.ru/webmaster/?id=995342", ПОЖАЛУЙСТА, перейдите на сайт и убедитесь, что он полностью соответствует всем критериям, чтобы не вводить себя в заблуждение.

Ознакомьтесь с http://webmaster.ya.ru/replies.xml?parent_id=10542&item_no =10371&with_parent=1#reply-webmaster-10542

Вполне возможно, что в силу того, что ПС Яндекс плохо распознает одну и ту же страницу по разным адресам, он считает её дублем или спамом.
Пример (после обновления ЧПУ в настройках vbulletin включено):

http://infofree.ru/forum/showthread.php/49317-socialnaja-set-InfoFree.ru
http://infofree.ru/forum/showthread.php/49317-Социальная-сеть-InfoFree.ru
http://infofree.ru/forum/showthread.php?t=49317

ОДНА И ТА ЖЕ страница, но Яндекс в отличии от Google только 23 мая 2011 года начал поддерживать <link rel="canonical" тэг.
Почему ТП мне об этом не написала? Возможно ли, что в этом и дело?

С сегодняшнего дня ЧПУ отключил (и зачем заставлять подстраиваться вебмастеров под поисковую машину, не должно ли быть на оборот, где клиентоориентированность)?

7 лет всё хорошо было, и только после обновления ПС Яндекс стала вести себя неадекватно.

Посмотрите ресурсы владельцев форумов на vbulletin, не я один такой. Ошибка в алгоритмах.

Самое простое решение:
- проверять, что на ресурсе используется vbulletin, написать правила, что "showthread.php/49317-xxxx" == "showthread.php?t=49317" (просто, правда?);

А как проверить, что на ресурсе vbulletin?
Берите список сайтов с http://www.vbulletin.com/links.php (например, тут http://www.vbulletin.com/links.php?linkcatid=entertainment infofree.ru/forum/ есть) и на самих сайтах проверять тэг <meta name="generator" content="vBulletin xxxxx" />.


Почему после смены в панеле вебмастера http://www.InfoFree.ru на infofree.ru перестал видеть предыдущую историю? Почему у Google она не пропадает?

Просьба постараться прочесть текст полностью этого и предыдущего письма и дать развернутый ответ (не отписку, попытаться вникнуть в суть вопроса, если что не понятно, спрашивайте - отвечу).


Ещё раз здравствуйте, Максим!


Мы не вступаем в переписку по поводу степени тяжести нарушения, конкретных адресов страниц на сайте и/или конкретных технических приемов, а также способов устранения проблемы.
Пожалуйста, внимательно ознакомьтесь с нашими рекомендациями: http://help.yandex.ru/webmaster/?id=995342 . Ваш сайт сможет полностью появиться в поиске, когда весь он, по совокупности факторов, будет признан достаточно качественным.
Следуйте нашим рекомендациям, развивайте Ваш сайт для пользователей и наполняйте его полезным, уникальным контентом, со временем страницы будут появляться в поиске.

--
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/





>
>
> [ infofree.ru ]
> > Однако, после анализа и классификации страниц Вашего сайта наши алгоритмы решили ограничить его в поиске. На решение алгоритма может оказать влияние использование поискового спама, наличие на сайте страниц, предназначенных для робота-индексатора, а не для чтения пользователями, наличие SEO-ссылок, размещение неуникальной информации и другие факторы.
>
> Здравствуйте!
> - поискового спама нет;
> - в июне проекту исполняется 7 лет;
> - на форуме больше 800 000 сообщений, оставленных пользователями;
> - в своё время, форум был одним из самым посещаемых в Екатеринбурге, благодаря льготной доступности большинству провайдеров;
> - на сайте нет страниц "предназначенных для робота-индексатора";
> - SEO-ссылки по умолчанию предусмотрены в версии vbulletin 4.x (на которую я обновился), другие поисковые системы их успешно понимают;
>
> Почему Ваши фильтры режут стоящие ресурсы?
> Почему они не фильтруют http://www.********.ru/ (тоже vbulletin 4.x)? Потому что там выключены SEO-ссылки?
> Почему Вы вынуждаете подстраивать сайт под поисковик? Не проще ли исправить/починить алгоритм?
> Если отключить SEO-ссылки, то это вернет всё на прежние места?
> Давайте дружить и вместе разбираться в проблеме.
У многих я видел рекомендации: перестать продавать ссылки с сайта (не занимался этим), разбавить содержимое страниц, созданное для поисковых машин (не создавал таких страниц). Пожалуйста, дайте дельный совет.

Комментарии

  1. Аватар для n0rv
    Всё дело в дублях, посмотрите к примеру на выдачу гугла, все страницы в "соплях" http://www.google.ru/search?hl=en&q=site%3Ainfofree.ru%2 F* 1% только в основной выдаче. Закройте в robots.txt все дубли страниц, ну или воспользуйтесь какими либо плагинами, я просто в ВБ не разбираюсь.
  2. Аватар для Maximal
    n0rv, здравствуйте! Спасибо за ответ!
    Т.е. в robots'е прописать запрет для /forum/showthread.php/****, чтоб только /forum/showthread.php?t= поисковики видели (так же и для forumdisplay.php)?
    а по тэгу <link rel="canonical" поисковики сами сейчас не склеят страницы? ЧПУ отключены сейчас.
  3. Аватар для Maximal
    добавил 2 правила:
    Disallow: /forum/showthread.php/
    Disallow: /forum/forumdisplay.php/

    в этом случае, надеюсь, showthread.php?t= не будет резаться
  4. Аватар для Maximal
    всё. сделал по другому. принудительно 301 редирект воткнул.
    в роботсе записи эти убрал

    Пример:
    попробуйте перейти на http://infofree.ru/forum/showthread.php/49317-socialnaja-set-InfoFree.ru

    осталось понять, точно ли дело в этом...
  5. Аватар для Maximal
    отправил письмо в ТП Я:
    Здравствуйте!
    В общем, сообществом, похоже, нашли проблему - не склеивались страницы тэгом canonical.
    Из панели четко это видно:
    showthread.php/ 30668 12,9
    showthread.php? 53591 22,5

    http://infofree.ru/forum/entry.php?b=43

    В настройках отключил ЧПУ, указал строго перенаправлять всех по старым адресам, в результате все юзеры должны перенаправляться. Страницы автоматика склеит. Конечно, обидно, что пришлось разбираться в работе ПС и читать много сайтов. Надеюсь, в будущем тех. поддержка будет способна давать ответы вместо отписок на вопросы вебмастеров.

    Прошу вернуть сайт в выдачу (это вы можете?).
  6. Аватар для Maximal
    Получил ответ, на редкость, оперативно. Не отписку. Куда копать? Не буду же я сообщения пользователей редактировать, чтоб подстроить их под Яндекс.
    Здравствуйте, Максим!

    Санкции на Ваш сайт были наложены не из-за каких-либо его технических особенностей и, тем более, не из отсутствия обработки тега canonical ранее.
    Как мы уже сообщали, решение о присутствии страниц сайта в поиске принимается в результате анализа качества сайта и его контента. Наши алгоритмы постоянно мониторят сайты на предмет их соответствия нашим принципам (http://help.yandex.ru/webmaster/?id=995342 ), поэтому в случае соблюдения всех наших рекомендаций страницы сайта должны будут появиться в поиске автоматически. При этом совсем недавно в связи с Вашим обращением в службу поддержки проводилась проверка, которая не обнаружила ошибки в работе алгоритмов. В данном случае мы можем лишь порекомендовать обратить внимание на наши предыдущие письма и развивать свой сайт, основываясь на данных в них рекомендациях.


    --
    С уважением, Платон Щукин
    Служба поддержки Яндекса
    http://help.yandex.ru/
  7. Аватар для Maximal
    менее 2 часов назад:
    Здравствуйте, Максим!

    В поиске Яндекса присутствует большое число форумов. Никаких санкций с нашей стороны лишь за то, что на сайте есть форум, не накладывается.

    --
    С уважением, Платон Щукин
    Служба поддержки Яндекса
    http://help.yandex.ru/





    >
    >
    > [ InfoFree.ru ]
    > Здравствуйте!
    > Накладывать санкции на форумы - это официальная позиция Яндекса?
    > На форуме контент создают пользователи и требовать от них, чтобы каждая тема была релевантна поисковым запросам я не могу и считаю абсурдом. Редактировать старые темы и подстраивать их под поисковики тоже абсурд.
    >
    >
  8. Аватар для qp3r
    печалько...мы не читерили, а нас забанили..=(
  9. Аватар для Maximal
    поставил метрику яндекса, посмотрим, даст ли что-нибудь
  10. Аватар для Maximal
    продолжаем эксперименты
    закрыл раздел "Реклама" от гостей, в нем пользователи могли бесплатно рекламировать свои ресурсы - написал платонам, эффекта не дало

    вчера сделал все внешние ссылки через редирект
  11. Аватар для Maximal
    начинаем входить в индекс, медленно, но верно.
    + почти в это же время 1 сайт из бана достал
    ожидайте манулы на сайте http://1nf.ru
  12. Аватар для Maximal