[Помогите] Отдача http Заголовка last-modified

Тема в разделе "OpenCart", создана пользователем alex_storm, 7 мар 2013.

  1. alex_storm

    alex_storm webdev

    Регистрация:
    11 дек 2012
    Сообщения:
    1.151
    Симпатии:
    667
    Как то не задумывался и вдруг решил проверить на правильность отдачи http заголовков движка через сервис http://last-modified.com/ru/
    И оказалось, что Opencart вообще не отдает заголовки last-modified.
    В инете есть решения для страницы продукта и категорий, а как же быть с другими страницами: главная, блоговые, и т.д.

    Кто нибудь сталкивался с таким? Есть ли решение проблемы?

    Для тех кто не в теме. HTTP заголовок last-modified - это дата последнего изменения страницы. ПС робот смотрит на нее когда заходит на сайт. Если страница не изменялась он ее не учитывать и продолжает искать страницы, которые свежие. Таким образом происходит взаимодействие сайта с ПС. Если нет заголовка, то в принципе не так страшно, но это позволяет ускорять индексацию Вашего сайта в несколько раз.
     
  2. SkyLine

    SkyLine

    Регистрация:
    26 сен 2012
    Сообщения:
    341
    Симпатии:
    633
    вот тут решение которое мне помогло) я там как раз в дискуссии участвую ))
     
  3. alex_storm

    alex_storm webdev

    Регистрация:
    11 дек 2012
    Сообщения:
    1.151
    Симпатии:
    667
    Я читал эту тему. Получатся заголовки только для категорий и продукта. А для остальных страниц?
     
  4. SkyLine

    SkyLine

    Регистрация:
    26 сен 2012
    Сообщения:
    341
    Симпатии:
    633
    для остальных это каких? для статей ?
     
  5. alex_storm

    alex_storm webdev

    Регистрация:
    11 дек 2012
    Сообщения:
    1.151
    Симпатии:
    667
    Статьи, главная страница, блоговые страницы, страницы галереи и т.д.
     
  6. SkyLine

    SkyLine

    Регистрация:
    26 сен 2012
    Сообщения:
    341
    Симпатии:
    633

    Maks (07 Сентябрь 2012 - 15:32) писал:
    Не понятно для чего это вам нужно... Можно сделать, но это не решишь с наскока, по крайней мере я не знаю как, в общем на мой взгляд овчинка выделки не стоит...

    я с ним согласился)) так как в инет магазине важны продукты и категории. а статьи на мой взгляд не столь важны.
    я весь инет перерыл, использовал различные варианты. но то дата не правильно отдавалась то еще что то. это единственное решение которое я нашел и которое работает корректно, пускай и не для всего.
     
  7. alex_storm

    alex_storm webdev

    Регистрация:
    11 дек 2012
    Сообщения:
    1.151
    Симпатии:
    667
    Стоит! Еще как стоит. Если магазин ведет обзор будущего товара, благодаря этому можно повысить число посетителей на сайт.
     
  8. SkyLine

    SkyLine

    Регистрация:
    26 сен 2012
    Сообщения:
    341
    Симпатии:
    633
    пожалуй соглашусь. вопрос наверное не по теме. а как лента.ру выводит так быстро свои статьи в выдачу гугла ? за 2-3 часа. гяди и того быстрее.
    через last-modified?
     
  9. denya

    denya

    Регистрация:
    2 мар 2013
    Сообщения:
    130
    Симпатии:
    35
    Решил и себе настроить last-modified заголовки по дате изменения товара и сразу возник вопрос: большинство из нас редактировали шаблоны, чтобы отзывы о товаре тоже индексировались, но при добавлении отзыва мы не меняем дату редактирования самого товара!
    Получается, что отдавая last-modified заголовок, мы насильно "притормаживаем" индексацию отзывов, если они были добавлены? Поправьте, если ошибаюсь.
     
  10. noobie

    noobie

    Регистрация:
    27 мар 2013
    Сообщения:
    174
    Симпатии:
    22
    А на практике проверяли скорость индексации комментариев?
     
  11. denya

    denya

    Регистрация:
    2 мар 2013
    Сообщения:
    130
    Симпатии:
    35
    Трудно проверить индексацию только комментариев.
    Все таки сделал last-modified хедер только для страниц товаров, первые результаты на Яндексе уже получил - около 20 страниц товаров не попадали в индекс яшки, висели так около месяца, а после включения за день все 20 добавились + в ответах сервера появилась статистика в отдаче кодов 304.
     
    Dengger и noobie нравится это.
  12. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.264
    Симпатии:
    534
    На новостных сайта и форумах, где контент обновляется очень часто - боты живут.
    Есть сайт на вп, где контент обновляется исправно 2 года каждый день по 2-5 статей (уникальных, с хорошим текстом) - пост попадает в выдачу через минут 10.

    alex_storm, я бы не заморачивался с last modified для магазина - в магазине можно под ключи продвигать статьи, которые есть - зачем этот параметр? Тут дело в оптимизации сайта и в ссылках на эту статью. Да, и обзоры на будущие товары нормально будут вылазить при правильной оптимизации. last modified - только имеет значение при поиске в гугле "за определенный период" - то есть, если я ищу новость, которая появилась сегодня в течении дня - то да, здесь поисковик будет показывать выдачу с учетом этого параметра для страницы.
     
    SkyLine нравится это.
  13. noobie

    noobie

    Регистрация:
    27 мар 2013
    Сообщения:
    174
    Симпатии:
    22
    А по поводу индексации комментариев в странице продукта можете разъяснить? Поисковик смотрит last modified страницы и если он не меняется не будет ее заново индексировать? Как же он тогда узнает о новом комментарии к товару?
     
  14. SkyLine

    SkyLine

    Регистрация:
    26 сен 2012
    Сообщения:
    341
    Симпатии:
    633
    что значит статьи под ключ? я уже теперь запутался надо отдавать этот заголовок или нет. но все равно спасибо за инфу
     
  15. denya

    denya

    Регистрация:
    2 мар 2013
    Сообщения:
    130
    Симпатии:
    35
    Кстати, кто надумает и себе делать отдачу заголовков по инструкции выше, добавляйте проверку date_modified поля из таблицы продуктов, иногда оно может быть дефолтным - '0000-00-00 00:00:00' , если товар не редактировался, а просто создался - тогда дата last modified будет неправильная.
     
    noobie нравится это.
  16. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.264
    Симпатии:
    534
    статьи под ключ - статьи под ключевое слово.

    Я вот тут еще подумал о том, что написал alex_storm

    Скорость попадания в индекс никак не зависит от last modified. Если сайт обновляется регулярно и оптимизирован - то страницы в индекс ПС и в выдачу попадают достаточно быстро. Я все время last modified понимал как инструкцию боту качать эту страницы снова или нет - то есть если она не изменилась, то не зачем ее заново закачивать боту, что позволяет снизить нагрузку на сервер (если таких страниц милльион). То есть может быть как-то и оптимизировать поведение бота на сайте можно с помощью last modified - то есть дать ему указание, что не качай вот эти старые страницы, дядя - а качни вот эту новую страницу где мы описали новый Asus New-2016. Но опять же если ссылка будет на обзор с главной и на хосте и сервере не никаких проблем для бота - то все зайдет в индекс и так быстро, а сама скорость зависит от других факторов.
     
  17. denya

    denya

    Регистрация:
    2 мар 2013
    Сообщения:
    130
    Симпатии:
    35
    Скорость попадания новых страниц косвенно зависит от этого параметра. Как пишет Яндекс:
    Если страниц в магазине много и нет ссылок на новый товар извне, то они могут подвиснуть без индексации, так как "...число страниц, получаемых роботом с сайта за один заход, ограничено..."
     
  18. alex_storm

    alex_storm webdev

    Регистрация:
    11 дек 2012
    Сообщения:
    1.151
    Симпатии:
    667
    Очень сильно зависит! Почитайте мануалы и рекомендации на хабре и на яндексе... Там все описано.
     
  19. Dengger

    Dengger

    Регистрация:
    23 мар 2014
    Сообщения:
    2
    Симпатии:
    0
    У меня примерно такая же проблема , но как решить её я не знаю.. стоит last-modified для новостей... и все , как только поставил , яндекс вообще перестал индексировать новости и обновлённые новости так же.. кк решить проблему? Можете написать ?