В файле robots.txt не указана ссылка на карту сайта

Тема в разделе "Мегафлуд", создана пользователем Veron77, 13 фев 2014.

  1. Veron77

    Veron77

    Регистрация:
    20 сен 2013
    Сообщения:
    80
    Симпатии:
    0
    Здравствуйте...подскажите кто знает?

    Мне сказали что в файле robots.txt не указана ссылка на карту сайта. Необходимо прописать ссылку на карту в данном файле.


    Кто это знает как это сделать?

    Если можно по подробнее и по понятнее.

    Спасибо!
     
  2. Reqman

    Reqman

    Регистрация:
    25 фев 2013
    Сообщения:
    213
    Симпатии:
    62
    В файле роботс должна быть указана ссылка на ваш домен. А ссылку на карту сайта достаточно в Вебмастере Яндекс и Google указать.
     
  3. GigabiT

    GigabiT

    Регистрация:
    13 фев 2014
    Сообщения:
    28
    Симпатии:
    0
    Тут, как мне кажется все просто разжевано и с видео)
     
  4. PandaSto

    PandaSto

    Регистрация:
    26 май 2013
    Сообщения:
    22
    Симпатии:
    33
    Я думаю что лучше стоить в файле "robots.txt" указать
    Код:
    Sitemap: http://site.ru/sitemap.xml
    где site.ru Ваш сайт
     
    Veron77 нравится это.
  5. Veron77

    Veron77

    Регистрация:
    20 сен 2013
    Сообщения:
    80
    Симпатии:
    0
    Просто вставить эту строчку в любом месте "robots.txt" и указать вместо - site.ru свой сайт....и все?)
     
  6. alex_storm

    alex_storm дизайн, CSS Команда форума

    Регистрация:
    11 дек 2012
    Сообщения:
    1.121
    Симпатии:
    560
    Ни в коем случаи не давайте доступ в роботсе к своему sitemap.xml. Это будет Ваша дыра в безопасности! Прячьте свой sitemap.xml в разные папки и показывайте его только ПС.
     
    Veron77 нравится это.
  7. Reqman

    Reqman

    Регистрация:
    25 фев 2013
    Сообщения:
    213
    Симпатии:
    62
    Полностью согласен. Что Вам, автор, мешает зайти в вебмастер и указать через него путь к своей карте?
     
  8. Veron77

    Veron77

    Регистрация:
    20 сен 2013
    Сообщения:
    80
    Симпатии:
    0
    Как правильно его спрятать? И почему вы думаете что это может нести угрозу?
    --- Добавлено, 13 фев 2014 ---
    Я указал в вэбмастере.... но я сейчас раскручиваю сайт через вэбэффектор... и там мне указали причину ошибки - Ошибка отображается, т.к в файле robots.txt не указана ссылка на карту сайта. Необходимо прописать ссылку на карту в данном файле.
    После этого нужно написать письмо в службу поддержки с просьбой перепроверить ошибки вне очереди.

    Вот и думаю как быть?
     
  9. alex_storm

    alex_storm дизайн, CSS Команда форума

    Регистрация:
    11 дек 2012
    Сообщения:
    1.121
    Симпатии:
    560
    Послать их куда подальше! Тоже мне спецы! НИ В КОЕМ СЛУЧАИ НЕ ПОКАЗЫВАЙТЕ SITEMAP.XML в robots.txt
    Создайте папку - mymaps(например) и туда скиньте файл sitemap.xml и адрес вашей карты сайта будет site.ru/mysitemap/sitemap.xml
    И нигде не показывать его! Никому! Это дыра в безопасности!
     
    Veron77 нравится это.
  10. Veron77

    Veron77

    Регистрация:
    20 сен 2013
    Сообщения:
    80
    Симпатии:
    0
    Я всегда думал что указав в вебмастере и гуглвебмастер карту сайта....этого достаточно, разве не так?
     
  11. alex_storm

    alex_storm дизайн, CSS Команда форума

    Регистрация:
    11 дек 2012
    Сообщения:
    1.121
    Симпатии:
    560
    +
     
    Veron77 нравится это.
  12. cereberlum

    cereberlum

    Регистрация:
    26 май 2013
    Сообщения:
    740
    Симпатии:
    266
    А все же, как именно карта сайта в роботсе может вредить безопасности? Единственное что мне пришло в голову - это что по ней проще будет сайт копировать, например... Если не трудно расскажите плз, инфы в поиске не нашел.
     
    Veron77 нравится это.
  13. GigabiT

    GigabiT

    Регистрация:
    13 фев 2014
    Сообщения:
    28
    Симпатии:
    0
    Я думаю так, что помимо поисковых роботов её сканируют всякие спам боты и воры контента, плюс по ней будет легче найти уязвимость.
     
  14. alex_storm

    alex_storm дизайн, CSS Команда форума

    Регистрация:
    11 дек 2012
    Сообщения:
    1.121
    Симпатии:
    560
    1. Грабинг контента.
    2. Иногда через карту сайта можно получить доступ к БД(знаю таких умельцев)
    3. Благодаря карте сайта можно найти дубли страниц и использовать их, чтобы положить сайт
    4. Благодаря карте сайта можно закачать на сервак вирус
    Это основное чего стоит опасаться, есть еще ряд причин, но они менее заметны на фоне этого.
     
    cereberlum и Veron77 нравится это.