собственно такая проблема, лазил постоянно на форумах в поисках адекватного robots.txt... Ведь он влияет на sitemap, а sitemap на все остальное. При поиске везде почти одно и тоже, в последствии чего у меня куча ошибок в гугле вебмастерс, из 620 отправленных страниц, 619 проблем Помогите кто может Вот сайт, если че - http://megashop.cc
А с чего бы роботс влияет на сайтмап? Роботс это файл, показывающий, что можно индексировать ПС, а что нельзя. Сайтмап - это карта сайта. Совсем разные вещи. Прогоните через анализатор webmaster.yandex.ru/robots.xml, посмотрите какие строки закрывают индексацию ваших страниц.
В роботсе прописывается путь к файлу sitemap.xml да и то это актуально если этот файл не лежит в корневой директории. Лучше бы ошибки гугла сюда выложили, если не хотите что бы ваш пост приняли за рекламу сайта.
Лучше чем искать готовый роботс, разумнее почитать что это такое, для чего нужно и как пишется. Что касается конкретно этого роботса я бы разместил инструкции для всяких левых ботов в конц типа Двойные пропуски строк между блоками - вроде как не есть гуд. Да и вот такая колбаса тоже, здесь вовсе без переноса строки можно обойтись, а уж двойной и вовсе ни к чему. Так же ни каких левых пробелов быть не должно. Толком не понимаю почему многие по обычаю выделяют инструкции яндекса, насколько припоминаю раньше это было обусловлено особенностями обработки директив sitemap и host. Да, и увидеть бы на что все-таки вебмастер ропщет... P.S. Немного юмора, хотел посмотреть как пишут умные люди роботс, открыл http://ru.wikipedia.org/robots.txt кто мне скажет что это за насилие над здравым смыслом? Сей свод заклинаний писали месяц не иначе? А главное в чем смысл я так и не понял...
