Cообщество пользователей SMF

Яндексу и Гуглу нужно запретить индексацию, всего форума, через robots.txt (на время). На форуме есть темы и сообщения.
Подскажите как правильно прописать?

Как он у вас, в корне или в директории и с порталом или без..., вот пару вариантов для всех, если надо конкретно для двух систем, то два блока с

User-agent: Googlebot и User-agent: Yandex
ниже для всех

User-agent: *
Disallow: /forum/

Или

User-agent: *
Disallow: /

Цитата: Yworld_garry от 24 июля 2015, 10:34:27Как он у вас, в корне или в директории и с порталом или без...,

В корне. Без портала.

Для всех

User-agent: *
Disallow: /

Только для двух ботов

User-agent: Googlebot
Disallow: /


User-agent: Yandex
Disallow: /

Можно ли в robots.txt разрешить чтоб Гугл и Яндекс индексировали только карту? Если да, то как прописать?
А то я прописал так:
User-agent: Googlebot
Allow: /*sitemap
Disallow: /
Sitemap:  http://***.com/index.php?action=sitemap


User-agent: Yandex
Allow: /*sitemap
Disallow: /
Sitemap:  http://***.com/index.php?action=sitemap
Яндекс выдаёт ошибку: Неизвестный тег. Строка 2: html

А Гугл вот что пишет:

В браузере попробуйте свой сайтмап открыть. Он у вас есть вообще?

или возможно у вас стоит мод карты один из, так у него ссылка на карту вот такая

http://www.ваш сайт.ru/index.php?action=sitemap;xml

Цитата: digger® от 24 июля 2015, 23:36:19В браузере попробуйте свой сайтмап открыть. Он у вас есть вообще?

Да есть, открывает.

Цитата: Yworld_garry от 24 июля 2015, 23:54:11или возможно у вас стоит мод карты один из, так у него ссылка на карту вот такая

http://www.ваш сайт.ru/index.php?action=sitemap;xml

Да, именно мод, и по этой ссылке.оказалось без ;xml выдаёт ошибки... Сейчас всё ошибки нет.
Но, меня больше интересует robots.txt - правильно ли я там прописал?

Цитата: Mакс-23 от 25 июля 2015, 00:32:03Но, меня больше интересует robots.txt - правильно ли я там прописал?

В панелях вебмастера яндекса и гугла есть проверка роботс файла, вводите туда проверяемый урл, и покажет закрыт или открыт...