Первая версия robots.txt , для более полной индексации.

[Abrikos]

И такой вопрос форум у меня стает типа http://мой сайт.net/forum куда файл кидать в папку с форумом или в папку с сайтом, я хочу чтобы правила на сайт не распространялись а только на форум !И что надо изменить в самом файле чтобы всё заработало ?
Disallow: /forum/*go.php # либо тот редирект что стоит у вас
Host: www.мой сайт.ru # указать ваше главное зеркало 
Что сдесь написать ?

[Yworld_garry]

Файл в любом случаи в корень кидать. Если есть свой роботс для сайта, просто дописать из скачанного.
Disallow: /forum/*go.php # либо тот редирект что стоит у вас, удалить если нет редиректа
Host: www.мой сайт.ru # ну дык то как вы в поисковиках с www или без индексируетесь. Главное зеркало.
Что бы заработало всё, придётся прочитать немного из написанного.

Все жё советую почитать темку, там все расписано досконально.

[m412]

Здравствуйте!
Подскажите пожалуйста, стоит ли на это обращать внимание...
в robots.txt стоит

Host: http://kokki.ru

Яндекс пишет вот так

21: Host: http://kokki.ru Некорректное имя главного зеркала сайта

Если меняю на www.kokki.ru то уже гугл начинает ругаться.


в sitimap ссылки начинаются тоже с http://kokki.ru и яша их все видит!

и еще, у меня раньше сайт был на DLE и гугл помнит те страницы, и при сканирование выдает ошибки что этих страниц нету! С этим надо как-то бороться или они сами со временем уйдут?

[Yworld_garry]

http:// Лишнее

Сами уйдут со временем. Но в панели гугла есть возможность удалить страницы. Поковыряйте панель.

[m412]

Yworld_garry спасибо! буду пробовать) 

[Serifa]

Все равно я в индексации ничего не понимаю и не пойму. Роботс составила по рекомендациям в этой теме. Где-то дня два назад засунула в футер форума ссылочку на мою любимую компанию, где я лицензию на свой любимый файрвол обновляю. Выглядит ссылка так: "FirewallSoftkey.ru"
Решила глянуть, что найдется в поиске по этому запросу.
Вот что показывает Яндекс:

расширенный поиск на сайте: ***.org   
Область поиска: сайт — ***.org

   1. 1. Криокамеры-3 (продолжение) 13-10-3057
      FirewallSoftkey.ru. Prince of Darkness variant by Antechinus.
      ***.org/index.php?... 2 часа назад сохраненная копия
   2. 2. Сцены с Кеноби (цитаты)
      FirewallSoftkey.ru. Prince of Darkness variant by Antechinus.
      ***.org/index.php?topic=1810.0 2 часа назад сохраненная копия
   3. 3. Ответ
      FirewallSoftkey.ru. Prince of Darkness variant by Antechinus.
      ***.org/index.php?... 2 часа назад сохраненная копия

«FirewallSoftkey.ru» · Запросов за месяц: firewallsoftkey — 0, ru — 49 814 491.
в других поисковых системах: Google · Bing · Yahoo! · Rambler · Яндекс.Каталог

Меня удивляет форма ответа, которая попала в этот список. На кой боту было пытаться ответить что-то в теме? Ведь нашел же, гад, раздел, где гости могут отвечать. Как правильно запретить ботам отвечать, если гостям отвечать можно?

[Yworld_garry]

His Divine Shadow, если мы говорим о сайте из аккаунта, то роботс я бы пересмотрел. На на первый взгляд странный.

Роботс составила по рекомендациям в этой теме.

Очень отдалённо напоминает.

Дайте взглянуть на те темки где разрешено постить гостям.

PS
к сожалению убегаю сейчас, буду по позже.

[Serifa]

Если почистить файл от всяких

Код Выделить Развернуть

User-agent: Radiation Retriever 1.1
Disallow: /
User-agent: WebmasterWorld Extractor
Disallow: /

то выглядит так:

Код Выделить Развернуть

Allow: /forum/*action=forum
Disallow: /attachments/                 
Disallow: /avatars/                 
Disallow: /img/                 
Disallow: /Packages/                 
Disallow: /Smileys/                 
Disallow: /Sources/                 
Disallow: /Themes/
Disallow: /*printpage
Disallow: /index.php?*wap
Disallow: /*wap
Disallow: /forum/*.msg
Disallow: /forum/*sort               
Disallow: /index.php?action=help                 
Disallow: /index.php?action=profile                 
Disallow: /index.php?action=mlist                 
Disallow: /index.php?action=admin                 
Disallow: /index.php?action=pm                 
Disallow: /index.php?action=notify                 
Disallow: /index.php?action=recent                 
Disallow: /index.php?action=mergetopics                 
Disallow: /index.php?action=printpage
Disallow: /index.php?action=reminder
Disallow: /index.php?action=verificationcode
Disallow: /index.php?action=help
Disallow: /index.php?struct=on&data=on&action=dumpdb
Disallow: /index.php?action=login
Disallow: /index.php?action=login2
Disallow: /index.php?action=register
Disallow: /index.php?action=post
Disallow: /index.php?action=search
Disallow: /index.php?action=search2
Disallow: /index.php?action=stats;
Disallow: /index.php?action=activate;
Disallow: /index.php?action=calendar;
Disallow: /index.php?action=showawards;
User-agent: Slurp
Crawl-delay: 110

И что там неправильно? Сама бы не додумалась, все здесь прочитала))

Дайте взглянуть на те темки где разрешено постить гостям.

В каком виде их представить?)

[Yworld_garry]

В первом топике в аттаче скачайте, там всё прокомментировано. Удалите не нужное и добавьте к нему
Allow: /*forum

В каком виде их представить?)

Просто урл мне в личку.

В вашем сейчас запрещён к индексации форум и напутано с каталогами.

[Beer]

Такой сегодня приполз:

208.115.111.247 - - [14/Jan/2010:04:43:23 +0300] "GET /forum/ HTTP/1.0" 200 26753 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.dotnetdotcom.org/, crawler@dotnetdotcom.org)"

User-agent: dotbot

[Drakonsa]

http://www.dotnetdotcom.org/

[Макар]

как открыть галерею для ботов ? в частности для гугля

сейчас пишет для адреса - http://zavgar.info/index.php?action=media

Результаты проверкиURL   Робот Google   Googlebot-Mobile
http://zavgar.info/index.php?action=media   Заблокировано по строке 23: Disallow: /*action   Заблокировано по строке 23: Disallow: /*action


в файле роботс тхт
открыл строку - Allow: /*media

у яши все в ажуре схавал

Результаты проверки
URL   URL   Результат   

   http://zavgar.info/index.php?action=media   разрешен

[Макар]

Раз никто не пишет , расскажу о своих экспериментах с роботами.

Гугл упорно не хотел индексировать галерею, роботс

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /*feed
Allow: /*imode
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /mgal_data/
Disallow: /smf/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: сайт.info

User-agent: Slurp
Crawl-delay: 100

специально был изменен для этих целей на такой

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /*feed
Allow: /*imode
Allow: /*media
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /mgal_data/
Disallow: /smf/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: сайт.info

User-agent: Slurp
Crawl-delay: 100

Яша прекрасно его схавал и не подавился, а Гоша упорно отказывался, мотивируя свой отказ тем что его туда не пускате 23 строка файла

Сейчас изменил роботс таким образом

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /*feed
Allow: /*imode
Allow: /*index.php?action=media
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /mgal_data/
Disallow: /smf/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: сайт.info

User-agent: Slurp
Crawl-delay: 100

проверил в панели вебмастера Гоши, пишет что наконец то туда ходить разрешено

Результаты проверкиURL   Робот Google   Googlebot-Mobile
http://сайт/index.php?action=media   Разрешено в строке 7: Allow: /*index.php?action=media   Разрешено в строке 7: Allow: /*index.php?action=media

Синтаксический анализ результатов поискаЗначение   Результат
Строка 30: Crawl-delay: 100   Правило, которое не учитывается Googlebot

внес изменения в файл и закинул его в корень , теперь будем подождать результатов 

на этом можно было бы успокоится, если бы не одно НО! На страницах, месяц назад поставил рекламные блоки АдСенса. Естественно, первое время вместо контекстной рекламы наблюдал социальную, заглушки, если нет чего показывать по теме. Ну пройдет время, Гоша, отдуплится и начнет показывать контекст. Но не тут то было. Заметил случайно. Редактируя вид одного из объявлений зашел на страницу диагностики АдСенса и .................. понял почему у меня до сих пор на некоторых страницах так и крутится "социалка"  вместо контекста.

Смотрите файл отчета диагностики

Диагностика сайта
Просматривайте подробные сведения по диагностике страниц, которые Google сканирует с целью показа релевантных объявлений. 

Если при сканировании ваших страниц возникнут проблемы, они будут указаны в таблице ниже. Постарайтесь устранить эти проблемы, чтобы мы могли просканировать больше ваших страниц и подобрать релевантные объявления.

Чтобы получить помощь в решении проблем с заблокированными URL, перейдите в наш справочный центр.

Отчет о сканировании обновляется еженедельно. Мы не принимаем запросы на более частое сканирование. Также следует помнить, что этот отчет не является исчерпывающим.

http:/ / сайт/    Файл robots.txt.   01.02.2010
   index. php? action= forum   Файл robots.txt.   01.02.2010
   index. php? action= media   Файл robots.txt.   01.02.2010
   index. php? action= media;sa= album;in= 14   Файл robots.txt.   27.01.2010

по медиа адресу понятно, я его разрешил только сегодня , но index. php? action= forum   

У меня установлен Симпле портал и главная это портал , а страница с разделами и категориями как раз action= forum и ее не нидексирует, и на ней показывает социальную рекламу 

Идем дальше.

Просматриваем топик с адресом http://сайт.info/index.php/topic,613.0.html , оооо все ОК рекламный блок, как и положенно с контекстом. НО! мля................. эта тема, пока, состоит из одной страницы и если кликнуть по любому из заголовков поста , открывается та же страница но с адресом, например http://сайт.info/index.php/topic,613.msg4537.html#msg4537

и.ииииииииииииииииииии  Гоша опять показывает социалку вместо контекста 

Идем дальше................... Много-страничные темы.
Для примера http://сайт.info/index.php/topic,526.0.html тема с пятью и более страницами, при обращении к ней по указанному адресу, выводится контекстная реклама. Все нормально. Если перейти на следующюю страницу по ссылкам внизу 1 2 3 4 5 6 ................ имеющим вид http://сайт.info/index.php/topic,526.50.html то так же проблем нет, показывается контекстная реклама. НО! как всегда вылазит это Но.................
При переходе в самой теме по ссылке на конкретный пост, из той же темы, или по ссылке на пост в другой теме получаем "социальную рекламу" и матюк заблокированно в роботс 

И еще , надеюсь пока последнее................ Большинство пользователей просматривая форум, загружают главную страницу сообщений , или пользуются ссылкой в шапке показать темы с вашего последнего визита http://сайт.info/index.php?action=unread а он то заблокирован роботс   
и переходя по ссылкам с этой страницы http://сайт.info/index.php/topic,612.0/topicseen.html или по иконке NEW http://сайт.info/index.php/topic,612.msg4534/topicseen.html#new тоже получают вместо контекста "социалку"

Или же пользуются ссылками в информационном центре
Последние сообщения
http://сайт.info/index.php/topic,526.msg4558/topicseen.html#msg4558
http://сайт.info/index.php/topic,530.msg4552/topicseen.html#msg4552
и т.д. .............


тоже получают "социальную рекламу" вместо контекста    естественно и эти адреса заблокированны в роботс.

Я вот чего думаю, тут мы боролись с дублями, вычищали выдачу от ненужных страниц . Но не переборщили ли мы ? 

Все хорошо в выдаче только основные урлы, дублей нет, но вот при таком подходе, когда главная страница форума нашпигована как подушка иголками, ссылками на внутренние страницы форума, казалось бы отличная внутренняя перелиновка форума, ан нет эти адреса закрыты в роботс, и мы по сути сами себя лишаем возможности дать поисковикам быстрые линки на актуальные темы, на внутренюю перелиновку. Да и в самих темах, пользователи ссылаясь на какую то тему или конкретное сообщение не постят же заглавный адрес темы, а как правило, чаще всего постят урл типа  http://сайт.info/index.php/topic,600.msg4236.html#msg4236 и реже всего на тот же первый пост урл вида http://сайт.info/index.php/topic,600.0.html ил же, как писал выше,  давая ссылку на другую тему, а чаще на конкретный пост в теме , они постят урл вида http://сайт.info/index.php/topic,612.msg4532.html#msg4532 и все эти урлы запрещенны к индексации. 

Это была лирика, а теперь вернемся к нашим баранам, тобишь поисковикам.

Как открыть для Гоши галерею, не открывая все action вроде разобрался и допер сам.

Теперь сижу и ломаю голову как открыть страницы , что бы на них начала нормально показываться реклама.

В строке посетители,  поисковики, кроме робота Google вижу робота Google(AdSense) вот тумаю как правильно открыть доступ к заблокированным страницам только для АдСенса, не пустив туда основного Googlя
или прийдется пересматривать политику файла роботс, что касается вот этих внутренних адресов перелиновки. Подозреваю, что такая же ситуация может возникнуть и при установке кодов других рекламных сетей.

[Yworld_garry]

Makar, если бы внимательнее прочитали тему, то в ней написано об открытии для ботов экшенов нужных вам. И в частности об открытии форума для ботов, если установлен тот или иной портал. Да и в самом файле для примера оставлено и прокомментировано.

html#new
#msg4532 -- это дубли и они закрыты и по дефолту и в варианте с роботс.

[Макар]

Гарри спасибо. Пойду искать где это написано. Если не найду, то вернусь сюда

p.s. Начну ка я с первой страницы . . . .

[Beer]

 Давеча наткнулся на то, что в Яндексе попалась моя Принтпейдж, хотя все делаю следя за темой уже который год.
А нафига вообще эти принтпейджи нужны? Может грохнуть их физически ради общего дела?!

[Yworld_garry]

Проверьте ещё раз правильность, либо эти принты попали раньше в индекс.
Пользуются конечно ими не многие, точнее практически никто.

[Beer]

Я с форума ссылку на "ПЕЧАТЬ СТРАНИЦЫ", или как там оно, мать его, не вижу уже убрал, но открываться оно будет все равно, если адрес набрать.. - как их правильно вырубить вообще?

[Bugo]

Я с форума ссылку на "ПЕЧАТЬ СТРАНИЦЫ", или как там оно, мать его, не вижу уже убрал, но открываться оно будет все равно, если адрес набрать.. - как их правильно вырубить вообще?

А зачем Вы адрес набираете, если оно Вам не нужно? Не набирайте...

[Макар]

В панели яши есть страница где можно удалять из индекса не нужные ссылки. Вот и удалите. А где эти принты в основной выдаче? Или в секции ошибок? Если в ошибках, то можно  забить, подождать, яша их сам сотрет. А то пару сотен ссылок муторно руками удалять.

[Beer]

Зашел к Яндексу:

/forum/index.php?action=dlattach;topic=638.0;attach=5256;image - вложение у меня в индексе.


Страницы с ошибкой (3827)
Документ содержит мета-тег noindex:
Там в шаблоне счетчики и баннер заключены в noindex:

Код Выделить Развернуть

<span class="inv"><noindex></span>
<div align="center">
    <SCRIPT language=JavaScript src=.../banner_js.php?place=1&client=29297 target="_blank" rel="nofollow"></SCRIPT>
</div>
<span class="inv"></noindex></span>

[Mavn]

Почитайте тему давно все разжевано и средства как все сделать тоже выложены!

[Beer]

У меня прописано:

Disallow: /forum/index.php?action=dlattach #
Disallow: /forum/attachments/

Спс. пойду еще разок перечитаю...


Информация: скорее всего страницы намеренно запрещены к индексированию    
Документ содержит мета-тег noindex   2997

Беру урл, кот. запрещен, на странице проверки роботс проверяю:
Результаты проверки URL   URL   Результат   

http://www.сайт.ru/forum/index.php?topic=10.msg159   разрешен

Как сказал выше - в ноиндексе только счетчик и баннер.

[Beer]

По предыдущему посту мыслей нет?

Можно добавить этого:

User-agent: MJ12bot
Disallow: /

Он перегрел сервак вчера.

[Mavn]

а какие мысли должны быть? четко вопрос сформулируйте

[Beer]

Яндекс в панели вебмастера ругается так:

Информация: скорее всего страницы намеренно запрещены к индексированию   
Документ содержит мета-тег noindex   2997

В noindex  заключены только счетчики, которые внизу страницы.
Беру урл, кот. "типо запрещен", на странице проверки роботс Яндекса проверяю:

Результаты проверки URL   URL   Результат   
http://www.сайт.ru/forum/index.php?topic=10.msg159   разрешен

Как сказал выше - в ноиндексе только счетчик и баннер.

[Mavn]

Роботс ваш выкладвыйте

[Beer]

 Вроде как все стандартно в нем - все то, что навеяно чтением этой темы :

[Mavn]

файл robots 01.11.09.rar  скачайте из первого сообщения. Видать файл обновляли, текст первого сообщения нет.

[Yworld_garry]

Посмотрел ваш файлик.
1 Пропусков строк быть не должно. Весь файл идёт без пустых строк.
2 В вашем нет запрета на msg , возьмите из аттача первого поста. Всё будет работать.
3 noindex не имеет отношение к роботс. Смотрите как вставлены теги в коде страниц или что там у вас запрещено. корректность. В начале топика описано как.


PS
Подправил первый пост, теперь там нет старого варианта.

[Beer]

Спс +1 отцам за заботу, а почему про эти разделы не сказано:

Disallow: /forum/index.php?action=help
Disallow: /forum/index.php?action=register

Какова их важность в индексации?

[Mavn]

вот вы опять не читаете то о чем написали! в роботс уже есть правило

Код Выделить Развернуть

Disallow: /forum/*action

зачем еще раз дублировать??

[online-gambler]

Отписывался по поводу роботс еще в ноябре 2009 в этом топике, с каждым месяцем вылазиет все больше и больше запрещенных страниц в google. Как закрыть их я понятия не имею. Только у меня подобная проблема?

[Yworld_garry]

Отписывался по поводу роботс еще в ноябре 2009 в этом топике, с каждым месяцем вылазиет все больше и больше запрещенных страниц в google. Как закрыть их я понятия не имею. Только у меня подобная проблема?

Скиньте урл в личку, вечером посмотрю.
Я не помню что в ноябре было по поводу вашего сайта. Освежим сегодня.

[online-gambler]

Отправил.

[Pika4y]

Если у меня форум стоит без подраздела. Удалять в robors "/forum"?
Нужно ли ЧПУ или "дружественная ссылка"?

[rapid]

Если у меня форум стоит без подраздела. Удалять в robors "/forum"?

Конечно. В роботс ты указываешь путь относительно корня сайта

[Тимур]

Прочитал всю тему, спасибо автору за проделанную работу.

Мой роботс:

Код Выделить Развернуть

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /home$
Disallow: /*begining$
Disallow: /*layout
Disallow: /forums/
Disallow: /forum/
Allow: /forums-__mama-papa/*sitemap
Allow: /forums-__mama-papa/*rss
Allow: /forums-__mama-papa/*type=rss
Disallow: /forums-__mama-papa/attachments/
Disallow: /forums-__mama-papa/avatars/
Disallow: /forums-__mama-papa/Packages/
Disallow: /forums-__mama-papa/Smileys/
Disallow: /forums-__mama-papa/Sources/
Disallow: /forums-__mama-papa/Themes/
Disallow: /forums-__mama-papa/Games/
Disallow: /forums-__mama-papa/*.msg
Disallow: /forums-__mama-papa/*.new
Disallow: /forums-__mama-papa/*sort
Disallow: /forums-__mama-papa/*topicseen
Disallow: /forums-__mama-papa/*wap
Disallow: /forums-__mama-papa/*imode
Disallow: /forums-__mama-papa/*action
Disallow: /forums-__mama-papa/*prev_next
Disallow: /forums-__mama-papa/*all
Host: __mama-nana.ru

User-agent: Slurp
Crawl-delay: 100

User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /

Sitemap: http://__mama-nana.ru/sitemap.xml

Вопросы:
1) правильно ли я сделал? Прошу проверить из-за того, что сам форум у меня в директории /forums, и стоит мост Jfusion (Joomla+SMF), форум прописан по http://__mama-nana.ru/forums-__mama-papa
2) зачем rss открывать доступ? ведь опять же дубль! http://__mama-nana.ru/?format=feed&type=rss
(пока открыл как у вас)
3) Сайтмап пока только joomlaвский. Подойдет ли smf_sitemap_1.2.2.tar.gz для SMF 1.1.11 или надо делать вот это
http://custom.simplemachines.org/mods/index.php?action=parse ?

[Yworld_garry]

1 У вас стоит какой то мод ЧПУ, поэтому проверьте правильность в панелях ПС, в гугле и яндексе.
2 rss в выдаче не участвуют.
3 карту стоит поставить и для форума, подсунуть обе ПС в панелях.

[Тимур]

1 У вас стоит какой то мод ЧПУ, поэтому проверьте правильность в панелях ПС, в гугле и яндексе.
2 rss в выдаче не участвуют.
3 карту стоит поставить и для форума, подсунуть обе ПС в панелях.

Спасибо за ответы:
1)стандартный ЧПУ Joomla, проверил в Яндексе все ок-
http://__mama-nana.ru/forums/index.php?action=profile;u=36;sa=showPosts   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=login   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=calendar;year=2011;month=2   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=reminder   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=register   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?board=12.0   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=profile;u=40   запрещен правилом /forums/   
http://__mama-nana.ru/forums/index.php?action=calendar;year=2010;month=9   запрещен правилом /forums/   
http://__mama-nana.ru/forums-__mama-papa/action,calendar/   запрещен правилом /forums-__mama-papa/*action*   
http://__mama-nana.ru/forums-__mama-papa/action,help/page,searching/ запрещен правилом /forums-__mama-papa/*action*   
http://__mama-nana.ru/forums-__mama-papa/topic,8.msg15/   запрещен правилом /forums-__mama-papa/*.msg*   
http://__mama-nana.ru/forums-__mama-papa/board,10.0/   разрешен   
http://__mama-nana.ru/forums-__mama-papa/board,6.0/sort,views/   запрещен правилом /forums-__mama-papa/*sort*   
http://__mama-nana.ru/forums-__mama-papa/action,profile/u,47/sa,statPanel/   запрещен правилом /forums-__mama-papa/*action*.
2) буду знать
3) то что надо поставить я понял, вот только тот мод, который вы рекомендуете на первой странице не подходит для SMF 1.1.11 или я не прав? 2.1.0 IS FOR SMF 2.0 ONLY.  Use 1.2.2 for SMF 1.1.9

[netoya]

Тимур  да, делайте установку мода для линейки 1.1.Х через парсинг

[Тимур]

Тимур  да, делайте установку мода для линейки 1.1.Х через парсинг

Не нашел темы для sitemap поэтому все-таки здесь:
Compatible With:    1.1.11, 2.0 RC3, так где правда?
Можно ли ставить просто или надо в коде лазить?

[Bugo]

Правда в том, что он ставится и на 1.1.11 и на 2.0 RC3. Что непонятного?

[BlackS]

Приветствую, помогите настроить robots.txt!
Стоит форум SMF 2.0 RC3 и поставил ЧПУ SimpleSEF 1.0.3.
Я вообще запутался.
Вот, что у меня получилось:

Код Выделить Развернуть


User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*redirect/url,
Host: www.subg.ru
Sitemap: http://subg.ru/sitemap/xml

Помогите пожалуйста настроить.

[Тимур]

Правда в том, что он ставится и на 1.1.11 и на 2.0 RC3. Что непонятного?

Непонятно вот что:

Можно ли ставить просто или надо в коде лазить?

[decebel2]

Приветствую, помогите настроить robots.txt!
Стоит форум SMF 2.0 RC3 и поставил ЧПУ SimpleSEF 1.0.3.
Я вообще запутался.
Вот, что у меня получилось:

Код Выделить Развернуть


User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*redirect/url,
Host: www.subg.ru
Sitemap: http://subg.ru/sitemap/xml

Помогите пожалуйста настроить.

А чем вам выложенный на первой странице robots не в пример? Где дирректива allow?

[decebel2]

Непонятно вот что:

Если мод не будет конфликтовать с другими, то можно не лазить. Пробуйте.

[BlackS]

А чем вам выложенный на первой странице robots не в пример? Где дирректива allow?

Просто я сам настраивал как-то у меня страниц из поиска много ушло. Вот и спрашиваю у знающих людей, то есть у вас.

[decebel2]

Естественно, что страницы отпадут, они ведь закрыты. Это нормально, т.к. роботс для того и существует, чтобы отсеить дубли и страницы, которые не должен индексировать бот. Но при правильном роботс отпадут не нужные, останутся только те, которые релевантны в выдаче (несут пользу)

Вот пример robots.txt на одном из моих форумов:

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /avs/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*msg
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Host: www.pctune.ru

User-agent: Slurp
Crawl-delay: 100



Отредактировал, подвинул хост к основному блоку.

[lovemuscle]

Доброй ночи, господа! У меня такой вопрос: стоит ли исключать из индекса такие файлы в корне, как:
index.php
Settings.php
Settings_bak.php
SSI.php
ssi_examples.php
news_readme.html
readme.html
ssi_examples.shtml
agreement.txt
changelog.txt
license.txt
smffooter.txt
smfheader.txt

Заранее благодарю за ответ