robots.txt

[X-tremo]

Подскажите как правильно составить  фаил robots.txt, чтоб ничего лишнего не Индексилось...только сам контент ну и все полезное. т.е. его надо составить так, чтоб бесполезные ссылки не индексились... подскажите если кто знает...

[DJon]

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /FilesStorage/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: index.php?action=help
Disallow: index.php?action=search
Disallow: index.php?action=admin
Disallow: index.php?action=profile
Disallow: index.php?action=pm
Disallow: index.php?action=calendar
Disallow: index.php?action=mlist
Disallow: index.php?action=printpage

[X-tremo]

у меня сейчас составлен вот так:

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: index.php?action=profile;
Disallow: index.php?action=search;
Disallow: index.php?action=search2;
Disallow: index.php?action=mlist;
Disallow: index.php?action=admin;
Disallow: index.php?action=pm;
Disallow: index.php?action=notify;
Disallow: index.php?action=recent;
Disallow: index.php?action=mergetopics

что тут не верно или не нужно? Да, щас еще help добавлю

[Avdenago]

а от себя добавлю что это можно посмотреть вот тут:
http://www.simplemachines.ru/robots.txt

 а то DJon меня опередил...

[X-tremo]

а от себя добавлю что это можно посмотреть вот тут:
http://www.simplemachines.ru/robots.txt

 а то DJon меня опередил...

Смотрел:)
Но http://www.simplemachines.ru/ зделан как портальчик...может они считают для себя какуюто инфу которая на обычно форуме может быть открыта. Вот я и спрашиваю вашего мнения...Кто как у себя зделал...

[DJon]

а от себя добавлю что это можно посмотреть вот тут:
http://www.simplemachines.ru/robots.txt

 а то DJon меня опередил...

А что делать?! Хочешь жить - умей вертеться...

[DJon]

У тебя нехватает
Disallow: index.php?action=calendar
Disallow: index.php?action=printpage

[X-tremo]

календарь выключен, а

Disallow: index.php?action=printpage

что дает?

[DJon]

Не кэширует страницы для печати

[X-tremo]

Сейчас выглядит так:

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /img/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: index.php?action=help;
Disallow: index.php?action=profile;
Disallow: index.php?action=search;
Disallow: index.php?action=search2;
Disallow: index.php?action=mlist;
Disallow: index.php?action=admin;
Disallow: index.php?action=pm;
Disallow: index.php?action=notify;
Disallow: index.php?action=recent;
Disallow: index.php?action=mergetopics;
Disallow: index.php?action=printpage

сенкс за помощ...

[Xvost]

а от себя добавлю что это можно посмотреть вот тут:
http://www.simplemachines.ru/robots.txt

  а то DJon меня опередил...

А можно поинтересоваться - какое значение в robots.txt какие действия с форумом запрещает поисковикам?

[Avdenago]

А можно поинтересоваться - какое значение в robots.txt какие действия с форумом запрещает поисковикам?

вам это точно надо?  в любом случае можно узнать введя адрес себе в браузер... а так

по порядку из этого поста  http://www.simplemachines.ru/index.php/topic,2067.msg12501.html#msg12501

все что идет через action

Помощь
Профиль
Поиск
Поиск
Список пользователей
Админка
Личка
Уведомления
Последние сообщения (вроде бы)
Объединение сообщений (действие от мода)
Страница на печать

[Xvost]

вам это точно надо?  в любом случае можно узнать введя адрес себе в браузер... а так

Я так и сделал, только лоханулся и водил в адрес этого форума, за что получил нагоняй от Админа.

Меня интересует, что это:

Код Выделить Развернуть

Disallow: /index.php?action=post;
Disallow: /index.php?action=post
Disallow: /index.php?action=search;
Disallow: /index.php?action=search
Disallow: /index.php?action=search2;
Disallow: /index.php?action=search2
Disallow: /index.php?action=sendtopic;
Disallow: /index.php?action=sendtopic
Disallow: /index.php?action=markasread;
Disallow: /index.php?action=markasread
Disallow: /index.php?action=notify;
Disallow: /index.php?action=notify
Disallow: /index.php?action=recent;
Disallow: /index.php?action=recent
Disallow: /index.php?action=mergetopics;
Disallow: /index.php?action=mergetopics
Disallow: /index.php?action=register
Disallow: /index.php?action=reporttm;
Disallow: /index.php?action=reminder
Disallow: /index.php?action=verificationcode;
Disallow: /index.php?action=verificationcode
Disallow: /index.php?action=help;
Disallow: /index.php?action=help
Disallow: /index.php?struct=on&data=on&action=dumpdb
Disallow: /index.php?action=login
Disallow: /index.php?action=login2

[Xvost]

Подскажите, кто-нибудь, касательно моих вопросов!

[Mavn]

Disallow: /index.php?action=post	Запрет	Отправка сообщения(также может использоваться *=post2)
Disallow: /index.php?action=search	Запрет	Страница Поиска
Disallow: /index.php?action=search2	Запрет	Страница результатов поиска (чтобы поисковик не колбасил ваш форум всякими запросами)
Disallow: /index.php?action=sendtopic	Запрет	Отправка темы друзьям
Disallow: /index.php?action=markasread	Запрет	Пометить прочитанным
Disallow: /index.php?action=notify	Запрет	Уведомление
Disallow: /index.php?action=recent	Запрет	Последние собщения
Disallow: /index.php?action=mergetopics	Запрет	Соединение тем
Disallow: /index.php?action=register	Запрет	Страница регистрации
Disallow: /index.php?action=reporttm	Запрет	Сообщить модератору
Disallow: /index.php?action=reminder	Запрет	Напоминание пароля
Disallow: /index.php?action=verificationcode	Запрет	Код верификации при регистрации
Disallow: /index.php?action=help	Запрет	Страница помощи
Disallow: /index.php?struct=on&data=on&action=dumpdb	Запрет	Дамп базы данных
Disallow: /index.php?action=login	Запрет	Страница входа
Disallow: /index.php?action=login2	Запрет	Вход в систему при передачи логина и пароля в форму авторизации

robots.txt я делал для себя и подгонял под свои нужды просматривая что индексируется а что блокируется.

[Xvost]

Спасибо за подсказку. Вот, что у меня получилось (правда, может лишнего чего я внёс? и не слишком ли большой robots.txt, может ограничения есть какие-то?):

Код Выделить Развернуть

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /FCKeditor/
Disallow: /orphus/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /tp-downloads/
Disallow: /tp-images/
Disallow: /tp-files/
Disallow: /wysiwyg/
Disallow: /index.php?action=help
Disallow: /index.php?action=help;
Disallow: /index.php?action=search
Disallow: /index.php?action=search;
Disallow: /index.php?action=search2
Disallow: /index.php?action=search2;
Disallow: /index.php?action=mlist
Disallow: /index.php?action=mlist;
Disallow: /index.php?action=recent
Disallow: /index.php?action=recent;
Disallow: /index.php?action=stats
Disallow: /index.php?action=stats;
Disallow: /index.php?action=who
Disallow: /index.php?action=register
Disallow: /index.php?action=verificationcode
Disallow: /index.php?action=verificationcode;
Disallow: /index.php?action=activate
Disallow: /index.php?action=activate;
Disallow: /index.php?action=login
Disallow: /index.php?action=login2
Disallow: /index.php?action=reminder
Disallow: /index.php?action=unread
Disallow: /index.php?action=unreadreplies
Disallow: /index.php?action=profile
Disallow: /index.php?action=profile;
Disallow: /index.php?action=pm
Disallow: /index.php?action=pm;
Disallow: /index.php?action=logout
Disallow: /index.php?action=logout;
Disallow: /index.php?action=admin
Disallow: /index.php?action=admin;
Disallow: /index.php?struct=on&data=on&action=dumpdb
Disallow: /index.php?action=post
Disallow: /index.php?action=post;
Disallow: /index.php?action=notify
Disallow: /index.php?action=notify;
Disallow: /index.php?action=markasread
Disallow: /index.php?action=markasread;
Disallow: /index.php?action=sendtopic
Disallow: /index.php?action=sendtopic;
Disallow: /index.php?action=printpage
Disallow: /index.php?action=printpage;
Disallow: /index.php?action=deletemsg
Disallow: /index.php?action=deletemsg;
Disallow: /index.php?action=splittopics
Disallow: /index.php?action=splittopics;
Disallow: /index.php?action=reporttm
Disallow: /index.php?action=reporttm;
Disallow: /index.php?action=trackip
Disallow: /index.php?action=trackip;
Disallow: /index.php?action=movetopic
Disallow: /index.php?action=movetopic;
Disallow: /index.php?action=removetopic2
Disallow: /index.php?action=removetopic2;
Disallow: /index.php?action=lock
Disallow: /index.php?action=lock;
Disallow: /index.php?action=sticky
Disallow: /index.php?action=sticky;
Disallow: /index.php?action=mergetopics
Disallow: /index.php?action=mergetopics;

[X-tremo]

Моды то ладно...у мну их не так и много...Но вот тема оормлеия над которой я так долго ковырялся...иконки переделывал...с которой мне помогли по поводу гостей... Эх... Лучшеб просто обновление к 1.1.* сделали и добавили туда всех фич.

[Mavn]

Disallow: /index.php?action=reporttm;

[X-tremo]

и еще вопросик, обязательно после каждой строки писать ";" ? или это без разници?

[Mavn]

Об этом лучше документацию почитайте . Я делал все эксперементально с ; и без пробовал что отработалось нормально то и оставил

[lilula]

подскажите ламеру..т.е если я скопирую всё как вы пишете в свой роботс это будет правильно или надо под себя писать?

[Mavn]

я делал под себя данный файл. технически он может подойти для любого форума smf

[lilula]

спасибо

[ra3aq]

Поигравшись с robots.txt на яндекс.вебмастер пришел к такому варианту:

Код Выделить Развернуть

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /index.php?struct=on&data=on&action=dumpdb
Disallow: /*.msg
Disallow: /*?action


Покритикуйте, может что не так ...

[Mavn]

msg у тебя самим форумом заприщаются к индексированию

[ra3aq]

Подсмотрел эту строчку на одном из самых больших SMF форумов  http://www.redandwhitekop.com/robots.txt
Удивился, что она у них прописана первой везде.