Правильная настройка Robots.txt это реально?

online-gambler · 02 октября 2008, 08:24:41

Здравствуйте, уважаемые пользователи форума simplemachines.ru. Помогите, пожалуйста, решить несколько проблем, возникших с форумом SMF. Недавно просматривал свою панель администратора в Яндексе и обнаружил вот что: одна страница, точнее раздел форума проиндексирован в восьми версиях, т. е. в таком виде:

board,4.0/sort,views.html
board,4.0/sort,starter.html
board,4.0/sort,replies.html
board,4.0/sort,subject.html
board,4.0/sort,last_post.html
index.php?board=4.0;sort=views;desc
index.php?board=4.0;sort=subject;desc
board,4.0/sort,replies/desc.html

Скажите, это нормально?

Вот мой файл Robots.txt:

Код Выделить

User-agent: *
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/wysiwyg/
Disallow: /forum/tp-images/
Disallow: /forum/tp-files/
Disallow: /forum/tp-downloads/
Disallow: /forum/FCKeditor/
Disallow: /forum/index.php?action=profile;
Disallow: /forum/index.php?action=profile
Disallow: /forum/index.php?action=post;
Disallow: /forum/index.php?action=post
Disallow: /forum/index.php?action=search;
Disallow: /forum/index.php?action=search
Disallow: /forum/index.php?action=search2;
Disallow: /forum/index.php?action=search2
Disallow: /forum/index.php?action=mlist;
Disallow: /forum/index.php?action=admin;
Disallow: /forum/index.php?action=admin
Disallow: /forum/index.php?action=pm;
Disallow: /forum/index.php?action=pm
Disallow: /forum/index.php?action=sendtopic;
Disallow: /forum/index.php?action=sendtopic
Disallow: /forum/index.php?action=markasread;
Disallow: /forum/index.php?action=markasread
Disallow: /forum/index.php?action=notify;
Disallow: /forum/index.php?action=notify
Disallow: /forum/index.php?action=stats;
Disallow: /forum/index.php?action=stats
Disallow: /forum/index.php?action=recent;
Disallow: /forum/index.php?action=recent
Disallow: /forum/index.php?action=mergetopics;
Disallow: /forum/index.php?action=mergetopics
Disallow: /forum/index.php?action=mlist
Disallow: /forum/index.php?action=register
Disallow: /forum/index.php?action=reporttm;
Disallow: /forum/index.php?action=reminder
Disallow: /forum/index.php?action=verificationcode;
Disallow: /forum/index.php?action=verificationcode
Disallow: /forum/index.php?action=activate;
Disallow: /forum/index.php?action=activate
Disallow: /forum/index.php?action=help;
Disallow: /forum/index.php?action=help
Disallow: /forum/index.php?struct=on&data=on&action=dumpdb
Disallow: /forum/search.html
Disallow: /forum/search2.html
Disallow: /forum/recent.html
Disallow: /forum/login.html
Disallow: /forum/stats.html
Disallow: /forum/users.html
Disallow: /forum/help.html
Disallow: /forum/profile.html
Disallow: /forum/register.html

User-agent: Slurp
Crawl-delay: 120

Хотелось бы узнать мнение профессионалов, на счет закрытия в robots.txt страниц для печати форума. Конечно, с точки зрения поисковой оптимизации, за счет мизерного кода страниц для печати, они достаточно высоко поднимаются в поисковиках. Но с другой стороны, когда пользователь находит эту страницу в поисковике и переходит на нее, то из-за отсутствия ссылок он неможет перейти дальше, на главную, например. Также, образуется много дубль-контента, т. е. все страницы форума имеют копии, и в поисковиках чаще показывают именно копии (страницы для печати). Вот, хотелось бы услышать Ваши мнения, как Вы поступаете (поступили) в таких ситуациях? Или может я что-то не так понимаю?
Заранее благодарен за Ваши ответы.