Указанный URL запрещен к индексации в файле robots.txt

Dimon S. · 03 июня 2014, 11:58:02

Всем привет. Возник вопрос. Человек у меня в разделе разместил тему с описанием своего сайта и ссылкой. А потом отписал что ему при проверке выдает такое: Указанный URL запрещен к индексации в файле robots.txt
Как сделать чтоб индексирование было разрешено?

GeorG · 03 июня 2014, 15:14:22

Какую ссылку проверяете, какой роботс?

Dimon S. · 03 июня 2014, 15:30:34

Цитата: GeorG от 03 июня 2014, 15:14:22
Какую ссылку проверяете, какой роботс?

сейчас в личку стукну

GeorG · 03 июня 2014, 15:38:37

Всё у вас работает нормально (запрещён только дубликат):
http://ваш форум.рф/index.php?topic=3861.0 разрешен
http://ваш форум.рф/index.php?topic=3861.msg20118#msg20118 запрещен правилом /*topic=*.msg*

Проверка делается тут - http://webmaster.yandex.ru/robots.xml

Dimon S. · 03 июня 2014, 16:02:15

Цитата: GeorG от 03 июня 2014, 15:38:37
Всё у вас работает нормально (запрещён только дубликат):
http://ваш форум.рф/index.php?topic=3861.0 разрешен
http://ваш форум.рф/index.php?topic=3861.msg20118#msg20118 запрещен правилом /*topic=*.msg*

Проверка делается тут - http://webmaster.yandex.ru/robots.xml

дубликат чего?

GeorG · 03 июня 2014, 16:08:13

Сообщения.

Dimon S. · 03 июня 2014, 16:09:51

Цитата: GeorG от 03 июня 2014, 16:08:13
Сообщения.

а ссылки на сайт указанные в теме тоже индексируется нормально? просто я в этом вообще ни фига не понимаю...

GeorG · 03 июня 2014, 16:16:16

Цитата: Dimon S. от 03 июня 2014, 16:09:51просто я в этом вообще ни фига не понимаю

чем опасны дубли страниц

Цитироватьа ссылки на сайт указанные в теме тоже индексируется нормально?

Да.