Хочу узнать про Robots

[dron]

Ребята,подскажите правильно,ли у меня создан Robots,Просто вот Это что обозначает

Код Выделить Развернуть

Disallow: /Themes/
Что темы боты не могут просматривать,Так должно быть или они должны просматривать их?

Ну вообщем вот мой Robots, кто скажет правильный он или нет.

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php #
Host: ваш сайт
Sitemap: http:ваш сайт/sitemap.xml

User-agent: Slurp
Crawl-delay: 100

[karavan]

Это файлы темы оформления, к содержанию тем они не относятся.

[BoPoH]

http://www.simplemachines.ru/index.php?topic=5089.0

[dron]

Но так он значит правильный,а то мне Яндекс вот что выдаёт обратите на эти слова "Загружено роботом и Исключено роботом" Чтото исключёно много очень

[Yarik]

Значит то что исключено робот мог посчитать копипастом.

[dron]

копипастом.

как это понять?

[dron]

Значит то что исключено робот мог посчитать копипастом.

Как сделать чтоб было больше закружено

[Yarik]

Это значит что то что робот проиндексировал он уже находил на других сайтах,и автоматом отнёс проиндексированное к копипасту(скопированное с другого сайта) и удалил это из выдачи.Как устранить - побольше уникального контента.
У меня тоже есть исключённое из выдачи,полностью без копипаста обойтись невозможно.

[digger®]

Значит то что исключено робот мог посчитать копипастом.

Загрузил одну страницу, а из выдачи исключил 248? Неувязочка какая-то.

[Yarik]

Загрузил одну страницу, а из выдачи исключил 248? Неувязочка какая-то.

Да я вижу что неувязочка,не знаю чего оно у него так показывает...Нет у меня панели в Яндексе,я по другому смотрю.
И согласно того что я смотрю так оно и есть.
Всего страниц в Google    383   Страниц не под фильтром    178    
Всего страниц в Яндексе   1
Смотреть надо,видать чего-то может намудрил в настройках панели.У меня панели небыло сроду,метрика есть а вот панели нет.А может и есть панель да я в неё не заглядывал - у меня - Всего страниц в Яндексе   1,195
И нет желания туда заглядывать,сайт Яндексом и так хорошо индексируется.Заглянул,мне нужно подтверждать право собственности на сайт...

[Snow_Irbis]

Во блин а мой вопрос чего то проигнорирован 

[Yarik]

Подтвердил право собственности на сайт,16 роботов Яндекса сидят индексируют....
Уже 21...
Загружено роботом   6153      ↑   
Исключено роботом   4435 из них исключено из-за запрета в файле robots.txt  4412

[GeorG]

что выдаёт обратите на эти слова "Загружено роботом и Исключено роботом" Чтото исключёно много очень

Это обычно означает, что исключены дубли.
Но у вас как-то действительно много дублей на одну страницу. Если конечно у вас там на одной странице допустим выводится сразу по 250 сообщений, тогда он выкинет все дубли на каждое сообщение с одной страницы, тогда все правильно.

А вообще, щёлкните по ссылке "Исключено роботом" и посмотрите какие ссылки исключены, там все подробно написано. Думаю вопрос сразу отпадёт.

[dron]

Это обычно означает, что исключены дубли.
Но у вас как-то действительно много дублей на одну страницу. Если конечно у вас там на одной странице допустим выводится сразу по 250 сообщений, тогда он выкинет все дубли на каждое сообщение с одной страницы, тогда все правильно.

А вообще, щёлкните по ссылке "Исключено роботом" и посмотрите какие ссылки исключены, там все подробно написано. Думаю вопрос сразу отпадёт.

Щас посмотрю что там

[dron]

"Исключено роботом"

Нажимаю на Исключено роботом и мне в ответ Данные об исключённых страницах отсутствуют,Как это понять?

А вот нажимаю на Загружено роботом Мне вот что выдаёт

[GeorG]

Ну, а вон тот крестик, который как бы намекает на то что его можно развернуть, не пробовали нажать?

[dron]

Вот там что

[dron]

И Гугол вот тоже что выдаёт

[Yarik]

Что-то не любят поисковики Ваш сайт,или им может не нравится айпишник на котором сидите.Просмотрите соседние сайты на Вашем айпишнике.На предмет варезников или порно сайтов

[dron]

Что-то не любят поисковики Ваш сайт,или им может не нравится айпишник на котором сидите.Просмотрите соседние сайты на Вашем айпишнике.На предмет варезников или порно сайтов

Смотрел всё норм там по ипишнику

[GeorG]

И Гугол вот тоже что выдаёт

А что у вас индексировать? У вас ведь нет ничего, вот и в файле карты http://forum-lada.ru/sitemap.xml всего 114 адресов официально разрешено для индексации. Откуда в индексе тогда должно быть много? Значит столько у вас разрешено к индексации.

[dron]

Значит столько у вас разрешено к индексации.

Иг де её добавить?

[GeorG]

Вы загадками не говорите...
Добавить что?

По идеи, вам надо добавить больше тем и развивать их.

[dron]

Я про то где добавить идексацию

[GeorG]

Ну карту добавьте в поисковики, так они её быстрее подхватят (если ещё этого не сделали).
Всё, остальное развивайте форум, больше у вас там ссылок не прибавится, если тем не будет создаваться (и разделы туда тоже пишутся), а также ещё от количества страниц зависит в теме.

[dron]

Ну карту добавьте в поисковики

Так карта уже давно добавлена.