Cообщество пользователей SMF

Цитата: makssun от 17 февраля 2016, 21:01:51Я понял он только для запрета.

да, для запрета, запрещает индексировать ненужную информацию

Цитата: makssun от 17 февраля 2016, 21:01:51Без примера нереально понять.
Его и прошу, чтоб понять.

в первом сообщении рабочий вариант, скачиваете, читаете комменты, они там по русски написаны,выбираете свой вариант (форум в корне/форум в папке) вписываете свои главное зеркало и урл карты, закидываете на форум, проверяете в панелях поисковиков, наслаждаетесь результатом, говорите Гарри спасибо.
В принципе все это в роботс написано, но может тут прочитаете если там не хотите

Цитата: makssun от 17 февраля 2016, 21:51:36Вот с шапки файла взял, свой хост и сайтмап вписал.Правильно?

нет, не правильно. Там роботс значительно больше и это не просто так. И вы выбрали версию для случая когда форум в папке, а он у вас в корне

Оно?
User-agent: *
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*action=forum
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://bittogether.com/index.php?action=sitemap;xml


User-agent: Googlebot
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*action=forum
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap: http://bittogether.com/index.php?action=sitemap;xml


User-agent: Yandex
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*action=forum
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://bittogether.com/index.php?action=sitemap;xml
Host: www.bittogether.com

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100
Sitemap: http://bittogether.com/index.php?action=sitemap;xml
Host: www.bittogether.com

Цитата: makssun от 17 февраля 2016, 22:31:35Оно?

Оно))

Цитата: Yworld_garry от 17 февраля 2016, 22:50:19Оно))

Фуух...
Справился с этим.
Всем большое спасибо!

Есть тестовый сайт на вордпресс, достаточно ли будет прописать в роботс текст это чтобы запретить всем поисковым индексировать сайт? не хочу чтобы проиндексировалось первее, чем я выложу на нормальный сайт и подходит ли данный запрет для форума?

User-agent: *
Disallow: /
Host: primer.debryansk32.ru

Цитата: Alex32 от 09 марта 2016, 17:45:58всем поисковым индексировать сайт?

Да это полностью запретит индексировать сайт и все что в этом домене.
В WP есть еще в настройках пункт - попросить поисковые системы не индексировать сайт, можно и это включить дополнительно.

Цитата: Yworld_garry от 09 марта 2016, 17:48:31Да это полностью запретит индексировать сайт и все что в этом домене.
В WP есть еще в настройках пункт - попросить поисковые системы не индексировать сайт, можно и это включить дополнительно.

Да, там я в первую очередь, но подстраховаться хотел. Проверил страницы тестового в вебмастере - запрещены правилом... все ОК!

Цитата: Alex32 от 09 марта 2016, 18:02:16Проверил страницы тестового в вебмастере - запрещены правилом...

Как проверял страницы уже забыл, тестовый не добавлен в панель вебмастера а как то проверял

Цитата: Alex32 от 14 марта 2016, 18:58:36не добавлен в панель вебмастера а как то проверял

Вот так https://webmaster.yandex.ru/robots.xml

Яндекс ругается Не могу понять, чего не так? 

Цитата: Serifa от 20 мая 2016, 18:59:12Яндекс ругается Не могу понять, чего не так? 

Написано же, что не так и где. Директива host в robots.tx может быть только одна.
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#host

Цитата: Yworld_garry от 04 октября 2008, 23:59:134 Директория /__forum , нужна тем у кого форум не в корне и имеет название то, что у вас.
Если форум в корне удаляем её.

А где должен лежать файл, если есть форум http://forum.saite.tt  ?
в корне сайта http://saite.tt или в корне форума?

В корне форума

В гугл поиске пишет:



В яше всё нормально.

Вопрос: Что не так в Robots.txt ?

Содержимое файла Robots.txt

User-agent: *
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$


User-agent: Googlebot
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap:  http://***.com/index.php?action=sitemap;xml


User-agent: Yandex
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Host: ***.com

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100

У меня только один вопрос - в плане PMX блога все верно ? Раньше никак не хотел индексироваться, недавно переделал :

User-agent: *
 Allow: /*action=pmxblog
 Allow: /*sitemap
 Allow: /*rss
 Allow: /*type=rss
 Allow: /*action=forum
 Allow: /*page
 Disallow: /*.msg
 Disallow: /*.new
 Disallow: /attachments/
 Disallow: /avatars/
 Disallow: /Packages/
 Disallow: /Smileys/
 Disallow: /Sources/
 Disallow: /Themes/
 Disallow: /Games/
 Disallow: /*sort
 Disallow: /*topicseen
 Disallow: /*wap
 Disallow: /*imode
 Disallow: /*action
User-agent: Slurp
Crawl-delay: 100
Sitemap: http://noble-gamers.club/sitemap.xml
Host: noble-gamers.club

Цитата: Mакс-23 от 25 июня 2016, 15:41:35В гугл поиске пишет:



В яше всё нормально.

Вопрос: Что не так в Robots.txt ?

Содержимое файла Robots.txt

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$


User-agent: Googlebot
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap:  http://***.com/index.php?action=sitemap;xml


User-agent: Yandex
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Host: ***.com

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100

а ссылку страницы слабо показать? может все нормально и это закрытый дубль

Цитата: BoPoH от 25 июня 2016, 22:11:31а ссылку страницы слабо показать? может все нормально и это закрытый дубль

Нет, это не дубль. Просто в поиске пишу свой домен (без зоны), и вот такое выдаёт.

Какой актуальный в данный момент файл Robots.txt чтобы нормально было?

Еще раз вернемся к вопросу, а то не оконца разобрался

ЦитироватьА где должен лежать файл, если есть форум http://forum.saite.tt  ?
в корне сайта http://saite.tt или в корне форума?

Цитата: S.T.A.L.K.E.R. от 19 июня 2016, 21:08:58В корне форума

в корне форума в каком формате должен быть

ЦитироватьUser-agent: *
Allow: /forum/*sitemap

или же

ЦитироватьUser-agent: *
Allow: /*sitemap

Если у вас форум по URL - http://forum.saite.tt, а не - http://saite.tt/forum/
То должно быть так:
User-agent: *
Allow: /*sitemapЕсли же последнее, т.е., в папке forum - - http://saite.tt/forum/
То так:
User-agent: *
Allow: /forum/*sitemap

Здравствуйте!
Сегодня удосужился обновить файл роботс.тхт для своего сайта с форумом(взял из первого сообщения темы). Но при проверке в панели гугла мне выдаёт 649 предупреждений "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."... Вот пример запрещённой страницы http://poigarmonika.ru/forum/index.php?topic=598.0 (они все такие-это первые страницы тем). В чём проблема? И проблема ли это?
Заранее благодарю.

А почему он у Вас тут лежит http://poigarmonika.ru/robots.txt а не тут http://poigarmonika.ru/forum/robots.txt ?

Цитата: S.T.A.L.K.E.R. от 26 февраля 2017, 17:49:21А почему он у Вас тут лежит http://poigarmonika.ru/robots.txt а не тут http://poigarmonika.ru/forum/robots.txt ?

Он все семь лет существования сайта там лежит... Он же один,а в нём содержатся данные для сайта на ВордПресс и,собственно,для самого форума.... Или так не должно быть?

Цитата: Сергей Акимов от 26 февраля 2017, 17:53:09Или так не должно быть?

Да я даже как-то не задумывался об этом,можно так или нет.
Я всегда создавал отдльный файл с правилами для форума и размещал его в корне с форумом.

Цитата: S.T.A.L.K.E.R. от 26 февраля 2017, 18:05:02Да я даже как-то не задумывался об этом,можно так или нет.
Я всегда создавал отдльный файл с правилами для форума и размещал его в корне с форумом.

Мне ещё на заре создания сайта подсказали,что так можно... То есть, у вас,получается, два файла роботс.тхт?

Сделал отдельно для сайта и форума-один хрен то же самое... Вернул,как было.

Цитата: Сергей Акимов от 26 февраля 2017, 17:37:13Вот пример запрещённой страницы

Ну и что даст этот пример кроме как пропиарить ваш форум? Выложите роботс хотя бы.

Цитата: Liza от 26 февраля 2017, 18:31:12Ну и что даст этот пример кроме как пропиарить ваш форум? Выложите роботс хотя бы.

Лиза,я не собирался пиарить свой форум,мне помощь нужна. Если вы не знаете,как посмотреть роботс.тхт сайта,то вот,пожалуйста. В файл добавлены правила для ВордПресс,а так-всё,как предложено топикстартером.

User-agent: *

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: /category/*/*
Disallow: /comments
Disallow: */comment-*
Disallow: */trackback
Sitemap: http://poigarmonika.ru/sitemap.xml.gz
Sitemap: http://poigarmonika.ru/sitemap.xml

Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*action=forum

Allow: /forum/*type=rss

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php

Disallow: /index.php$

Sitemap: http://poigarmonika.ru/forum/index.php?action=sitemap


User-agent: Googlebot

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: /category/*/*
Disallow: /comments
Disallow: */comment-*
Disallow: */trackback
Sitemap: http://poigarmonika.ru/sitemap.xml.gz
Sitemap: http://poigarmonika.ru/sitemap.xml


Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*action=forum

Allow: /forum/*type=rss

Allow: /forum/Themes/*.css

Allow: /forum/Themes/*.js

Allow: /forum/Themes/*png

Allow: /forum/Themes/*gif

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php

Sitemap: http://poigarmonika.ru/forum/index.php?action=sitemap


User-agent: Yandex

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: /category/*/*
Disallow: /comments
Disallow: */comment-*
Disallow: */trackback
Sitemap: http://poigarmonika.ru/sitemap.xml.gz
Sitemap: http://poigarmonika.ru/sitemap.xml


Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*type=rss

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php

Disallow: /index.php$

Sitemap: http://poigarmonika.ru/forum/index.php?action=sitemap

Host: poigarmonika.ru

User-agent: Mediapartners-Google

Disallow:

User-Agent: YandexDirect

Disallow:

User-agent: Slurp

Crawl-delay: 100

Цитата: S.T.A.L.K.E.R. от 26 февраля 2017, 17:49:21А почему он у Вас тут лежит http://poigarmonika.ru/robots.txt а не тут http://poigarmonika.ru/forum/robots.txt ?

Потому, что роботс может быть только один для домена и лежать он должен в корне.

Цитата: digger® от 26 февраля 2017, 18:49:24Потому, что роботс может быть только один для домена и лежать он должен в корне.

То есть с раздельными нужно не заморачиваться?Спасибо за пояснение.

могу конечно ошибиться но у вас в адресе присутствует index.php и все это закрыто

Disallow: /index.php$

Цитата: S.T.A.L.K.E.R. от 26 февраля 2017, 18:55:39пояснение.

Но он то сканируется и видит что в нем закрыто, значит не в размещении дело а в самом роботсе?

Цитата: Liza от 26 февраля 2017, 18:56:44могу конечно ошибиться но у вас в адресе присутствует index.php и все это закрыто

Disallow: /index.php$

index.php$ и index.php -немного разные вещи,как я понимаю... Да и директива эта-для Яндекса,а ему-то,как раз,всё нравится,в отличие от Гугла.

Цитата: Сергей Акимов от 26 февраля 2017, 19:01:31Да и директива эта-для Яндекса

Да для всех она у вас

User-agent: *

Цитата: Liza от 26 февраля 2017, 19:05:44Да для всех она у вас

User-agent: *

Да,увидел,но... Убрал,проверил-без изменений.

Цитата: Сергей Акимов от 26 февраля 2017, 17:37:13Здравствуйте!
Сегодня удосужился обновить файл роботс.тхт для своего сайта с форумом(взял из первого сообщения темы). Но при проверке в панели гугла мне выдаёт 649 предупреждений "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."... Вот пример запрещённой страницы http://poigarmonika.ru/forum/index.php?topic=598.0 (они все такие-это первые страницы тем). В чём проблема? И проблема ли это?
Заранее благодарю.

Возьмите адрес запрещенной страницы и вставьте в инструменте проверки роботс - покажет какое правило его запрещает.

Цитата: digger® от 26 февраля 2017, 19:15:49Возьмите адрес запрещенной страницы и вставьте в инструменте проверки роботс - покажет какое правило его запрещает.

Хм... Проверил,показывает,что адреса доступны... Ничего не понимаю.

А это зачем?

User-agent: Mediapartners-Google

Disallow:

Надо как то так открывать всё

User-agent: MediaPartners-Google
Allow: /

Цитата: Liza от 26 февраля 2017, 19:29:43А это зачем?

User-agent: Mediapartners-Google

Disallow:

Надо как то так открывать всё

User-agent: MediaPartners-Google
Allow: /

Я ещё немного изменил роботс. Только ничего не помогло. Теперь он такой:

User-agent: *

Disallow: /cgi-bin         
Disallow: /?               
Disallow: /wp-             
Disallow: /wp/               
                           
Disallow: *?s=             
Disallow: *&s=             
Disallow: /search/         
Disallow: /author/         
Disallow: /users/           
Disallow: */trackback       
                           
Disallow: */feed           
Disallow: */rss             
Disallow: */embed           
Disallow: */wlwmanifest.xml 
                           
Disallow: /xmlrpc.php       
Disallow: *utm=             
Disallow: *openstat=       
Allow: */uploads

Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*action=forum

Allow: /forum/*type=rss

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php

Disallow: /index.php$





User-agent: Googlebot

Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
Allow: /*/*.js             
Allow: /*/*.css             
Allow: /wp-*.png           
Allow: /wp-*.jpg           
Allow: /wp-*.jpeg           
Allow: /wp-*.gif           
Allow: /wp-admin/admin-ajax.php


Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*action=forum

Allow: /forum/*type=rss

Allow: /forum/Themes/*.css

Allow: /forum/Themes/*.js

Allow: /forum/Themes/*png

Allow: /forum/Themes/*gif

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php



User-agent: Yandex

Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php



Allow: /forum/*sitemap

Allow: /forum/*arcade

Allow: /forum/*rss

Allow: /forum/*type=rss

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Disallow: /forum/*go.php

Disallow: /index.php$

 

Sitemap: http://poigarmonika.ru/forum/index.php?action=sitemap;xml
Sitemap: http://poigarmonika.ru/sitemap.xml.gz
Sitemap: http://poigarmonika.ru/sitemap.xml

Host: poigarmonika.ru

Добавьте в начале

User-agent: MediaPartners-Google
Allow: /

это хоть и для Адсенс, но может Гугль за него и лается ?

Цитата: Liza от 26 февраля 2017, 19:40:33Добавьте в начале

User-agent: MediaPartners-Google
Allow: /

это хоть и для Адсенс, но может Гугль за него и лается ?

Добавил. Ничего не изменилось. У меня Яндекс.Директ.

Ну так поставьте Optimus Brave он Вам выдаст и роботс и сайтмап

Ещё версии есть?

Цитата: Сергей Акимов от 26 февраля 2017, 19:50:59Ещё версии есть?

Не могут быть закрыты топики, если взяли из первой темы. Сейчас проверил в яндексе все ок с вашими топиками http://poigarmonika.ru/forum/index.php?topic=598.0
Возможно вы ссылку не правильную приводите и не всю, наверняка там еще есть после =598.0 . Нужно больше инфы и точнее приведите что там в карте. Плюс роботс свой поправьте, а то там через строчку и каша какаято.
Не поленился проверил в гугле приведенный вами урл, то же доступен.

Так ведь я и пишу,что урлы доступны,но панель гугла выдаёт предупреждение,что они заблокированы в роботс.тхт ... Ссылку привожу,как есть.,полностью(не сомневайтесь).

Войдите там же в проверку роботс и введите урл который вам показывает как закрытый и проверьте, вот что говорит мне по вашему робосу и приведенному урлу.

Цитата: Yworld_garry от 26 февраля 2017, 21:00:19Войдите там же в проверку роботс и введите урл который вам показывает как закрытый и проверьте, вот что говорит мне по вашему робосу и приведенному урлу.

Да проверял уже(писал выше). Все ссылки доступны,но предупреждение-то почему выдаёт,не пойму?

Как карту сайта сюда кинуть? Ссылка сойдёт? А то опять скажут что-то про пиар....

А кстати, если вы сегодня только сделали роботс, то в карте он отразится еще не скоро, имею ввиду в гугле, может через недельку, то что сейчас показывает, было у вас прежде. Там даты есть.