robots Нужна помощь

[ivan-mark]

Доброго времени суток!сдал сайт на индексацию и в вебмастере Исключённые страницы ? Страницы запрещены к индексированию вебмастером или не существуют
Документ запрещен в файле robots.txt
Посмотрите пожалуйста в чем ошибка или где найти url запрещенные файлы

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http:/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: vash_sait.ru
Sitemap: http://

при проверки файла яндексом пишет:
Результаты проверки (6 ошибок)
Произошла внутренняя ошибка. Попробуйте повторить попытку позже.Превышено время ожидания ответа.
Неправильный адрес страницы
Строка 1: User-agent: *
Неправильный адрес страницы
Строка 2: Disallow: /administrator/
Неправильный адрес страницы
Строка 3: Disallow: /cache/
Неправильный адрес страницы
Строка 4: Disallow: /includes/
Неправильный адрес страницы
Строка 5: Disallow: /installation/
Неправильный формат текста

[Yworld_garry]

А почему бы не пойти на joomla форум и там все узнать?

[ivan-mark]

там не отвечают

[Yworld_garry]

Тогда скажу что дело не в роботс, на первый взгляд он стандартный, а то как или куда или чем залили его, имею ввиду сам файл, формат... Плюс адрес сайта, возможно у вас стоит  редирект с www на без или наоборот.

[Depressive]

Yworld_garry

а это правда что яша себе отдельно пропись требует?
"User-agent: *
User-agent: Yandex"

[Yworld_garry]

а это правда что яша себе отдельно пропись требует?

Нет, это не обязательно, просто удобнее для себя и для конкретно яндекса прописать директивы отдельным блоком. Хотя не обязательно.
Например гуглу пофиг на директиву Host:  а яндексу надо...

[ivan-mark]

спасибо большое .

как узнать редирект с www или без?



нужно ли вписать это в robots.txt:

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

[Yworld_garry]

как узнать редирект с www или без?

если наберете домен с www а перекинет на без, значит стоит редирект и наоборот.

нужно ли вписать это в robots.txt:

Не надо.

[ivan-mark]

спасибо
у меня с www и без есть переход

[Yworld_garry]

Дальше мы перейдем в разрез гаданий, если не представите сайт, гадать можно до утра.

[ivan-mark]

вот сайт
freezan.com

[Yworld_garry]

Косяков нет в файле и яндекс его прекрасно в проверке взял.
Но есть еще момент, если вы добавили сайт впанель не сразу, а через какое то время с существующей сейчас Host: freezan.com  а поисковик до этого проиндексил с www, то роботс будет в панеле не рабочим, пока не сменится главное зеркало в индексе.
Там можно указать главное зеркало, имею ввиду в панеле веб мастера, но опять же изменения вступят в силу от 2 до 4 недель.

Либо все дело в этом "Произошла внутренняя ошибка. Попробуйте повторить попытку позже.Превышено время ожидания ответа.", в момент скана ботом, сайт был недоступен.
Думаю это все что можно сказать по вашему случаю, остальное, конкретика...уже только видя изнутри.

[ivan-mark]

спасибо за информации ..
хорошо почему тогда идет ошибка  сканирования   запросы отсутствуют в гугуле !!
он не можетнайти url к примеру как freezan.com/photo ..как мне найти url чтоб удалить его?

[Yworld_garry]

freezan.com/photo

У вас на сайте нет такой страницы.

[ivan-mark]

да у меня на сайте нет такой странице раньше было вместо страховка - фото
и теперь гугул пишет ошибка не найден url
как удалить url photo
или например как
http://freezan.com/flights/map?marker=30924.map.map&origin_iata=IWA
и
http://freezan.com/interesno и много другое
как найти их корень чтоб удалить потому что из за них гугл не индексируют

[Yworld_garry]

Если они в гугл попали, то пока он сам их не удалит, ничего не выйдет. тут проблем нет, если гуглу отдается 404 ошибка по этим страницам.
И не индексировать из за них не может, гугл обходит весь сайт и то что отдает корректную ошибку сейчас, в итоге уйдет из индекса.
Есть конечно форма что бы показать гуглу какие страницы надо удалить из индекса, но толку не много от нее, в гугле кеш очень долго может хранится.

[ivan-mark]

Спасибо большое.Вы очень помогли

[ivan-mark]

возник у меня еще такой вопрос буду благодарен за ответ
у меня на хостинге был загружен файл под названием robots(без txt)надо ли его переименовать с robots на robots.txt или это не столь важно?

чтоб добавить перелинковку с www на домен без www:нужно писать код а где его именно писать в .htaccess ?


RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.domain.ru$ [NC]
RewriteRule ^(.*)$ http://domain.ru/$1 [R=301,L]



если .htaccess  правильно выглядит так:        то куда именно вписать:     RewriteCond %{HTTP_HOST} ^www.domain.ru$ [NC]                       
                                                                                                             RewriteRule ^(.*)$ http://domain.ru/$1 [R=301,L]

##
# @package   Joomla
# @copyright   Copyright (C) 2005 - 2012 Open Source Matters. All rights reserved.
# @license   GNU General Public License version 2 or later; see LICENSE.txt
##

##
# READ THIS COMPLETELY IF YOU CHOOSE TO USE THIS FILE!
#
# The line just below this section: 'Options +FollowSymLinks' may cause problems
# with some server configurations. It is required for use of mod_rewrite, but may already
# be set by your server administrator in a way that dissallows changing it in
# your .htaccess file. If using it causes your server to error out, comment it out (add # to
# beginning of line), reload your site in your browser and test your sef url's. If they work,
# it has been set by your server administrator and you do not need it set here.
##

## Can be commented out if causes errors, see notes above.
Options +FollowSymLinks

## Mod_rewrite in use.

RewriteEngine On

## Begin - Rewrite rules to block out some common exploits.
# If you experience problems on your site block out the operations listed below
# This attempts to block the most common type of exploit `attempts` to Joomla!
#
# Block out any script trying to base64_encode data within the URL.
RewriteCond %{QUERY_STRING} base64_encode[^(]*\([^)]*\) [OR]
# Block out any script that includes a <script> tag in URL.
RewriteCond %{QUERY_STRING} (<|%3C)([^s]*s)+cript.*(>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL.
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL.
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Return 403 Forbidden header and show the content of the root homepage
RewriteRule .* index.php [F]
#
## End - Rewrite rules to block out some common exploits.

## Begin - Custom redirects
#
# If you need to redirect some pages, or set a canonical non-www to
# www redirect (or vice versa), place that code here. Ensure those
# redirects use the correct RewriteRule syntax and the [R=301,L] flags.
#
## End - Custom redirects

##
# Uncomment following line if your webserver's URL
# is not directly related to physical file paths.
# Update Your Joomla! Directory (just / for root).
##

# RewriteBase /

## Begin - Joomla! core SEF Section.
#
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
#
# If the requested path and file is not /index.php and the request
# has not already been internally rewritten to the index.php script
RewriteCond %{REQUEST_URI} !^/index\.php
# and the request is for something within the component folder,
# or for the site root, or for an extensionless URL, or the
# requested URL ends with one of the listed extensions
RewriteCond %{REQUEST_URI} /component/|(/[^.]*|\.(php|html?|feed|pdf|vcf|raw))$ [NC]
# and the requested path and file doesn't directly match a physical file
RewriteCond %{REQUEST_FILENAME} !-f
# and the requested path and file doesn't directly match a physical folder
RewriteCond %{REQUEST_FILENAME} !-d
# internally rewrite the request to the index.php script
RewriteRule .* index.php [L]
#
## End - Joomla! core SEF Section.