Cообщество пользователей SMF

В файле .htacces, который должен находиться в корне Вашего сайта.

Но это не рабочий код для этих деятелей с подобных сайтов.

Лучше блокируйте по IP-адресу. Выше был приведен код (во втором сообщении).

Цитата: Солярис от 24 августа 2016, 00:06:51В файле .htacces, который должен находиться в корне Вашего сайта.

Я в курсе где прописывается, просто у вас спросил.
А у вас включен в апаче "Mod rewrite" ?
Иначе работать не будет.

Цитата: Солярис от 24 августа 2016, 00:06:51Лучше блокируйте по IP-адресу. Выше был приведен код (во втором сообщении).

Если мод включен, то 14 и 15 е будут работать (апач и nginx )

Не работают они. Выше уже об этом говорилось:

Цитата: S.T.A.L.K.E.R. от 22 августа 2016, 18:25:12Не поможет,я тут многие конструкции пробовал.Ни одна не работает.

Должны работать, не значит, что будут. Никому неведомо как эти деятели настроили свои серверы и сайты для подобного занятия.

З.Ы. Если бы у меня что-то не было включено, то у меня не работали бы иные команды, основанные на том же коде.

Цитата: Солярис от 24 августа 2016, 10:42:44З.Ы. Если бы у меня что-то не было включено, то у меня не работали бы иные команды, основанные на том же коде.

Это предположение.
Спорить не буду.
Посмотрите http://old.webasyst.ru/support/help/general-check-modrewrite.html или им подобные.

О чем мы вообще спорим? К чему эта ненужная полемика ни о чем?

У меня ранее были установлены команды, основанные на том же коде, который приведен в данной теме.

Всё работает. Что я должен проверять, когда соответствующий код РАБОТАЕТ. Какое это "предположение"? По-моему, Вы не читаете то, что Вам в ответ пишут.

Не работают только команды (за исключением блокировки по ай-пи), касающиеся сайтов этих деятелей по парсингу.

Вставить код от @kak2z и при переходе с сайта таких деятелей будет выбивать белую страницу.

В принципе, такое же действие происходит и при блокировке по IP.

Только что написано: Forbidden

Цитата: Солярис от 24 августа 2016, 16:11:42В принципе, такое же действие происходит и при блокировке по IP.

Только что написано: Forbidden

С одной лишь разницей,сменят айпи и блокровка не поможет уже.
А вот код от @kak2z поможет всегда,при попытке подмены.

Код, который вот здесь? https://www.simplemachines.ru/index.php?topic=19339.msg161940#msg161940

Цитата: S.T.A.L.K.E.R. от 24 августа 2016, 18:27:22С одной лишь разницей,сменят айпи и блокровка не поможет уже.
А вот код от @kak2z поможет всегда,при попытке подмены.

Я вот лично не понял, в какой конкретно файл вставлять данный код. В index.php?

Но указанной строки лично у меня в нем нет. Весь этот файл состоит из следующего кода:
// Try to handle it with the upper level index.php. (it should know what to do.)
if (file_exists(dirname(dirname(__FILE__)) . '/index.php'))
include (dirname(dirname(__FILE__)) . '/index.php');
else
exit;

?>
Где этот файл расположен?  В папке Themes с соответствующими темами?!

Пожалуйста, укажите точное местоположение файла index.php, в который необходимо добавить соответствующий код.

@Солярис в корне форума.. главный index.php
только мой мой код у меня лично не работает))

Спасибо за информацию.

Уже сам набрел ))) на этот файл.

Но, по-моему, Ваш пример кода у меня также не работает (как и у Вас).

Поскольку отображается всё также: Notice: Undefined property: stdClass::$HTTP_CACHE_CONTROL in /var/www/pytin/data/www/zozor.ru/index.php on line 107
Forbidden
You don't have permission to access / on this server.

Ну то есть работает код в файле .htacces (блокировка по айпи), а код в index.php не работает. Не понятно почему. 

Цитата: Солярис от 24 августа 2016, 19:32:06Спасибо за информацию.

Уже сам набрел ))) на этот файл.

Но, по-моему, Ваш пример кода у меня также не работает (как и у Вас).

Поскольку отображается всё также: Notice: Undefined property: stdClass::$HTTP_CACHE_CONTROL in /var/www/pytin/data/www/zozor.ru/index.php on line 107
Forbidden
You don't have permission to access / on this server.

Ну то есть работает код в файле .htacces (блокировка по айпи), а код в index.php не работает. Не понятно почему. 

а потому что в массиве $_SERVER хранятся данные того сервера на котором выполняется пхп скрипт.. а тут только отличается адрес в адресной строке который реально узнать только с помощью JS так как он выполняется на стороне клиента.. но нам это ничего не дает, так как поисковые боты не выполняются JS

Получается, что нет смысла этот код добавлять в файл index.php.

О чем тогда речь вел выше другой участник дискуссии?

Что этот код работает всегда и даже если IP-адрес эти сайты поменяют?!

Цитата: Солярис от 24 августа 2016, 19:47:47Получается, что нет смысла этот код добавлять в файл index.php.

О чем тогда речь вел выше другой участник дискуссии?

Что этот код работает всегда и даже если IP-адрес эти сайты поменяют?!

я еще не понял почему он у меня тупо игнорируется, а у некоторых прерывает выполнение скрипта..

Цитата: Солярис от 24 августа 2016, 19:32:06Поскольку отображается всё также: Notice: Undefined property: stdClass::$HTTP_CACHE_CONTROL in /var/www/pytin/data/www/zozor.ru/index.php on line 107
Forbidden
You don't have permission to access / on this server.

Ну то есть работает код в файле .htacces (блокировка по айпи), а код в index.php не работает. Не понятно почему. 

Блокировку по айпи с файла .htacces уберите и посмотрите работает код или нет.

Не работает код.
Если убрать блокировку по айпи, то это зараза производит парсинг сайта по полной программе, как ни в чем не бывало.

Ну единственная разница это то что у меня 2.1
Вот
http://s-s.yarik-sat.ru.zozor.ru

Не знаю.

Сделано же как-то на иных сайтах невозможность "тянуть" код сайта на другой домен.

Неужели СМФ-движок такой в этом смысле "уникальный"?!

@Солярис не мучайте себя.
Если ничего не работает, тогда этот вариант подойдет https://www.simplemachines.ru/index.php?topic=19339.msg161878#msg161878
и спите спокойно.

Я не говорил, что ничего не работает. Работает блокировка по IP.

Как там будет работать алгоритм поисковой системы - это ещё бабушка на двое сказала.

Но в поисковой выдаче эти клоны преспокойно фигурируют.

А мне сегодня ссылку интересную забросили: http://o53xo.onsxe2lgmexhe5i.cmle.ru/
Я вот не пойму, что это такое.

Это элементарно.

Данная ссылка - это результат просмотра Вашего форума через анонимайзер. А вот сам анонимайзер: http://cameleo.ru/

Если введете адрес Вашего форума в строке по указанному адресу, то получите вышеприведенную Вами ссылку.

kak2z, Вы доступ к своему форуму заблокировали для этих деятелей?!

А то он парсится спокойно - _http://kak2z.modnozz.ru/

Этот modnozz.ru на том же IP-адресе, что и 2magic.ru .

Цитата: Солярис от 25 августа 2016, 22:45:27kak2z, Вы доступ к своему форуму заблокировали для этих деятелей?!

А то он парсится спокойно - _http://kak2z.modnozz.ru/

Этот modnozz.ru на том же IP-адресе, что и 2magic.ru .

нет)) зачем?)) всех не вычислишь)) таких сайтов много должно быть)) и будет еще больше раз такая тема пошла)

 kak2z?, но сайт Вы все-таки заблокировали.

Цитата: Солярис от 26 августа 2016, 13:33:19kak2z?, но сайт Вы все-таки заблокировали.

все бегут и я побежал... все такие сайты все равно не заблокируешь)) мы их все не знаем даже)

Не понимаю, как этот zozor.ru при блокировке по IP преспокойно парсит файл robots.txt форума?!

Что это за фантастика?

Как это запретить, не навредив при этом поисковикам?

Цитата: Солярис от 31 августа 2016, 12:01:04Как это запретить, не навредив при этом поисковикам?

Никак, да собственно и пусть парсит и тд, там же ваше главное зеркало прописано, карта сайта ваша.
В индекс оно все равно не попадет.

Или есть какие то опасения?

Уже не знаешь чего опасаться.
Особенно на фоне гигантского падения посещаемости.

Но я саму технику такого парсинга не понимаю.
Установлена блокировка по IP, а с другого домена все равно сайт получается доступным и его отдельные файлы.

Цитата: Солярис от 31 августа 2016, 14:21:50Установлена блокировка по IP, а с другого домена все равно сайт получается доступным и его отдельные файлы.

IP не изменился, проверяли?
Если что, в логах сервера смотрите куда этот айпи ломился.

Упс не отредактировать почему то свой пост, напишу тогда новый.

IP не изменился, сейчас проверил, но смотрите по логам, что отдает сервер при доступе этого айпи к файлам. Какой код...

Цитата: Yworld_garry от 31 августа 2016, 14:31:05смотрите по логам, что отдает сервер при доступе этого айпи к файлам. Какой код...

Не совсем понял, как можно посмотреть то, что отдает именно сервер, на котором работает форум?

Есть, к примеру, сервисы типа этого (для проверки ответа сервера): _http://www.majento.ru/index.php?page=seo-analize/check-server-request

Цитата: Солярис от 31 августа 2016, 14:56:25Не совсем понял, как можно посмотреть то, что отдает именно сервер, на котором работает форум?

Вам надо зайти на ftp или может у вас в панеле хоста есть, в общем найти access_log файл и в нем посмотреть, куда с этого айпи ломились и что отдал сервер.

Тут тех. поддержка хостинга ответила:

Цитироватьrobots.txt - статический файл, который отдает nginx на фронтэнде - до Apache (который и работает с .htaccess) запрос на получение его содержимого не доходит.
В данном случае возможны следующие варианты:
- мы передаем тикет системным администраторам, и они устанавливают запрет на получение данных с заблокированных Вами в .htaccess подсетей и на nginx (этот вариант был бы наиболее предпочтительным)

Как оцениваете предложенный хостингом вариант?

Цитата: Солярис от 31 августа 2016, 16:43:32Как оцениваете предложенный хостингом вариант?

Адекватный ответ.

Подсуньте им еще и адрес этого сайта вместе IP.

Насчет "подсетей", все же надо быть осторожнее, а то так можно заблочить кучу народа. Либо проверьте кому принадлежат, либо просто конкретный IP.

Спасибо за ответ.

Посмотрел лог и что-то уже ничего не понимаю.

Есть там такая строчка:
www.yuristyonline.ru 88.202.230.151 - - [30/Aug/2016:01:16:27 +0300] "GET /index.php?board=148.0;sort=views HTTP/1.1" 403 302 "http://www.yuristyonline.ru./index.php?board=148.0;sort=views" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
Причем здесь яндекс-бот?! Он что на том же айпишнике сидит, что и zozor.ru ? Или это запудривание мозгов?

Что то не то, показывает что это бот яндекса))
хм... а ответ 403 и 302 перенаправление, странно.

Хотя вот этот IP

IP: 88.202.230.151(88.202.230.151.static.midphase.com)
Страна по данным GeoIP: GB United Kingdom (Англия) Город: NA
WhoIs IP адреса
[Querying whois.ripe.net]
[whois.ripe.net]
% This is the RIPE Database query service.
% The objects are in RPSL format.
%
% The RIPE Database is subject to Terms and Conditions.
% See http://www.ripe.net/db/support/db-terms-conditions.pdf

% Note: this output has been filtered.
% To receive output for a database update, use the "-B" flag.

% Information related to '88.202.230.0 - 88.202.230.255'

% Abuse contact for '88.202.230.0 - 88.202.230.255' is 'abuse@uk2group.com'

inetnum: 88.202.230.0 - 88.202.230.255
netname: UK2-INFRA-VPS-DOT-NET
descr: UK2 Infrastructure
remarks: Abuse matters to: abuse@vps.net
remarks: Abuse mail to any other address may be ignored
country: GB
admin-c: UKAC-RIPE
tech-c: UKAC-RIPE
status: ASSIGNED PA
mnt-by: AS13213-MNT
created: 2015-10-21T16:47:29Z
last-modified: 2015-10-21T16:47:29Z
source: RIPE

person: Abuse Contact
address: The Old Truman Brewery
address: 91 Brick Lane
address: London
address: E1 6QL
phone: +44 (0)2070537676
mnt-by: AS13213-MNT
nic-hdl: UKAC-RIPE
created: 2014-04-09T15:07:03Z
last-modified: 2015-10-14T15:17:12Z
source: RIPE # Filtered

% Information related to '88.202.224.0/21AS13213'

route: 88.202.224.0/21
descr: UK2.NET announcement
origin: AS13213
mnt-by: AS13213-MNT
created: 2015-09-16T11:21:32Z
last-modified: 2015-09-16T11:21:32Z
source: RIPE

% This query was served by the RIPE Database Query Service version 1.87.4 (BLAARKOP)


Записи DNS A
Записи DNS NS
Ответ web-сервера
HTTP/1.1 200 OK
Date: Wed, 31 Aug 2016 14:05:47 GMT
Server: Apache/2.2.15 (CentOS)
X-Powered-By: PHP/5.3.3
Connection: close
Content-Type: text/html; charset=UTF-8
WhoIs домена

Whois Server Version 2.0

Domain names in the .com and .net domains can now be registered
with many different competing registrars. Go to http://www.internic.net
for detailed information.

MIDPHASE.COM.NATIONSBESTDESIGNS.COM
MIDPHASE.COM

To single out one record, look it up with "xxx", where xxx is one of the
records displayed above. If the records are the same, look them up
with "=xxx" to receive a full display for each record.

>>> Last update of whois database: Wed, 31 Aug 2016 14:05:32 GMT <<<

For more information on Whois status codes, please visit https://icann.org/epp

NOTICE: The expiration date displayed in this record is the date the
registrar's sponsorship of the domain name registration in the registry is
currently set to expire. This date does not necessarily reflect the expiration
date of the domain name registrant's agreement with the sponsoring
registrar. Users may consult the sponsoring registrar's Whois database to
view the registrar's reported date of expiration for this registration.

TERMS OF USE: You are not authorized to access or query our Whois
database through the use of electronic processes that are high-volume and
automated except as reasonably necessary to register domain names or
modify existing registrations; the Data in VeriSign Global Registry
Services' ("VeriSign") Whois database is provided by VeriSign for
information purposes only, and to assist persons in obtaining information
about or related to a domain name registration record. VeriSign does not
guarantee its accuracy. By submitting a Whois query, you agree to abide
by the following terms of use: You agree that you may use this Data only
for lawful purposes and that under no circumstances will you use this Data
to: (1) allow, enable, or otherwise support the transmission of mass
unsolicited, commercial advertising or solicitations via e-mail, telephone,
or facsimile; or (2) enable high volume, automated, electronic processes
that apply to VeriSign (or its computer systems). The compilation,
repackaging, dissemination or other use of this Data is expressly
prohibited without the prior written consent of VeriSign. You agree not to
use electronic processes that are automated and high-volume to access or
query the Whois database except as reasonably necessary to register
domain names or modify existing registrations. VeriSign reserves the right
to restrict your access to the Whois database in its sole discretion to ensure
operational stability. VeriSign may restrict or terminate your access to the
Whois database for failure to abide by these terms of use. VeriSign
reserves the right to modify these terms at any time.

The Registry database contains ONLY .COM, .NET, .EDU domains and
Registrars.

Вот и я не понимаю. IP-адрес - этого zozor.ru , а данные весьма странные?!

я прост о не понимаю почему два заголовка сразу передано.
Отправьте в поддержку и это с вопросом, раз уж они взялись помогать.

Пинг до yandex.com дает совсем другой IP.

Цитата: Солярис от 31 августа 2016, 17:19:00Пинг до yandex.com дает совсем другой IP.

У YandexBot 100500 своих IP и они их не разглашают.
Но тут что то другое, сделайте как написал выше и проверяйте логи свои регулярно на этот предмет.

Хостинг ответил, что

ЦитироватьПоле User-agent передает клиент, который отправляет обращение, и ничто не мешает запрашивающей стороне (то есть не серверу - а тому, кто пытается получить содержимое страницы) его изменить на любой, в том числе - и на тот, который используют боты Яндекса.
Судя по выдержке из WHOIS - 88.202.230.151 не принадлежит к используемым Яндексом, поэтому наиболее вероятным является именно вариант с подменой User-agent.

Вот и пусть забанят ip и сайт

Цитата: Солярис от 31 августа 2016, 16:58:24

Код Выделить Развернуть

www.yuristyonline.ru 88.202.230.151 - - [30/Aug/2016:01:16:27 +0300] "GET /index.php?board=148.0;sort=views HTTP/1.1" 403 302 "http://www.yuristyonline.ru./index.php?board=148.0;sort=views" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
Причем здесь яндекс-бот?! Он что на том же айпишнике сидит, что и zozor.ru ? Или это запудривание мозгов?

Кстати,такого и у меня в логах хватает,если судить по логам то давненько у меня по форуму шастает.И очень давненько
Кстати,а в роботсе в директиве хост обязательно нужно указывать https если сайт на нём?

Цитата: Солярис от 31 августа 2016, 14:21:50Уже не знаешь чего опасаться.

Читаю тему и думаю, что Вы наверное меньше переживаете о подборе ssh чем с парсингом сайта  


база зозора собралась с одним IP  ))))

Цитировать1 http://www.electrooptics.com.zozor.ru
2 http://shaman-r.com
3 http://www.legal-pills.net.kupit-tabletki-kadillak-adam-boby-yasnost-eyv-lyubov-ulybka.snezhok-vitaminki-diski-tably-kolosa-bubliki-kalachi-muzyka.ekstazi-kruglye-yeshki-eksta-eks-ti-si-tapki-bubly-pilsy-eyfor.net
4 http://www.barrons.com.zozor.ru
5 http://shaman-by.com
6 http://www.forparty.su
7 http://shaman-kz.com
8 http://legal-pills.net.ekstazi-kruglye-yeshki-eksta-eks-ti-si-tapki-bubly-pilsy-eyfor.net
9 http://shaman-s.com
10 http://legpills.info
11 http://shaman-r.net
12 http://www.legpills.biz.legalnyye-narkotiki-sol-dlya-vann-dzhiviash.reagenty-kuritelnyye-smesi-geroin-efedrin-metadon-lsd-mdma-jwh.biz
13 http://shaman-ua.com
14 http://snezhok-vitaminki-diski-tably-kolosa-bubliki-kalachi-muzyka.ekstazi-kruglye-yeshki-eksta-eks-ti-si-tapki-bubly-pilsy-eyfor.net
15 http://kuritelnyye-smesi-miksy-marki-sol-dzhiv-jwh-skorost-zakladki.shaman-r.com
16 http://www.legalrc.biz.garant-ofitsialnyy-garant-foruma-legalrc.biz-garant-ne-torguyet-i-nichego-ne-prodayet.reagenty-kuritelnyye-smesi-geroin-efedrin-metadon-lsd-mdma-jwh.biz
17 http://www.legalrc.biz.magazin-v-doverennix-account-legpills.prinimayet-zakazy-pishite-v-kontakty.kuritelnyye-smesi-miksy-marki-sol-dzhiv-jwh-skorost-zakladki.reagenty-kuritelnyye-smesi-geroin-efedrin-metadon-lsd-mdma-jwh.biz
18 http://www.legalrc.biz.magazin-v-doverennix-forparty-biz-vsjo-dlja-veseloj.vecherinki-reagent-fr-700-1-k-30-coco-powder-ehffekty-kokaina.reagenty-kuritelnyye-smesi-geroin-efedrin-metadon-lsd-mdma-jwh.biz
19 http://www.shaman-r.ru
20 http://s-s.regnum.ru.zozor.ru
21 http://s-s.shaman-r.ru
22 http://www.legalrc.biz.magazin-v-doverennix-account.shaman-shaman-vnov-prinimayet-zakazy-pishite-v-kontakty-05.02.2014-pishite-v-kontakty.kuritelnyye-smesi-miksy-marki-sol-dzhiv-jwh-skorost-zakladki.shaman-r.net

Цитата: S.T.A.L.K.E.R. от 31 августа 2016, 21:04:13Кстати,а в роботсе в директиве хост обязательно нужно указывать https если сайт на нём?

Из мана яндекса:

ЦитироватьДиректива Host должна содержать:
 Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru).

Цитата: bober от 01 сентября 2016, 01:54:36Вы наверное меньше переживаете о подборе ssh чем с парсингом сайта

Не путайте теплое с мягким! 

Не путаю, просто такая параноя ТС берет, что удивляет. Вот и сравнил.

bober, выражаться приличнее не пробовали, господин "не параноик"?!

Паранойя (научитесь, "грамотей", хотя бы правильно писать данное слово) - это желание покрасоваться и написать подобные Вам нелепости. Более Вам видать нечем "возвыситься" (в кавычках) над другим пользователем.

Не нравится обсуждаемая тема - проходите мимо, если кроме глупости и хамства ничего сказать не можете. Полезной информации от Вас - НОЛЬ.

З.Ы. Свой форум можете хоть направо и налево раздать деятелям, которые парсингом занимаются. Я же буду решать без Вас (и Ваших убогих реплик), что мне делать и как и о чем на форуме сообщения размещать.
Так что удивительно лишь то, что всегда находятся в сети подобные Вам персоны, которые свое пупкинское (и, разумеется, хамское) мнение о другом пользователе выдают за истину в последней инстанции.

Солярис 
Настроение подняли 
Другой бы спорил, я не стану.

Цитата: Солярис от 01 сентября 2016, 13:03:56Полезной информации от Вас - НОЛЬ

Карма Ваша на форуме улыбнула

Цитата: Солярис от 01 сентября 2016, 13:03:56научитесь, "грамотей", хотя бы правильно писать данное слово)

танки рулят епс
Найдите в своем посте ошибку (или там их несколько??) )))))

Цитата: Солярис от 22 августа 2016, 09:02:18Поясните, плиз, для тех, кто танке - менее заковыристым языком.

Пока вы крутитесь вокруг зозоро, ваш сайт еще десятки парсят

P.S. ничего личного, никого обидеть не хотел. Солярис, если вас обидел, извините.
Выразил свое личное мнение и то как я вижу эту ситуацию.