Cообщество пользователей SMF

Цитировать10.03.2022 сайт radikal.ru прекращает свою работу.
С указаной даты видео и картинки не будут доступны.
Чтобы не потерять свой контент, сохраните его себе на диск.

Скрипт для сохранения файлов https://github.com/realdigger/SMF-Radikal

Приплыли

Цитата: S.T.A.L.K.E.R. от 05 марта 2022, 16:44:19Приплыли

Вас это сильно затронуло?

А ещё может появится проблема с сертификатами (https) для .ru

Цитата: domofor от 05 марта 2022, 23:50:22Вас это сильно затронуло?

Да есть немного. Поиском 300 с лишним сообщений нашло. Всех же не заставишь все сохранять на сервер, да и сам грешен, каюсь.
Через img тоже вставлял картинки там где критичного ничего нет. Не всегда правда радикалом.
Из критичного я так посмотрел сообщений 20-ть будет ±
Остальное то треп с поздравлением и прочим, то такое. Туда уже толком никто не смотрит и похерятся картинки да и хрен с ними. Там поздравления и прочее 5 летней давности которые уже давно никто не смотрит. Только если боты.

Пишу скрипт для скачивания оттуда изображений и замены ссылок в сообщениях.
Если получится, выложу.

Было бы просто отлично
Ибо сколько не просишь чтобы в критичных темах где допустим есть инструкции для чего-то сохраняли на сервер
Все равно то на радикал то еще где-то...

Я думал он уже давно закрылся...

Уже пробую на своих форумах.

Цитата: S.T.A.L.K.E.R. от 06 марта 2022, 17:31:12Было бы просто отлично

6754 сообщений с картинками с радикала, большинство полезные. Терять жалко. Тоже почти написал скрипт, но если мастер делает, то подожду.
Эх, раньше сюда не заглянул.

Можно пробовать, кто смелый https://github.com/realdigger/SMF-Radikal

Как есть, без гарантий успеха и безопасности. Бэкапы обязательно, главное таблицу smf_messages.
Рассчитано на запуск в консоли.
Под работу в браузере особо не заморачивался, работать будет, но никакого пошагового выполнения там нет. Будет вылетать, просто обновляйте страницу. В логе будет видно, что идет процесс.

В начале файла есть параметр
$downloadOnly = true;
по умолчанию скрипт только качает файлы в папку радикал с сохранением структуры радикала и показывает что и где будет менять. Уже скачанные успешно файлы второй раз не тянет, так что можно запускать сколько угодно раз.

Если все нормально, меняете на
$downloadOnly = false;
и тогда уже в базе будет менять на скачанные файлы.

При работе пишет лог в файл radikal.log.Y-m-d.txt

Ведет лог вида
 Сообщение #номер | Ссылка | HTTP код ответа радикала
 Сообщение #номер | Какая замена произойдет в сообщении

Предлагаю добавить следующее
if(mime_content_type($file)=='text/html'){
unlink($file);
echo '[ERROR] Файл отсутствует на сервере.' . $phpEOL;
}
На случай, если вместо картинки отдаётся страница с сообщением об ошибке.

Цитата: Kira от 07 марта 2022, 23:26:39Предлагаю добавить следующее

Код Выделить Развернуть

if(mime_content_type($file)=='text/html'){
unlink($file);
echo '[ERROR] Файл отсутствует на сервере.' . $phpEOL;
}
На случай, если вместо картинки отдаётся страница с сообщением об ошибке.

Там 404 с такими страницами отдает, это проверяется.

Не всегда. Иногда просто страничка с надписью. Сейчас попробую найти пример.

https://www.simplemachines.ru/radikal/000/F/i016.radikal.ru/1012/da/15127244cb2a.jpg
Скрипт скачал html.

Цитата: Kira от 07 марта 2022, 23:48:02https://www.simplemachines.ru/radikal/000/F/i016.radikal.ru/1012/da/15127244cb2a.jpg
Скрипт скачал html.

Можно проверять, но фактически пользы от этого нет. Файл там уже все равно не появится, что заглушку эту скачать, что не скачивать.

Поступило еще предложение убирать "t" из конца имени файла, если есть. Чтобы принудительно превьюшки в полноразмерные превращать.

Цитата: digger® от 07 марта 2022, 23:57:32Можно проверять, но фактически пользы от этого нет. Файл там уже все равно не появится, что заглушку эту скачать, что не скачивать.

В принципе, да. Но была мысль в таких случаях ставить свою заглушку. Писать в базу вместо ссылки на скачанный html ссылку на маленькую картинку с надписью "картинка отсутствует".

Для smf1 тоже есть версия, если вдруг кому https://github.com/realdigger/SMF-Radikal

Качает ну очень медленно. Иногда висит по пол часа. 
curl_setopt($curl, CURLOPT_TIMEOUT, 10); помогает. Потом нужно будет докачать оставшееся.

Цитата: Kira от 08 марта 2022, 09:40:45Качает ну очень медленно. Иногда висит по пол часа.
curl_setopt($curl, CURLOPT_TIMEOUT, 10); помогает. Потом нужно будет докачать оставшееся.

Радикал тормозит, все качают. Поставил 30 в скрипте.

Проверил на тестовом...Работает  
Но я вот что думаю. Посмотрел поиском. Ну реально сообщений 20 восстановить стоит.
Остальное мусор который и восстанавливать не стоит.
Так что наверно вручную.

Альтернативный способ:
https://hlebopechka.ru/index.php?option=com_smf&topic=551181.0
Конечно, это многими ругаемый file_put_contents и в базе никаких изменений не делает, но при параллельном запуске нескольких скриптов (с разным  BETWEEN) через командную строку довольно шустренько скачивает.

Шеф усё отработало нормально  

В скрипт добавлен обратный счетчик для отображения прогресса процесса.

Цитата: Сан от 06 марта 2022, 12:27:09А ещё может появится проблема с сертификатами (https) для .ru

Обещают открыть отечественный центр с бесплатной раздачей сертификатов.

Цитата: domofor от 09 марта 2022, 03:42:48Обещают открыть отечественный центр с бесплатной раздачей сертификатов.

И работать эти сертификаты будут только в отечественных браузерах.

Небольшое ускорение работы скрипта.

Дополнено отображение результатов работы

*** Импорт завершен.
*** Найдено ссылок: xxx
*** Из них миниатюр: yyy
*** Заменено в сообщениях: zzz


Версия для SMF1 приведена в соответствие с версией для SMF2.

Пожелание
Не сохранять структуру каталогов, а свалить всё в один.
Для удобства и чтоб в каждую папку не добавлять index.html

Радикал RIP

Но скачать успели. Спасибо.

Ушла эпоха.

Цитата: digger® от 09 марта 2022, 04:22:13И работать эти сертификаты будут только в отечественных браузерах.

Есть какие-то другие варианты?

Цитата: digger® от 10 марта 2022, 02:24:11* digger® Смахнул скупую слезу

Этих эпох уже ушло... Замахаешься смахивать.
--------------------------------------------------------------------------------------------
Я скачать то успел.А потом 8 марта хостеру в Германии отрубили всю стойку целиком.
Сейчас бодаюсь с возвратом денег.И потом буду подниматься с бекапа.В котором я еще не проделал скачивание радикала
Так что скорее всего всё.

Вопрос автору скрипта
Если у меня таки получится забрать папку куда уже скачаны файлы были, скрипт заменит ссылки в сообщениях без скачивания файлов?

Цитата: S.T.A.L.K.E.R. от 11 марта 2022, 01:08:29Вопрос автору скрипта
Если у меня таки получится забрать папку куда уже скачаны файлы были, скрипт заменит ссылки в сообщениях без скачивания файлов?

Да, подхватит уже скачанные.

VFL.RU тоже под вопросом, так что, чтобы два раза не вставать, добавлена и версия скрипта для него.
https://github.com/realdigger/SMF-Radikal

Ещё раз спасибо 
А можно попросить скрипт для конвертации скачанного в один каталог, без сохранения структуры?  С заменой ссылок в базе.
Скажем, путь к файлу в строку и прибавить к ней имя файла.

Цитата: digger® от 13 марта 2022, 18:53:03VFL.RU тоже под вопросом, так что, чтобы два раза не вставать, добавлена и версия скрипта для него.
https://github.com/realdigger/SMF-Radikal

Существует также риск с доступом к github. В один момент могут перекрыть кран, несмотря на все прежние обещания.

2 марта 2022 года представители команды веб-сервиса для хостинга IT-проектов и совместной разработки GitHub высказались по поводу санкций против России. Сотрудники сервиса заявили, что не будут блокировать российских разработчиков. По их словам, GitHub — «дом для всех разработчиков, где бы они ни находились». При этом сервис будет соблюдать запреты экспортного контроля технологий и разработок для России, которые наложены США.

С чуваком который сидит в Германии уже разорвали контракт на разработку ПО
Дословно что ему сказали - хоть ты и сидишь в Германии мы знаем что в твоей команде разработчиков есть россияне
По этому пока.
Так что может быть все что угодно

Цитата: Kira от 13 марта 2022, 20:30:41Ещё раз спасибо 
А можно попросить скрипт для конвертации скачанного в один каталог, без сохранения структуры? С заменой ссылок в базе.
Скажем, путь к файлу в строку и прибавить к ней имя файла.

В базе ссылки уже заменены на локальные или еще на сам радикал указывают?

Заменены. Скрипт отработал на отлично. Скачано 27532 файлов и раскидано по 39889 каталогам. Хотелось бы радикально сократить количество каталогов.

Приветствую коллеги! У меня на форуме накопилось за годы много фото с фотохостинга "FLV.ru" - в моих постах и постах пользователей. Пожалуйста, можно выложить более подробную инструкцию  - куда и чего надо вставлять и куда нажимать, чтобы фотки перекачались и оказались в папке на форумном хостинге и ссылки в постах поменялись и фотки стали отображаться уже с моего хостинга. Мне никак не разобраться.

Цитата: artvolt от 15 марта 2022, 15:43:32Приветствую коллеги! У меня на форуме накопилось за годы много фото с фотохостинга "FLV.ru" - в моих постах и постах пользователей. Ради всего святого, пожалуйста, можно выложить более подробную инструкцию  - куда и чего надо вставлять и куда нажимать, чтобы фотки перекачались и оказались в папке на форумном хостинге и ссылки в постах поменялись и фотки стали отображаться уже с моего хостинга. Мне никак не разобраться.

Скрипт загрузить в корень форума
И запускать его в браузере пока не отработает полностью.

Ничего не выходит.   Я закачал файл со скриптом в формате ".php" в папку сайта на хостинге "public_html" - и что дальше делать чтоб он включился и заработал??? Я не очень понимаю что такое специальные скрипты для сайта и как они действуют. Набирал в адресной строке браузера адрес с файлом скрипта - но появляется страница форума с ошибкой 404, может не так набирал?

Если и FLV закроют - то куча фото с форума пропадёт. Я уже Радикал прошляпил, хотя с него на форуме не так много фото было. Оттуда с самого FLV - фото скачать не реально, чтобы хоть на компьютер их сохранить - там массовой загрузки своих фото вообще не предусмотрено вроде бы.

Цитата: artvolt от 16 марта 2022, 01:48:32Если и FLV закроют - то куча фото с форума пропадёт.

Да уж... хороший урок преподали многим форумоводам сторонние фотохостинги.

Цитата: artvolt от 16 марта 2022, 01:48:32Набирал в адресной строке браузера адрес с файлом скрипта - но появляется страница форума с ошибкой 404, может не так набирал?

Вероятно.
Ещё может, что нет прав на выполнение файла. Обычно их можно изменить правой кнопкой мышки на файле.

Цитата: artvolt от 16 марта 2022, 01:48:32Я не очень понимаю что такое специальные скрипты для сайта и как они действуют.

В данном случае, файл, рисующий обычную html страничку, которая открывается в браузере. В процессе рисования выполняет полезную работу. Это если совсем упростить объяснение

Доступ к консоли сервера есть?

Цитата: domofor от 16 марта 2022, 03:59:42Да уж... хороший урок преподали многим форумоводам сторонние фотохостинги.

Помнится с меня все ржали и пальцем у виска крутили когда говорил что все свое надо хранить у себя.
Это же тысячи картинок, кому они нужны.

Цитата: artvolt от 16 марта 2022, 01:48:32Ничего не выходит.   Я закачал файл со скриптом в формате ".php" в папку сайта на хостинге "public_html" - и что дальше делать чтоб он включился и заработал??? Я не очень понимаю что такое специальные скрипты для сайта и как они действуют. Набирал в адресной строке браузера адрес с файлом скрипта - но появляется страница форума с ошибкой 404, может не так набирал?

https://art-cafe.info/vfl.php
Нажимайте и попутно смотрите в логе как идет процесс
По моему оно на какой то стадии реально бурится или картинок слишком много реально или все бросились скачивать и по этому процесс будет долгий. Попутно так же смотрите за свободным местом на хостинге.