При Преобразовании базы данных и данных в UTF-8 возникли проблемы.

talalaev · 22 мая 2010, 01:09:26

Приветствую, у меня SMF 2.0 RC1
Форум находится здесь http://patrolclub.com/

нужна помощь. Помогите пожалуйста.

Не подумав на своем форуме нажал вот это:

Преобразовать базу данных и данные в UTF-8

UTF-8 является международной кодировкой охватывающая практически все языки мира. Преобразование Вашей базы данных и данных в UTF-8 может облегчить поддержку многоязычности Вашего форума. Это также может улучшить поиск и способность сортировки для языков с нелатинскими знаками.

Появились непонятные символы, можно ли обратно вернуть?

если да, то как?

karavan · 22 мая 2010, 01:28:56

Не гарантирую что поможет... Но так как более грамотных представителей высшего разума сейчас тут нету, а нужно срочно... попробуй открыть файл Settings.php и после строки

$db_error_send = 1; (у меня она была 49) добавляешь энтером ещё одну строку в которую вписываешь, или копируешь следующее:
$db_character_set = 'cp1251';

сохраняешь, закрываешь и будет тебе счастье. Может быть.

talalaev · 22 мая 2010, 10:47:50

спасибо, но не помогло. (((

кстатиту меня там было не $db_error_send = 1;, а $db_error_send = 0;

talalaev · 22 мая 2010, 11:04:40

В общем буду ждать помощи

если кто откликнется конечно

digger® · 22 мая 2010, 15:15:26

В Settings.php добавить
$db_character_set = 'utf8';

и поставить локализацию форума russian-utf8

talalaev · 22 мая 2010, 16:03:51

$db_character_set = 'utf8'; добавил

А локализацию не знаю как сделать.

Макар · 22 мая 2010, 16:24:38

Цитата: talalaev от 22 мая 2010, 16:03:51
$db_character_set = 'utf8'; добавил

А локализацию не знаю как сделать.

если smf двойка то через админку - язык - добавить
если первая ветка то скачать пакет с оф сайта и залить на хостинг

talalaev · 23 мая 2010, 15:29:38

в общем так и не наладил.. жаль..

Макар · 25 мая 2010, 11:46:55

Продолжим.
Скинул себе дамп БД talalaevа (основной на хостинге еще не трогал) работаю с ним локально на своей машине.

Суть вот в чем. База данных и форум talalaevа все в utf8
база в утф
таблицы в утф
генеральное сравнение в утф
в сеттингс строка $db_character_set = 'utf8'; присутствует
локализация залита утф
новые сообщение в базу записываются в утф

короче все в утф и все работает

осталлось одно но! старые сообщения все в кракозяблах, внутри БД в таблицах текст не читаем, типа - Re: Г±Г Г«ГјГГЁГЄ ГёГЄГўГ®Г°ГГҐГўГ®ГЈГ® ГЇГ®Г¤Гё... и нотепад ++ и PsPad отказывается их понимать

массовое или частичное конвертирование к читаемости не приводит
во шо оно блин переконвертировалось не понятно (пробовал даже Штирлицем) кодирование и декодирование меняет набор кракозябл но не приводит к читаемости текста.

В базе 328 Сообщений в 112 Тем в категриях и разделах и все (кроме новых создаваемых) не читаемо.

чем его перегнать в читаемый вид ? или talalaevу смириться с потерей ?

мне пока неизвестна ситуация с бекапом ...... есть ли он у talalaevа на момент ДО того как он нажал кнопку преобразовать все в утф

0daliska · 25 мая 2010, 14:20:16

Цитата: Makar от 25 мая 2010, 11:46:55
Продолжим.
.........
массовое или частичное конвертирование к читаемости не приводит
во шо оно блин переконвертировалось не понятно (пробовал даже Штирлицем) кодирование и декодирование меняет набор кракозябл но не приводит к читаемости текста.

В базе 328 Сообщений в 112 Тем в категриях и разделах и все (кроме новых создаваемых) не читаемо.

чем его перегнать в читаемый вид ? или talalaevу смириться с потерей ?

мне пока неизвестна ситуация с бекапом ...... есть ли он у talalaevа на момент ДО того как он нажал кнопку преобразовать все в утф

Уж ежели ничего не помогает, надо снимать разные варианты бэкапа любой одной из таблиц при помощи Дампера... А там смотреть, чего и где...

Mavn · 25 мая 2010, 14:35:36

дайте с бд покавырятся лучше в исходном виде. возможно вылечу ...

Макар · 25 мая 2010, 14:57:00

не помогает
невозможно расшифровать кусок текста из поля body в любой из таблиц где присутствуют кракозяблы

если кто сможет расшифровать для примера описание раздела

ЦитироватьГЂГ¤Г¬ГЁГГЁГ±ГІГ°Г Г¶ГЁГї ГЏГ ГІГ°Г®Г« ГЄГ«ГіГЎГ ГЁ Г±ГІГ°Г ГµГ®ГўГ®ГҐ Г ГЈГҐГГІГ±ГІГўГ® ГЋГЋГЋ "ГЏГ Г«Г«Г Г¤ГЁГіГ¬-ГЇГ®Г«ГЁГ± "Г±Г®Г®ГЎГ№Г ГѕГІ Г® Г§Г ГЇГіГ±ГЄГҐ ГГ®ГўГ®Г© ГЇГ Г°ГІГГҐГ°Г±ГЄГ®Г© ГЇГ°Г®ГЈГ°Г Г¬Г¬Г», Гў Г°Г Г¬ГЄГ Гµ ГЄГ®ГІГ®Г°Г®Г© ГўГ±ГҐ Г·Г«ГҐГГ» ГЄГ«ГіГЎГ ГЇГ®Г«ГіГ·Г ГѕГІ Г±ГЄГЁГ¤ГЄГЁ ГГ Г ГўГІГ®Г±ГІГ°Г ГµГ®ГўГ ГГЁГҐ.

напишите как и чем

Цитата: Mavn от 25 мая 2010, 14:35:36
дайте с бд покавырятся лучше в исходном виде. возможно вылечу ...

если talalaev разрешит я скину дамп , без разрешения не дам

Mavn · 25 мая 2010, 15:34:46

Цитата: Makar от 25 мая 2010, 14:57:00
если talalaev разрешит я скину дамп , без разрешения не дам

ну так вопрос больше к нему относится чем к тебе

итак понятно что без разрешения хозяина ничего не получу

talalaev · 25 мая 2010, 19:00:14

конечно разрешаю )) только помогите ))

Макар · 25 мая 2010, 23:37:40

дамп
пароль на архив отправил в личку

talalaev · 27 мая 2010, 21:25:18

Ребят привет, ничего не выходит да?

Макар · 27 мая 2010, 21:42:49

у меня нет

Мавн, забрал архив ............

talalaev · 27 мая 2010, 22:22:40

окей, будем ждать.. может что придумает

talalaev · 27 мая 2010, 22:23:01

а тебе спасибо большое )

Макар · 27 мая 2010, 22:51:14

ок

talalaev · 06 июня 2010, 08:18:40

По ходу один единственный выход снести все (((

Mavn · 07 июня 2010, 15:00:22

Извиняюсь что не отвечаю меня к сожалению не было долгое время а в командировке решать проблему не было времени если все еще актуально то постараемся глянуть на неделе

talalaev · 07 июня 2010, 18:45:22

Да актуально ))

Mavn · 07 июня 2010, 22:38:21

Кстати говоря первоначальная кодировка бд какая была? у вас текущая бд такая кривая как дамп? Можно доступ к текущей бд а то с файликом как то не особо получается преобразование сделать

Mavn · 09 июня 2010, 13:20:56

дамп переделал отправил на мыло инструкции по редактированию см в письме.

документацию написать чтоли по исправлению кривых дампов а то уже второй человек за 2 месяца. Такая же проблема была у Awilum на паскальгеймс.

Макар · 09 июня 2010, 15:51:36

Ага надо. Ты, я так понимаю через преобразование в самом майадмине делал ?

talalaev · 09 июня 2010, 16:40:45

Огромное спасибо )))) Благодарю от сердца ))

Проблема решена ))

Mavn · 09 июня 2010, 16:56:17

Цитата: Makar от 09 июня 2010, 15:51:36
Ага надо. Ты, я так понимаю через преобразование в самом майадмине делал ?

нет майадмин использовал только для анализа данных и просмотра бд, основная работа это прогон бд по нескольким кодировкам.
Вообще как бы такая проблема с кодировкой бд случается по простой причине:
1. Изначально кодировка бд отличается от кодировки данных(например кодировка бд latin1 кодировка форума win1251, что пишется в бд в таком случае я думаю рассказывать не нужно)
2. При конвертации пользователь выбирает не ту кодировку в которой у него эти самые данные в результате и получается такая ошибка, что все данные не пойми в какой кодировке. Т.е. например кодировка бд latin1 и пользователь по идее должен выбирать кодировку при конвертировании данных в UTF8 - ISO кодировку данных, но народ же не читает документацию о том что кодировку бд нужно выставлять при установке и делает все как папало. При конвертировании происходит следущее у тебя одни кракозябли становятся другими кракозяблями которые ты вообще никак ничем не декодируешь.

Для пущего понимания возьми число 1 зашифруй его в md5 а потом полученный md5 хэш еще раз зашифруй. А теперь попробуй сразу получи 1 из хэша хэша md5, никогда 1 ты не получишь. Тебе нужно будет сначала разшифровать md5 хэша а потом расшифровать сам хэш чтобы получить 1. Вот и здесь тоже самое

Это в общем и есть методика лечения, я всего лишь в обратном порядке прогоняю данные.
Есть конечно небольшой недостаток, Некоторые буквы например Большие буквы И Ш и еще какие то неправильно распознаются и сохраняются в виде двух ?? вопросительных знаков

Но это тоже все лечится поскольку бд текстовый файл то заменить слова в файле путем нахождения словоформ не составит проблем.

используемые материалы
dumper
notepad ++
mysql для хранения данных

никаких штирлицев и прочих перекодировщиков не требуется.
Время исполнения 5-15 минут

Цитата: talalaev от 09 июня 2010, 16:40:45
Огромное спасибо )))) Благодарю от сердца ))

Проблема решена ))

да пожалуйста

Макар · 09 июня 2010, 18:14:46

Я так же и пытался плясать. От того что имел. Предполагая что изначально все было в ср1251. Хотя дамп у себя пробовал кодировать в разные кодировки.

Mavn · 09 июня 2010, 20:13:48

ты чем их кодировал ??
потому как там не кодировать нужно а именно с бд работать

Чеширский кот · 15 июня 2010, 20:19:23

Цитата: Mavn от 09 июня 2010, 20:13:48
ты чем их кодировал ??
потому как там не кодировать нужно а именно с бд работать

Есть вопрос по этому поводу: На какую кодировку менять в notepad++ у меня почему то win формат неактивный, а другие кодировки толку не дают (все равно ерунда какая то).

Mavn · 16 июня 2010, 10:24:25

дамп бд преобразовывается только utf8<<==>>Ansi ничего более все остальные махинации проводятся непосредственно с мускулом.

sonyer · 08 декабря 2011, 05:07:35

Точно такая же проблема 1 в 1. Но я все же не понял как ее решить(Может кто-то помочь?предоставлю все данные и все прочее, пожалуйста)

GeorG · 08 декабря 2011, 07:01:52

Тут не так все просто, вам уже дали ответы через которые, вы можете всё проделать. Если не получается, то задавайте уточняющие вопросы (и чем точнее, тем вам лучше), или сюда - http://www.simplemachines.ru/index.php?board=41.0 (там все решится, быстро, и без лишних заморочек).

sonyer · 08 декабря 2011, 15:39:29

Ну вот допустим у меня есть дамп форума до того как я нажал кнопку преобразовать в УТФ-8, и что же мне с ним делать?Открыл этот дамп в нотепад, поменял кодировку на АНСИ и такие же иероглифы остались, новые сообщения и темы нормально отображаются а вот старые все в ироглифах

Mavn · 19 декабря 2011, 00:34:49

там много действий нужно провести чтобы восстановить читаемый вид и если вы не обладаете необходимыми навыками то ничего сами не сделаете именно поэтому я не выкладываю весь путь ибо он индивидуален для каждого дампа