Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » MySQL

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11

Открыть новую тему     Написать ответ в эту тему

Leon82

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
MySQL AB


 
Офф. сайт

Страница загрузки

Документация (eng)

Офф. форум

 
Смежный топик в "В помощь сисадмину"
 
 
 
При первом же обращении mysqld, или еще чем нибудь таким, сразу останавливается, .....stoped.
В чем дело?

Всего записей: 3 | Зарегистр. 17-01-2002 | Отправлено: 11:20 19-01-2002 | Исправлено: neZlodey, 00:45 30-04-2013
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
mrdime

Цитата:
висит/ не висит не понятно.


Код:
show processlist;


Цитата:
как отслеживать состояние импорта правильно

процентного соотношения не будет.
можно посмотреть размер таблиц (приблизительное количество строк) как меняется со временем.

Цитата:
как настроить быстродействие, т.к. ИМХО импорт проходит очень меделенно.  

у меня (не ноут) 17 гигов база, порядка 10 таблиц, в 3 из них по 13 миллионов записей (с foreign ключами, индексами) - около 40-50 минут. ну и я не использую для заливки какие то программы, напрямую в mysql как и писал ранее.

Всего записей: 11372 | Зарегистр. 20-09-2014 | Отправлено: 10:27 08-05-2018 | Исправлено: Mavrikii, 10:29 08-05-2018
mrdime



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Mavrikii

Цитата:
у меня (не ноут) 17 гигов база, порядка 10 таблиц, в 3 из них по 13 миллионов записей (с foreign ключами, индексами) - около 40-50 минут. ну и я не использую для заливки какие то программы, напрямую в mysql как и писал ранее.

Какие характеристики вашего компа?
Напрямую у меня не получается: когда запускаю MySQL 5.7 command line client (насколько я понимаю через него надо можно напрямую работать), он требует пароль, когда ввожу пароль, окно сразу закрывается. С чем связано - не понятно.
Работаю через Workbench. Это же вроде бы их официальная утилита, не должен быстродействие (скорость импорта) по логике не должна бы существенно отличаться.
 
Проанализировал: у меня получается скорость 400 тыс. записей в час, с такой скоростью мне надо будет 50 часов, чтобы всю базу проимпортировать. Как-то оч. медленно.

Всего записей: 2888 | Зарегистр. 04-01-2005 | Отправлено: 11:44 08-05-2018 | Исправлено: mrdime, 12:44 08-05-2018
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
mrdime

Цитата:
Какие характеристики вашего компа?

это не играет роли. к тому же под Linux все это бегает быстрее.
 

Цитата:
Напрямую у меня не получается: когда запускаю MySQL 5.7 command line client

консоль откройте и в ней выполняете все команды.  
 

Цитата:
когда ввожу пароль, окно сразу закрывается. С чем связано - не понятно

значит неправильный пароль или доступа нет для используемого пользователя.
 
еще раз - сначала окно консоли в системе, а уже в нем обращения к mysql клиенту

Всего записей: 11372 | Зарегистр. 20-09-2014 | Отправлено: 22:46 08-05-2018
mrdime



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Mavrikii
Со всем разобрался. Спасибо за помощь.
 
С консолью проблема была не в пароле, а в статусе сервиса MySQL. Если я сервер запускал из Worbench, то окно консоли после ввода пароля сразу закрывалось. Если я сервис MySQL запускал из сервисов винды, то консоль нормально работала.
 
Зато уже с кодировками приходилось играться (при попытке импорта из консоли). При UTF-8, в которую я выставил .sql-файл кириллица почему-то импортировалась кракозябрами. Не стал дальше заморачиваться почему, в Worbench таких проблем не возникало, вернулся к нему.
 
Разобрался окончательно с импортом через Worbench. Почитал мануалы и форумы - консоль бы мне не помогла (с быстродействием).
Оказывается, что при импорте больших файлов критичным является то, что в MySQL выставлено по-умолчанию почему-то autocommit = true (спасибо форуму https://stackoverflow.com). Из-за этой шняги все тормозит катастрофически.
Я выставил SET autocommit=0 ; и все полетело. 27 млн. (в итоге) записей проимпортировались за около 30 мин., при том что в начале импорт 1,5 млн. записей мне занял целую ночь.

Всего записей: 2888 | Зарегистр. 04-01-2005 | Отправлено: 03:19 09-05-2018 | Исправлено: mrdime, 03:20 09-05-2018
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
mrdime

Цитата:
Я выставил SET autocommit=0 ;

да, забыл об этом. но у меня проблемы с автокоммитом были только на массовых обновлениях (там запрос мог выполняться почти сутки), при импорте дампа все нормально идет (может можно было ускорить, но было не критично).

Всего записей: 11372 | Зарегистр. 20-09-2014 | Отправлено: 03:33 09-05-2018 | Исправлено: Mavrikii, 03:33 09-05-2018
NoDiR_777



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не устанавливается mySQL на Windows 7 64-бит, вылетает с ошибкой
 
Лог ошибки  

Цитата:
Имя сбойного приложения: MySQLInstaller.exe, версия: 1.4.26.0, отметка времени: 0x5b05de85
Имя сбойного модуля: KERNELBASE.dll, версия: 6.1.7601.19045, отметка времени 0x56259271
Код исключения: 0xe0434352
Смещение ошибки: 0x000000000000b3dd
Идентификатор сбойного процесса: 0x1ec0
Время запуска сбойного приложения: 0x01d45bb3dff9772f
Путь сбойного приложения: C:\Program Files (x86)\MySQL\MySQL Installer for Windows\MySQLInstaller.exe
Путь сбойного модуля: C:\Windows\system32\KERNELBASE.dll
Код отчета: 1dc1142d-c7a7-11e8-93e8-14dae9efad24

 

Цитата:
 
Приложение: MySQLInstaller.exe
Версия платформы: v4.0.30319
Описание. Процесс был завершен из-за необработанного исключения.
Сведения об исключении: System.UnauthorizedAccessException
   в System.IO.__Error.WinIOError(Int32, System.String)
   в System.IO.Directory.InternalCreateDirectory(System.String, System.String, System.Object, Boolean)
   в System.IO.Directory.InternalCreateDirectoryHelper(System.String, Boolean)
   в WexInstaller.Core.LoggerListener.CheckTextFile()
   в WexInstaller.Core.LoggerListener.Write(System.String)
   в System.Diagnostics.TraceListener.WriteHeader(System.String, System.Diagnostics.TraceEventType, Int32)
   в System.Diagnostics.TraceListener.TraceEvent(System.Diagnostics.TraceEventCache, System.String, System.Diagnostics.TraceEventType, Int32, System.String)
   в System.Diagnostics.TraceSource.TraceEvent(System.Diagnostics.TraceEventType, Int32, System.String)
   в WexInstaller.Core.Logger.LogException(System.Exception)
   в WexInstaller.Program.ReportUnhandledException(System.Exception)
   в WexInstaller.Program.Main()
 

 
Чем это можно вылечить?

Всего записей: 38 | Зарегистр. 17-12-2009 | Отправлено: 13:48 04-10-2018
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
NoDiR_777
до этого MySQL стоял? попробуйте удалить старые папки из program files, programdata, возможно что то еще в профиле юзера.

Всего записей: 11372 | Зарегистр. 20-09-2014 | Отправлено: 22:06 04-10-2018
NoDiR_777



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Mavrikii
 
Удалил все старые папки, но это, к сожалению, не помогло

Всего записей: 38 | Зарегистр. 17-12-2009 | Отправлено: 15:52 05-10-2018
Itto



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Доброго дня ,  
Народ подскажите пожалуйста как это можно реализовать  
есть БД MariaDB 10.4 (MySQL)
в ней есть таблица  
в таблице есть колонка,  
в колонке содержатся текстовые сообщения,
всего их 170 000 штук.
Как можно подсчитать количество символов техстовой информации в столбце  
просто общее количество ?  

Всего записей: 1541 | Зарегистр. 05-02-2005 | Отправлено: 20:51 21-04-2020
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Itto
https://stackoverflow.com/questions/21772205/how-to-get-size-of-column-in-mysql-table

Всего записей: 11372 | Зарегистр. 20-09-2014 | Отправлено: 20:52 21-04-2020
FUTURiTY

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем привет, подскажите чем можно конвертировать БД в формате *.MYI + *.MYD + *.frm в обычный SQL ?
 
Спасибо!

Всего записей: 2912 | Зарегистр. 24-04-2007 | Отправлено: 01:11 05-01-2021
opk44

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FUTURiTY
Что такое "обычный SQL"?

Всего записей: 107 | Зарегистр. 16-01-2020 | Отправлено: 11:16 05-01-2021
FUTURiTY

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
opk44

Цитата:
Что такое "обычный SQL"?

Ну это значить когда вся БД находится в одном файле sql и в нормальном "читаемом" виде!

Всего записей: 2912 | Зарегистр. 24-04-2007 | Отправлено: 01:27 06-01-2021
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FUTURiTY

Цитата:
Ну это значить когда вся БД находится в одном файле sql и в нормальном "читаемом" виде!

это называется дамп.
 

Цитата:
БД в формате *.MYI + *.MYD + *.frm

зависит от того чем эти файлы созданы.
если от MySQL, то берем MySQL с поддержкой MyISAM движка (5.7, в 8 он уже урезан) и засовываем файлы в папку с базами. если все хорошо, MySQL ее увидит. после чего делаем дамп.
https://ru.hostings.info/schools/eksport-mysql-dump-bazy-dannyh.html

Всего записей: 11372 | Зарегистр. 20-09-2014 | Отправлено: 01:29 06-01-2021 | Исправлено: Mavrikii, 01:31 06-01-2021
FUTURiTY

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Mavrikii
Ну и как мне например на хостинге timeweb.ru найти папку где лежат БД?
Там ведь нету такого!
 
Почему нельзя дать ссылку просто на конвертер?

Всего записей: 2912 | Зарегистр. 24-04-2007 | Отправлено: 04:15 06-01-2021 | Исправлено: FUTURiTY, 04:16 06-01-2021
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FUTURiTY

Цитата:
Почему нельзя дать ссылку просто на конвертер?

в нем просто нет смысла. возможно есть какие нить смотрелки, но есть же бесплатный MySQL сервер.
эти утверждают, что могут, но даже проверять не хочется - https://www.arysontechnologies.com/blog/mysql-database-viewer/
но не факт, что может делать дамп.
 

Цитата:
Там ведь нету такого!

а зачем вам хостинг? что мешает поставить MySQL себе?
https://stackoverflow.com/questions/879176/how-to-recover-mysql-database-from-myd-myi-frm-files
на shared хостинге вам ессно не дадут доступа к настройкам БД или ее файлам.

Всего записей: 11372 | Зарегистр. 20-09-2014 | Отправлено: 04:26 06-01-2021 | Исправлено: Mavrikii, 04:33 06-01-2021
Weinaum



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Приветствую, проблема с mysql (mariadb) под mac os big sur, не знаю где лучше, описал в этом топике.
Целый день бьюсь, не могу решить.  
Главное, вчера еще все работало, а сегодня вот такое и не могу понять что не хватает...

Всего записей: 2051 | Зарегистр. 18-06-2006 | Отправлено: 15:45 27-01-2021
Weinaum



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
в общем, не запускается сервер - в логах вот такие проблемы:
@Alexanders-MacBook-Pro mysql % mysqld

Код:
2021-01-28 10:15:04 0 [Note] mysqld (mysqld 10.5.8-MariaDB) starting as process 67507 ...
2021-01-28 10:15:04 0 [Warning] Setting lower_case_table_names=2 because file system for /usr/local/var/mysql/ is case insensitive
2021-01-28 10:15:04 0 [Note] InnoDB: Uses event mutexes
2021-01-28 10:15:04 0 [Note] InnoDB: Compressed tables use zlib 1.2.11
2021-01-28 10:15:04 0 [Note] InnoDB: Number of pools: 1
2021-01-28 10:15:04 0 [Note] InnoDB: Using crc32 + pclmulqdq instructions
2021-01-28 10:15:04 0 [Note] InnoDB: Initializing buffer pool, total size = 134217728, chunk size = 134217728
2021-01-28 10:15:04 0 [Note] InnoDB: Completed initialization of buffer pool
2021-01-28 10:15:04 0 [Note] InnoDB: Starting crash recovery from checkpoint LSN=348758843,348758843
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_category_product_index_store1.ibd' with space ID 11400, since the redo log references ./magento/catalog_category_product_index_store1.ibd with space ID 10408.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_category_product_index_store2.ibd' with space ID 11401, since the redo log references ./magento/catalog_category_product_index_store2.ibd with space ID 10409.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_product_index_eav.ibd' with space ID 11405, since the redo log references ./magento/catalog_product_index_eav.ibd with space ID 10413.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/cataloginventory_stock_status.ibd' with space ID 11407, since the redo log references ./magento/cataloginventory_stock_status.ibd with space ID 10415.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_product_index_price.ibd' with space ID 11408, since the redo log references ./magento/catalog_product_index_price.ibd with space ID 10416.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalogsearch_fulltext_scope1.ibd' with space ID 11409, since the redo log references ./magento/catalogsearch_fulltext_scope1.ibd with space ID 10417.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalogsearch_fulltext_scope2.ibd' with space ID 11421, since the redo log references ./magento/catalogsearch_fulltext_scope2.ibd with space ID 10429.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento233/design_config_grid_flat.ibd' with space ID 11433, since the redo log references ./magento233/design_config_grid_flat.ibd with space ID 11050.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento233/customer_grid_flat.ibd' with space ID 11445, since the redo log references ./magento233/customer_grid_flat.ibd with space ID 11062.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/design_config_grid_flat.ibd' with space ID 11376, since the redo log references ./magento/design_config_grid_flat.ibd with space ID 11270.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/customer_grid_flat.ibd' with space ID 11388, since the redo log references ./magento/customer_grid_flat.ibd with space ID 11282.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/design_config_grid_flat.ibd' with space ID 11376, since the redo log references ./magento/design_config_grid_flat.ibd with space ID 11295.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/customer_grid_flat.ibd' with space ID 11388, since the redo log references ./magento/customer_grid_flat.ibd with space ID 11307.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/design_config_grid_flat.ibd' with space ID 11376, since the redo log references ./magento/design_config_grid_flat.ibd with space ID 11319.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/customer_grid_flat.ibd' with space ID 11388, since the redo log references ./magento/customer_grid_flat.ibd with space ID 11331.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_category_product_index_store1_replica.ibd' with space ID 11343, since the redo log references ./magento/catalog_category_product_index_store1_replica.ibd with space ID 10297.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_category_product_index_store2_replica.ibd' with space ID 11344, since the redo log references ./magento/catalog_category_product_index_store2_replica.ibd with space ID 10298.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_category_product_index_store1.ibd' with space ID 11343. Another data file called ./magento/catalog_category_product_index_store1_replica.ibd exists with the same space ID.
2021-01-28 10:15:04 0 [ERROR] InnoDB: Cannot rename './magento/catalog_category_product_index_store1_replica.ibd' to './magento/catalog_category_product_index_store1.ibd' because the target file exists. Remove the target file and try again.
2021-01-28 10:15:04 0 [ERROR] InnoDB:  Cannot replay file rename. Remove either file and try again.
2021-01-28 10:15:04 0 [ERROR] InnoDB: Plugin initialization aborted with error Generic error
2021-01-28 10:15:04 0 [Note] InnoDB: Starting shutdown...
2021-01-28 10:15:04 0 [ERROR] Plugin 'InnoDB' init function returned error.
2021-01-28 10:15:04 0 [ERROR] Plugin 'InnoDB' registration as a STORAGE ENGINE failed.
2021-01-28 10:15:04 0 [Note] Plugin 'FEEDBACK' is disabled.
2021-01-28 10:15:04 0 [ERROR] Unknown/unsupported storage engine: InnoDB
2021-01-28 10:15:04 0 [ERROR] Aborting

 
Такое впечатление, что права слетели, пробую уже по всякому, не получается ничего.  
вот была проблема год назад описано - очень схожие данные - mariadb, magento.  
Только у меня это все локально по mac os из под homebrew.
 
 
 
Добавлено:
Удалось сервер запустить - добавил в my.cnf  

Код:
[mysqld]
innodb_force_recovery = 1

т.е. сервер запускается игнорируя ошибки - в логе видны эти ошибки, и сайт с базой magento стартует с ошибками.  
Похоже, база как то побилась, но теперь легче ремонтировать, когда есть доступ.  
Но самое главное, нужная база практически не пострадала - хотя там видно что тоже не без проблем.

Всего записей: 2051 | Зарегистр. 18-06-2006 | Отправлено: 15:39 28-01-2021
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11

Компьютерный форум Ru.Board » Компьютеры » Программы » MySQL


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru