Ожидаемое время обработки с использованием mysqlimport для MySQL - PullRequest
0 голосов
/ 03 марта 2020

Запустил вызов mysqlimport примерно через 2,5 часа go, загрузка, по-видимому, остановилась примерно на час go (на проверку data_length и index_length в пределах information_schema), поэтому я думаю, что индексы создаются в этот момент.

Может ли кто-нибудь дать рекомендации о том, сколько времени обычно занимает импорт такого рода? Файл для загрузки представлял собой CSV-файл размером около 2,5 ГБ на диске. У меня 16 гигабайт оперативной памяти, но я не видел, чтобы используемая оперативная память превышала 8 ГБ с момента ее запуска; Загрузка ЦП резко возросла некоторое время назад, но с тех пор, похоже, снизилась. Единственный возможный сбой заключается в том, что я загружаю в MySQL установку на внешний жесткий диск (из-за нехватки места), поэтому мне кажется, что обработка может быть медленнее.

Редактировать :

mysql> show create table priceHist;
+-----------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table     | Create Table                                                                                                                                                                                                                                                                                                                                                                             |
+-----------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| priceHist | CREATE TABLE `priceHist` (
  `date` date NOT NULL,
  `ticker` varchar(8) NOT NULL,
  `open` double DEFAULT NULL,
  `high` double DEFAULT NULL,
  `low` double DEFAULT NULL,
  `close` double DEFAULT NULL,
  `volume` double DEFAULT NULL,
  `dividends` double DEFAULT NULL,
  `unadjClose` double DEFAULT NULL,
  PRIMARY KEY (`date`,`ticker`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 |
+-----------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...