Как вставить огромный массив данных Pandas в таблицу MySQL с помощью оператора параллельной вставки? - PullRequest
3 голосов
/ 31 мая 2019

Я работаю над проектом, в котором мне нужно написать фрейм данных с миллионами строк и около 25 столбцами, в основном числового типа. Я использую Pandas DataFrame для функции SQL , чтобы сбросить фрейм данных в таблицу Mysql. Я обнаружил, что эта функция создает оператор вставки, который может вставлять несколько строк одновременно. Это хороший подход, но MySQL имеет ограничение на длину запроса, который может быть построен с использованием этого подхода.

Есть ли способ, который параллельно вставлял бы его в одну и ту же таблицу, чтобы я мог ускорить процесс?

...