У меня есть таблица MySQL DB с большим количеством строк (~ 7M). Мне нужно было получать и обрабатывать данные в виде кусков (около 50 000 строк) из таблицы для моего конвейера данных. Я реализовал это, используя fetchmany()
метод в PyMySQL SSCursor (небуферизованный курсор). Это послужило цели. Единственное, что меня беспокоит, это то, вызывает ли этот подход какую-либо блокировку базы данных или может иметь какие-либо другие последствия, связанные с производительностью.