Получить SQL данные таблицы с помощью многопроцессорной обработки python - PullRequest
0 голосов
/ 26 апреля 2020

Я использую python многопроцессорную библиотеку для запроса огромной таблицы, и я хочу получить данные из нее, но при использовании следующего кода я получаю эту ошибку.


    import pymysql
    import multiprocessing as mp

    def getdata(cur, off):
       select="select * from mytable limit 5000 offset {0}".format(off)
        cur.execute(select)
        rows = cur.fetchall()
        return rows

    main():
      p = mp.Pool()
      rr=[0,5000,1000,15000]
      print(p.map(getdata, rr))

Это дает Typerror: не может serialize _io * BufferReader Python многопроцессорная обработка работает для примера, показанного в документации python, но она не работает с SQL output

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...