Python Bonobo ETL слишком медленный - PullRequest
Новая
       37

Python Bonobo ETL слишком медленный

0 голосов
/ 03 мая 2019

Я использую Bonobo для базового преобразования и загрузки

  1. Я получаю данные в кадре данных
  2. Доходность одного ряда
  3. Нормализация одного ряда
  4. Загрузить одну строку в базу данных 
    def get_graph(**options):
        graph = bonobo.Graph()
        graph.add_chain(
            transform(data_as_dataframe),
            normalize,
            load
        )

        return graph

    graph = get_graph()
    bonobo.run(graph)

Процесс кажется очень медленным (пять минут для 1000 строк / 20 столбцов).

Бонобо использует многопоточность под капотом?

Есть мысли о том, почему загрузка этого небольшого набора данных займет так много времени?

Может кто-нибудь привести пример того, как сделать нечто подобное? Спасибо

...