По сути, я ищу самый быстрый способ загрузки очень больших наборов данных в фрейм данных. Я понимаю, что первая загрузка таблицы из Vertica в файл может помочь. В настоящее время сохранение данных в CSV из IDE БД с последующей загрузкой файла в pandas происходит намного быстрее, чем использование pd.read_ sql непосредственно из Vertica. но процесс не удобный.
Есть предложения? Я нашел это, но не уверен, как использовать его для сохранения в файл:
cur = connection.cursor()
cur.copy("COPY test_copy (id, name) from stdin DELIMITER ',' ", csv)
Был бы рад узнать также, что является узким местом в процессе.
Спасибо!