neo4j читать столбчатые данные паркета

Question

Может ли neo4j каким-либо образом считывать файлы паркета напрямую?

У меня есть крайний список с примерно 20 миллионами записей в день, и я бы хотел его проглотить.

Макет похож на:

id,srd,dst,timestamp,weight,rel_kind

И с использованием обычногоCSV не звучит оптимально.

Answer 1

Если обычным образом вы имеете в виду команду Neo4j LOAD CSV, что конкретно не кажется оптимальным? Я использовал его для загрузки очень больших CSV-файлов в версию для сообщества, и он работал нормально.

При работе с CSV-форматом такого размера вы должны быть уверены, что будете использовать периодические коммиты, чтобы удерживать транзакцию отне хватает памяти. Вот пример вырезания / вставки со страницы документации LOAD CSV :

USING PERIODIC COMMIT 500
LOAD CSV FROM 'https://neo4j.com/docs/cypher-manual/3.5/csv/artists.csv' AS line
CREATE (:Artist { name: line[1], year: toInteger(line[2])})

Я обычно использую гораздо большие значения, чем 500, больше как 10000 или 20000, для чего бы это ни стоило.