Сохраните график на диск, созданный из Spark GraphFrames - PullRequest
0 голосов
/ 20 июня 2020

У меня около 1 ТБ данных, я сохранил эти данные в файлах вершин и ребер, которые нужно загрузить в Spark GraphFrame, чтобы создать график и выполнить запросы по мотивам (поиск шаблонов) на этом графике. пакет, этот 1 ТБ файла вершин и ребер необходимо загрузить в GraphFrame, чтобы создать график и запросить его. disk, так что в следующий раз я буду напрямую загружать этот график и запускать на нем запросы, которые будут быстрыми. Есть ли способ сделать это, ie создать огромный граф с помощью графического фрейма, сохранить его на диске, а со следующего раза напрямую загрузить этот граф в графовый фрейм и запросить его.

1 Ответ

0 голосов
/ 21 июня 2020

Вы уверены, что медленная часть - это создание GraphFrame?

По моему опыту, создание объекта GraphFrame не очень медленное, извините. Но вычисление мотивов происходит очень медленно, особенно если вам нужно вычислить длину более 10. Причина в том, что он выполняет самосоединение с фреймами данных, которые создаются под капотом, как вы можете видеть из https://www.waitingforcode.com/apache-spark-graphframes/motifs-finding-graphframes/read.

Надеюсь, это поможет

...