Janusgraph Автономный кластер Hadoop Spark - задание Janusgraph всегда создает постоянное число 513 задач Spark - PullRequest
0 голосов
/ 18 октября 2019

Я настроил Janusgraph 0.4.0 с Hadoop 2.9.0 и Spark 2.4.4 в кластере K8s. Я подключаюсь к Janusgraph из консоли gremlin и выполняю: gremlin> og ==>чтобы считать! То же время заняло, когда вершин не было - например -> 0. Работа Spark показывает, что было выполнено 513 задач! Номер задачи всегда постоянен 513 независимо от количества вершин. Я установил «spark.sql.shuffle.partitions = 4» в среде работы с заданиями, но опять-таки число задач Spark составило 513! Я предполагаю, что Janusgraph каким-то образом определяет это количество задач, когда отправляет работу в Spark. Вопросы: - Почему задание Janusgraph, представленное в Spark, всегда соответствует 513 задачам? - Как управлять количеством задач, которые создаются для работы Janusgrap? - Как минимизировать время выполнения запроса OLAP для этого небольшого графа (OLTP-запрос занимает менее секунды)?

Спасибо!

...