Укажите рабочий пул для Apache TinkerPop's Spark-Gremlin - DataStax-Enterprise Graph-Analytics - PullRequest
Новая
       98

Укажите рабочий пул для Apache TinkerPop's Spark-Gremlin - DataStax-Enterprise Graph-Analytics

0 голосов
/ 21 апреля 2020

Мне нужно указать определенный c рабочий пул для выполнения запросов gremlin olap. Когда я выполняю запросы gremlin olap с использованием консоли gremlin или datastax studio, она запускается в пуле по умолчанию (что не является тем, что я хочу). Я хочу запускать запросы gremlin olap в заданном c рабочем пуле, например, gremlin_olap или иметь возможность указать память и исполнителей. Я попробовал несколько настроек в dse.yaml (в ресурсах расположения / dse / conf) и olap.properties (в ресурсах расположения / graph / conf), я перезапустил кластер, но не смог принудительно использовать рабочий пул gremlin_olap .

olap.properties 

spark.scheduler.pool=gremlin_olap
spark.executor.cores=2
spark.executor.memory=2g

dse.yaml 

resource_manager_options:
    worker_options:
        cores_total: 0.7
        memory_total: 0.6

        workpools:
            - name: alwayson_sql
              cores: 0.25
              memory: 0.25
            - name: gremlin_olap
              cores: 0.25
              memory: 0.25

Консоль Gremlin bin / dse gremlin-console 

         \,,,/
         (o o)
-----oOOo-(3)-oOOo-----
plugin activated: tinkerpop.server
plugin activated: tinkerpop.tinkergraph
gremlin> :remote config alias g identity.a
==>g=identity.a
gremlin> g.V().groupCount().by(label)
==>{identity=50000}
gremlin>

Spark Master UI

Я что-то упустил?

1 Ответ

0 голосов
/ 22 апреля 2020

Эти указания должны помочь:

https://docs.datastax.com/en/dse/6.8/dse-dev/datastax_enterprise/graph/graphAnalytics/graphAnalyticsSparkGraphComputer.html#SettingSparkpropertiesfromGremlin

Это не совсем создает пул ресурсов Spark, но влияет на ресурсы, которые использует Gremlin OLAP Приложение Spark будет использовать - и в DSE Graph работает так, что будет запущено только одно из этих приложений, поэтому оно имеет тот же эффект, что и пул ресурсов Spark.

...