Создайте JanusGraph в Spark RDD.foreachPartition - PullRequest
Новая
       6

Создайте JanusGraph в Spark RDD.foreachPartition

0 голосов
/ 25 июня 2018

Я пытаюсь использовать Spark для создания экземпляра JanusGraph в RDD.foreachPartition, но я получил ошибку сериализации.Коды следующие. 

 nodesRDD.foreachPartition(new VoidFunction<Iterator<String>>() {
            @Override
            public void call(Iterator<String> stringIterator) throws Exception {
                String vertexLabel = "person";
                String s = "/home/chgy/janusgraph-0.2.0-hadoop2/conf/gremlin-server/janusgraph-hbase.properties";

                JanusGraph graph = JanusGraphFactory.open(s);
                TransactionBuilder builder = graph.buildTransaction();
                JanusGraphTransaction tx = builder.enableBatchLoading().consistencyChecks(false).start();

                while(stringIterator.hasNext()){
                    String[] colVals = stringIterator.next().split(",");
                    linecount.add(1);

                    List<Object> keyValues = new ArrayList<Object>();
                    HashMap<String, List<Object>> propertyHasValues = new HashMap<>();

                    tx.addVertex(vertexLabel).property("id", Long.parseLong(colVals[0]));
                }
                tx.commit();
                tx.close();
                graph.close();
            }
        });

Я очень новичок во всем этом.Любые предложения / рекомендации приветствуются!

...