Java mongo-spark-connector - Как записать объемные записи UnOrdered в MongoDB? - PullRequest
0 голосов
/ 30 сентября 2018

Кто-нибудь может мне помочь в написании Неупорядоченных массовых документов в MongoDB из Java с использованием mongo-spark-connector?

Ниже приведена моя конфигурация spark & ​​mongo:

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.3.1</version>
    </dependency>       
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.mongodb.spark</groupId>
        <artifactId>mongo-spark-connector_2.11</artifactId>
        <version>2.3.0</version>
    </dependency>

Я пытался писать массовые документы, но все вставки выполняются с заказом: true.

 Map<String, String> writeOverrides = new HashMap<String, String>();
        writeOverrides.put("collection", collection);
        writeOverrides.put("maxBatchSize", 1000);
        writeOverrides.put("writeConcern.w", "1");        
        writeOverrides.put("forceInsert", "true");
        writeOverrides.put("ordered", "false");//For Unordered inserts
WriteConfig wc = WriteConfig.create(SparkMongoSession.sparkContext).withOptions(writeOverrides);
MongoSpark.save(dataSet, wc);

Mongo Log:

[conn173] command MyDB.MyCollection command: insert { insert: "MyCollection", **ordered: true**, writeConcern: { w: 1 }, $db: "MyDB" } **ninserted:1000** keysInserted:1000 ....
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...