Кто-нибудь может мне помочь в написании Неупорядоченных массовых документов в MongoDB из Java с использованием mongo-spark-connector?
Ниже приведена моя конфигурация spark & mongo:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.1</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.3.1</version>
</dependency>
<dependency>
<groupId>org.mongodb.spark</groupId>
<artifactId>mongo-spark-connector_2.11</artifactId>
<version>2.3.0</version>
</dependency>
Я пытался писать массовые документы, но все вставки выполняются с заказом: true.
Map<String, String> writeOverrides = new HashMap<String, String>();
writeOverrides.put("collection", collection);
writeOverrides.put("maxBatchSize", 1000);
writeOverrides.put("writeConcern.w", "1");
writeOverrides.put("forceInsert", "true");
writeOverrides.put("ordered", "false");//For Unordered inserts
WriteConfig wc = WriteConfig.create(SparkMongoSession.sparkContext).withOptions(writeOverrides);
MongoSpark.save(dataSet, wc);
Mongo Log:
[conn173] command MyDB.MyCollection command: insert { insert: "MyCollection", **ordered: true**, writeConcern: { w: 1 }, $db: "MyDB" } **ninserted:1000** keysInserted:1000 ....