Когда я пытаюсь использовать Java API для вставки многих данных в Mongodb4.0 (набор реплик), он выдает дубликаты ошибок ключа.
Объем данных не слишком велик, всего около 300000. & вставить через 3-5 секунд
сначала я искал с официального документа и веб-сайта.
это показывает
Запускает до 256 ^ 3 на процесс (16777216)
источник данных взят из rocketmq.
вот мой код
consumer.subscribe(GetPropertyUtils.getTestTopic(), "*", new MessageListener() {
long insertnums = 0L ;
List<Document> documentList= new ArrayList<Document>();
@Override
public Action consume(Message message, ConsumeContext context) {
insertnums ++ ;
consumerlogger.info(" now total size is " + insertnums);
String body = new String(message.getBody());
Document document = Document.parse(body);
documentList.add(document);
//insert bulk
if(documentList.size()>=1000) {
try {
MongoInsert.insertData(documentList);
Thread.sleep(1000);
}catch (Exception e){
consumerlogger.error("insert sleep 3000");
}
documentList.clear();
}
return Action.CommitMessage;
}
затем вставьте данные в MongoDB
public static void insertData(List<Document> document){
try{
MongoInsertlogger.info("prepare to insert ");
//collection.insertMany(documents ,new InsertManyOptions().ordered(false));
//---------
List<WriteModel<Document>> requests = new ArrayList<WriteModel<Document>>();
for (Document doc : document) {
InsertOneModel<Document> iom = new InsertOneModel<Document>(doc);
requests.add(iom);
}
BulkWriteResult bulkWriteResult = collection.bulkWrite(requests,new BulkWriteOptions().ordered(false));
System.out.println(bulkWriteResult.toString());
}catch (Exception e){
MongoInsertlogger.error("insert failed , caused by " +e);
System.out.println(e);
}
}
но ошибка показывает
BulkWriteError{index=811, code=11000, message='E11000 duplicate key error collection: yyj2.accpay index: _id_ dup key: { : ObjectId('5bea843604de38d61ff4d1fd') }', details={ }}, BulkWriteError{index=812, code=11000, message='E11000 duplicate key error collection: yyj2.accpay index: _id_ dup key: { : ObjectId('5bea843604de38d61ff4d1fe') }', details={ }}, BulkWriteError{index=813, code=11000, message='E11000 duplicate key error collection: yyj2.accpay index: _id_ dup key: { : ObjectId('5bea843604de38d61ff4d1ff') }', details={ }}, BulkWriteError{index=814, code=11000, message='E11000 duplicate key error collection: yyj2.accpay index: _id_ dup key: { : ObjectId('5bea843604de38d61ff4d200') }', details={ }}, BulkWriteError{index=815, code=11000, message='E11000 duplicate key error collection: ......
с моими небольшими данными в java, почему это происходит, объект создается самим MongoDB. И размер данных меньше поддерживаемого,
Я использую версию JDBC mongo-java-driver 3.7.1
Заранее спасибо!