MongoDB insertMany или bulkwrite выдает ошибку дублированного ключа в Java-API - PullRequest
Новая
       31

MongoDB insertMany или bulkwrite выдает ошибку дублированного ключа в Java-API

0 голосов
/ 13 ноября 2018

Когда я пытаюсь использовать Java API для вставки многих данных в Mongodb4.0 (набор реплик), он выдает дубликаты ошибок ключа. Объем данных не слишком велик, всего около 300000. & вставить через 3-5 секунд

сначала я искал с официального документа и веб-сайта. это показывает

Запускает до 256 ^ 3 на процесс (16777216)

источник данных взят из rocketmq. вот мой код 

consumer.subscribe(GetPropertyUtils.getTestTopic(), "*", new MessageListener() {
            long insertnums = 0L ;
            List<Document> documentList= new ArrayList<Document>();
            @Override
            public Action consume(Message message, ConsumeContext context) {
                insertnums ++ ;
                consumerlogger.info(" now  total size is " + insertnums);

                String body = new String(message.getBody());
                Document document = Document.parse(body);
                documentList.add(document);
                //insert bulk 
                if(documentList.size()>=1000) {
                    try {
                        MongoInsert.insertData(documentList);
                        Thread.sleep(1000);
                    }catch (Exception e){
                        consumerlogger.error("insert sleep  3000");
                    }

                    documentList.clear();
                }
                return Action.CommitMessage;
            }

затем вставьте данные в MongoDB 

 public  static  void  insertData(List<Document>  document){
        try{
            MongoInsertlogger.info("prepare to  insert ");
            //collection.insertMany(documents ,new InsertManyOptions().ordered(false));
            //---------

            List<WriteModel<Document>> requests = new ArrayList<WriteModel<Document>>();
            for (Document doc : document) {

                InsertOneModel<Document>  iom = new InsertOneModel<Document>(doc);
                requests.add(iom);
            }
            BulkWriteResult bulkWriteResult = collection.bulkWrite(requests,new BulkWriteOptions().ordered(false));
            System.out.println(bulkWriteResult.toString());


        }catch (Exception e){
            MongoInsertlogger.error("insert failed  , caused by " +e);
            System.out.println(e);
        }
    }

но ошибка показывает 

  BulkWriteError{index=811, code=11000, message='E11000 duplicate key error collection: yyj2.accpay index: _id_ dup key: { : ObjectId('5bea843604de38d61ff4d1fd') }', details={ }}, BulkWriteError{index=812, code=11000, message='E11000 duplicate key error collection: yyj2.accpay index: _id_ dup key: { : ObjectId('5bea843604de38d61ff4d1fe') }', details={ }}, BulkWriteError{index=813, code=11000, message='E11000 duplicate key error collection: yyj2.accpay index: _id_ dup key: { : ObjectId('5bea843604de38d61ff4d1ff') }', details={ }}, BulkWriteError{index=814, code=11000, message='E11000 duplicate key error collection: yyj2.accpay index: _id_ dup key: { : ObjectId('5bea843604de38d61ff4d200') }', details={ }}, BulkWriteError{index=815, code=11000, message='E11000 duplicate key error collection: ......

с моими небольшими данными в java, почему это происходит, объект создается самим MongoDB. И размер данных меньше поддерживаемого, Я использую версию JDBC mongo-java-driver 3.7.1
Заранее спасибо!

1 Ответ

0 голосов
/ 13 августа 2019

вы получаете эту ошибку, когда документ уже существует в вашей базе данных - как определено дубликатом первичного ключа.

...