Прием данных в пакетах в RDBMS от Marklogic с DMSDK - PullRequest
Новая
       15

Прием данных в пакетах в RDBMS от Marklogic с DMSDK

0 голосов
/ 14 мая 2019

У меня есть требование для вставки большого количества данных из MarkLogic в RDBMS с использованием DMSDK

Ниже приведен пример кода 

ArrayList<ArrayList<String>> batch = new ArrayList<ArrayList<String>>();
DatabaseClient client = DatabaseClientFactory.newClient(config.getmlHost(), config.getmlPort(), new DatabaseClientFactory.BasicAuthContext(dbConfig.getuser(), dbConfig.getpassword()));
QueryManager queryMgr = client.newQueryManager();
StructuredQueryBuilder sb = queryMgr.newStructuredQueryBuilder();
StructuredQueryDefinition criteria = sb.and(sb.collection("collection1"),sb.collection("collection2"))
DataMovementManager dmm = client.newDataMovementManager();
QueryBatcher batcher = dmm.newQueryBatcher(criteria)
        .withBatchSize(10)
        .withThreadCount(12)
        .onUrisReady(
                        new ExportListener()
                        .onDocumentReady(doc -> {
                    logger.info("URI received : " + doc.getUri());
                    try {
                        //Getting data From xml and adding it into a arraylist for batch creation
                        ArrayList<String> getDataXml = new GetDataXml().GetDatafromXml(doc.getContent(new DOMHandle()),
                                dbuilder, xPath, ColumnNames);
                        batch.add(getDataXml);

                    } catch (Exception e) {
                        logger.error("Error in the Code", e);
                    }
                })).onQueryFailure(exception -> {
                    logger.error(exception);
                });
        dmm.startJob(batcher);
        batcher.awaitCompletion();
        dmm.stopJob(batcher);
        Class.forName("Driver Name");

        //connecting to RDBMS
        Connection conn = DriverManager.getConnection(DB_URL, USER, PASS)
        PreparedStatement pstmt = conn.prepareStatement("INSERT INTO DBNAME VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?)");

        //Creating Batches PreparedStatement.addBatch()
        for(ArrayList<String> eachObject : batch) {             
            createPreparedStatement(pstmt, eachObject).addBatch();
        }

        //
        int[] result = pstmt.executeBatch();
        logger.info("Total Records Inserted " + result.length);
        oracle.closeConnect(oracleConn);

public PreparedStatement createPreparedStatement(PreparedStatement pstmt, ArrayList<String> eachObject)
            throws SQLException {
        for (int i = 0; i < eachObject.size(); i++) {
            pstmt.setString(i + 1, eachObject.get(i));
        }
        return pstmt;
    }

Этот код получает данные только от MarkLogic, и он не вставляется в базу данных RDBMS после завершения 1 пакета, может ли кто-нибудь указать мою ошибку в коде. Заранее спасибо.

1 Ответ

1 голос
/ 16 мая 2019

Рассмотрим создание подготовленного оператора перед началом работы и в слушателе onDocumentReady ():

  1. извлечение одного или нескольких значений из документа,
  2. установка заполнителей наподготовленный оператор со значениями и
  3. , выполняющий подготовленный оператор.

Недостатком стратегии накопления всех документов в массиве является то, что массив может использовать всю доступную память иэта пропускная способность должна быть лучше, если операции с базами данных чередуются.

Надеюсь, что поможет,

...