Мне нужно запросить базу данных и скопировать набор результатов в другую базу данных, которая имеет такую же структуру базы данных и также находится в той же хост-системе.
Следующая JAVA-функция работает довольно хорошо (быстро и без ошибок), если результат запроса довольно мал:
public void copyTableData(Connection dbConnOnSrcDB, Connection dbConnOnDestDB,
String sqlQueryOnSrcDB, String tableNameOnDestDB)
throws SQLException {
try (
PreparedStatement prepSqlStatmOnSrcDB = dbConnOnSrcDB.prepareStatement(sqlQueryOnSrcDB);
ResultSet sqlResultsFromSrcDB = prepSqlStatmOnSrcDB.executeQuery()
) {
ResultSetMetaData sqlMetaResults = sqlResultsFromSrcDB.getMetaData();
// Stores the query results
List<String> columnsOfQuery = new ArrayList<>();
// Store query results
for (int i = 1; i <= sqlMetaResults.getColumnCount(); i++)
columnsOfQuery.add(sqlMetaResults.getColumnName(i));
try (
PreparedStatement prepSqlStatmOnDestDB = dbConnOnDestDB.prepareStatement(
"INSERT INTO " + tableNameOnDestDB +
" (" + columnsOfQuery.stream().collect(Collectors.joining(", ")) + ") " +
"VALUES (" + columnsOfQuery.stream().map(c -> "?").collect(Collectors.joining(", ")) + ")")
) {
while (sqlResultsFromSrcDB.next()) {
for (int i = 1; i <= sqlMetaResults.getColumnCount(); i++)
prepSqlStatmOnDestDB.setObject(i, sqlResultsFromSrcDB.getObject(i));
prepSqlStatmOnDestDB.addBatch();
}
prepSqlStatmOnDestDB.executeBatch();
}
}
}
Но у меня очень большие запросы к базе данных и наборы результатов размером в несколько сотен мегабайт.
Проблема A: Я обнаружил, что вышеприведенная ошибка OutOfMemoryError возникает при обработке второй строки кода:
ResultSet sqlResultsFromSrcDB = prepSqlStatmOnSrcDB.executeQuery()
JAVA-Exeption:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.lang.Class.getDeclaredFields0(Native Method)
at java.lang.Class.privateGetDeclaredFields(Class.java:2583)
at java.lang.Class.getDeclaredField(Class.java:2068)
at java.util.concurrent.atomic.AtomicReferenceFieldUpdater$AtomicReferenceFieldUpdaterImpl$1.run(AtomicReferenceFieldUpdater.java:323)
at java.util.concurrent.atomic.AtomicReferenceFieldUpdater$AtomicReferenceFieldUpdaterImpl$1.run(AtomicReferenceFieldUpdater.java:321)
at java.security.AccessController.doPrivileged(Native Method)
at java.util.concurrent.atomic.AtomicReferenceFieldUpdater$AtomicReferenceFieldUpdaterImpl.<init>(AtomicReferenceFieldUpdater.java:320)
at java.util.concurrent.atomic.AtomicReferenceFieldUpdater.newUpdater(AtomicReferenceFieldUpdater.java:110)
at java.sql.SQLException.<clinit>(SQLException.java:372)
at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:2156)
at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:300)
at org.postgresql.jdbc.PgStatement.executeInternal(PgStatement.java:428)
at org.postgresql.jdbc.PgStatement.execute(PgStatement.java:354)
at org.postgresql.jdbc.PgPreparedStatement.executeWithFlags(PgPreparedStatement.java:169)
at org.postgresql.jdbc.PgPreparedStatement.executeQuery(PgPreparedStatement.java:117)
at Application.copyTableData(Application.java:159)
at Application.main(Application.java:585)
Проблема B: Задание на копирование требует очень много времени. Есть ли способ ускорить процесс копирования?
Запросы к БД:
String[] tables = new String[]{
"table1",
"table1_properties",
"table1_addresses",
"table2",
"table3",
"table4",
"table5",
"table6",
"table7",
"table8",
"table9",
"table10"
};
Вызов функции:
for( String table : tables ){
getDataFromSrcDB = "SELECT " + table + ".* " +
"FROM table1 " +
"FULL JOIN table1_properties " +
"ON table1_properties.d_id=table1.d_id " +
"FULL JOIN table1_addresses " +
"ON table1_addresses.d_id=table1_properties.d_id " +
"FULL JOIN table2 " +
"ON table2.p_id=table1_properties.p_id " +
"FULL JOIN table3 " +
"ON table3.d_id=table1.d_id " +
"FULL JOIN table4 " +
"ON table4.d_id=table1.d_id " +
"FULL JOIN table5 " +
"ON table5.d_id=table1.d_id " +
"FULL JOIN table6 " +
"ON table6.d_id=table1.d_id " +
"FULL JOIN table7 " +
"ON table7.d_id=table1.d_id " +
"FULL JOIN table8 " +
"ON table8.id=table4.id " +
"FULL JOIN table9 " +
"ON table9.d_id=table1.d_id " +
"FULL JOIN table10 " +
"ON table10.a_id=table1_addresses.a_id " +
"WHERE ST_Intersects(ST_MakeEnvelope(" +
minLong + "," +
minLat + "," +
maxLong + "," +
maxLat + ",4326), geom :: GEOMETRY) OR " +
"ST_Intersects(ST_MakeEnvelope(" +
minLong + "," +
minLat + "," +
maxLong + "," +
maxLat + ",4326), CAST(table3.location AS GEOMETRY))";
copyTableData(dbConnOnSrcDB, dbConnOnDestDB, getDataFromSrcDB, table);
}