Мне нужно запросить таблицу кустов с более чем 500 столбцами и 1 миллионом строк из данных Ibm 11.5. пока максимальная производительность, которую мы можем получить, составляет 1000 строк в секунду, что недостаточно.
Пока мы пробовали следующие вещи -
- создание задания данных с использованием встроенного HiveConnector - максимальная производительность 1 Кб / сек
- создание отдельного клиента java jdbc для запроса куста - максимальная производительность 1600 строк / сек.
- Когда мы интенсивно запрашиваем улей с помощью оболочки улья, производительность составляет около 20 К / с
учитывая тот факт, что это огромный стол, и мы не можем его разделить. есть ли ограничения производительности для JDBC, которые кто-то знает.
Мы также не можем отклоняться от Datastage. Итак, что может быть лучшим способом для продолжения в этом сценарии.