Мне нужно вытащить данные из оракула в улей.Моя работа завершена за 24 часа.Я использую API JDBC для извлечения данных. Как настроить это задание?
Oracle table info:
No of blocks:54014592
Memory in MB:421989
DRIVER_MEMORY :25 gb
EXECUTOR_CORES :5
EXECUTOR_INSTANCES :25
EXECUTOR_MEMORY :20 gb
spark Parallel Degree:25
Таблица имеет 29 разделов, а максимальный размер раздела составляет 93 ГБ
Журналы: естьмного Сборка мусора
18/12/03 05:11:55 INFO scheduler.TaskSetManager: Завершено задание 16.0 на этапе 4.0 (TID 144) за 1448053 мс на bdgtr004d02h1u.nam.nsroot.net (исполнитель18) (36/64) 1837.013: [Full GC (System.gc ()) 549M-> 296M (25G), 0,5553646 с] 18/12/03 05:22:11 INFO storage.BlockManagerInfo: добавлено rdd_10_44 в памяти приbdgtr015d07h2u.nam.nsroot.net:36517 (размер: 498,7 МБ, бесплатно: 10,3 ГБ) 18/12/03 05:58:59 INFO scheduler.TaskSetManager: завершено задание 38.0 на этапе 4.0 (TID 166) за 4271907 мс на bdgtr007d17i2u.nam.nsroot.net (исполнитель 5) (59/64) 18/12/03 06:16:17 INFO storage.BlockManagerInfo: добавлено rdd_10_22 в память на bdgtr006d20i2u.nam.nsroot.net:34124 (размер: 705,2 МБ,бесплатно: 8,4 ГБ) 5437,013: [Полный GC (System.gc ()) 1121M-> 297 М (25 ГБ), 0,6317014 с] 18/12/03 06:17:00 Планировщик INFO.TaskSetManager: Завершено задание 22.1 на этапе 4.0 (TID 192) за 2686834 мс на bdgtr006d20i2u.nam.nsroot.net (исполнитель 9) (60/64) 7237.013: [Полный GC (System.gc ()) 1112M-> 297M (25G)), 0,7000144 с] 18/12/03 07:02:15 INFO storage.BlockManagerInfo: добавлено rdd_10_63 в память на bdgtr007d17i2u.nam.nsroot.net:43841 (размер: 318,9 МБ, бесплатно: 9,0 ГБ) 18/12/0307:02:39 INFO scheduler.TaskSetManager: Выполнено задание 63.0 на этапе 4.0 (TID 191) за 8091801 мс на bdgtr007d17i2u.nam.nsroot.net (исполнитель 5) (61/64) 9037.014: [Полный GC (System.gc ()) 1097M-> 297M (25G), 0,6828210 секунд] 18/12/03 07:17:57 INFO storage. BlockManagerInfo: в память добавлено rdd_10_58 на bdgtr002d16i2u.nam.nsroot.net:41262 (размер: 247,2 МБ, бесплатно9,6 ГБ) 18/12/03 07:18:17 INFO scheduler.TaskSetManager: Выполнено задание 58.0 на этапе 4.0 (TID 186) за 9030124 мс на bdgtr002d16i2u.nam.nsroot.net (исполнитель 25) (62/64) 18 /12/03 07:21:11 INFO storage.BlockManagerInfo: добавлено rdd_10_0 в памяти на bdgtr001d01h1u.nam.nsroot.net:41190 (размер: 515,8 МБ, бесплатно: 10,0 ГБ) 18/12/03 07:21:49 INFO scheduler.TaskSetManager: Выполнено задание 0.0 на этапе 4.0 (TID 128) за 9241836 мс на bdgtr001d01h1u.nam.nsroot.net (исполнитель 8) (63/64) 10837.013: [ПолныйGC (System.gc ()) 1095M-> 297M (25G), 0,7272104 с] 18/12/03 07:51:01 INFO storage.BlockManagerInfo: в память добавлено rdd_10_59 на bdgtr009d08i2u.nam.nsroot.net:44716 (размер: 287,4 МБ, бесплатно: 9,4 ГБ)