Я запускаю искровое задание, которое получает данные, уже разделенные на разделы размером 10 МБ каждый.
Когда я запускаю это искровое задание с небольшим общим входным размером, я не вижу никакой нехватки памяти (OOM), но когда я запускаю это искровое задание с большим общим входным размером, я вижу OOM.
В обоих случаях исполнителям выделяется одинаковый объем памяти. В обоих случаях на одного исполнителя приходится 2 ядра. В обоих случаях каждому заданию присваивается один и тот же размер ввода, поскольку он разделен на разделы размером 10 МБ.
Есть ли у вас идеи, почему я вижу OOM, когда я запускаю это задание с большим общим размером ввода?