У меня есть тема Кафки, которая началась в 100 ГБ, которую я пытался прочитать в IMap с Hazelcast-jet.У машины много памяти и я выделил ей 300 ГБ кучи.Тема была разбита на 147 разделов, но когда я запускаю код, который сообщает Pipeline о необходимости читать из темы «как можно раньше» с локальным параллелизмом, установленным в 84, процесс, по-видимому, не использует много ядер и после запуска некоторое время не делаетне должно быть где-либо рядом с количеством записей, которые должны быть на карте (по сравнению с данными, введенными в поиск Elastic одновременно).Теперь, когда тема вышла за пределы 500 ГБ, я ожидаю, что в конечном итоге процесс будет исчерпан из памяти, но он все еще не использует много ядер и загружает только часть данных.
У кого-нибудь есть идеи?почему это может быть?