Spark уменьшает время сериализации результата - PullRequest
0 голосов
/ 08 октября 2018

Просто общий вопрос, у меня есть приложение для потокового воспроизведения, которое получает данные из темы Кафки с различной скоростью.Что странно для меня, так это то, что иногда требуется 5 секунд для обработки пакета из 5 записей, и в то же время, это занимает 5 секунд даже для пакета из 500 записей.Когда я заметил, почему обработка 5 записей занимает больше времени, я заметил, что «Время сериализации результатов» велико.Я использую сериализацию Kryo везде, и мой код имеет логику перераспределения, где используется максимальное время (из 5 секунд).Мой размер данных составляет около 1 КБ для этих 5 записей.До сих пор не понимаю, почему это так долго.Есть идеи или предложения?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...