Я попытался обновить конвейер потокового потока данных, потому что он не был должным образом автоматически масштабирован согласованным и быстрым способом.Конвейер использует службу shuffle и возвращает следующую ошибку: Не удалось создать рабочий процесс из-за неправильной настройки.Невозможно проанализировать значение, соответствующее эксперименту use_shuffle_service_address.
Я уже установил количество работников на 5, а для алгоритма автомасштабирования также установлено значение THROUGHPUT_BASE.Объем данных, когда я впервые запускаю конвейер, низкий, поэтому рабочие масштабируются до 1. Однако, когда гораздо больше данных поступает в увеличенном масштабе, многократные рабочие очень медленны и создают небольшое отставание (до 40 минутувеличить)
Я хочу, чтобы поток данных либо быстрее масштабировался при получении всплеска данных, либо я хочу иметь возможность обновить конвейер и сохранить службу случайного воспроизведения.