Я изо всех сил пытался найти хорошее решение для этого в течение прошедшего дня и хотел бы услышать ваши мысли.
У меня есть конвейер, который получает большой & Dynami c JSON массив (содержащий только строковые объекты), мне нужно иметь возможность создать ContainerOp для каждой записи в этом массиве (используя dsl.ParallelFor ).
Это прекрасно работает для небольших входов.
Сейчас массив поступает в виде файла http url из-за ограничений размера аргументов входного конвейера ar go и Kubernetes (или это то, что я понял из текущих открытых проблем), но - когда я пытаюсь для чтения файла из одной операционной системы для использования в качестве входных данных для ParallelFor я сталкиваюсь с ограничением выходного размера.
Что было бы хорошим и повторно используемым решением для такого сценария?
Спасибо!