Недавно я наткнулся на онлайн-видео, где инструктор предложил, чтобы метод параллелизации в искре (sc.parallelize) никогда не использовался в производственной среде и был пригоден только для целей прототипирования.
Я так понимаю, он используется для преобразования коллекции в rdd в spark.И, согласно видео, это не рекомендуемая практика.
Пытался провести какое-то исследование по этому вопросу и оказался пустым.Хотите понять, в чем проблема, поскольку я видел, как это используется в производстве в масштабе, и может ли быть улучшение?И какой подход был бы рекомендован?