Я хочу создать небольшой фрейм данных всего с 10 строками.И я хочу, чтобы этот фрейм данных был распределен по двум рабочим узлам.В моем кластере только два рабочих узла.Как мне это сделать?
В настоящее время, когда я создаю такой маленький фрейм данных, он сохраняется только в одном рабочем узле.
Я знаю, что Spark - это сборка для больших данных, и этот вопросне имеет особого смысла.Однако, концептуально, я просто хотел узнать, возможно ли вообще или возможно принудительно разделить фрейм данных Spark на все рабочие узлы (учитывая очень маленький фрейм данных только с 10-50 строками).
Или это совершенно невозможно, и мы должны полагаться на мастер Spark для этого распределения данных?