У меня есть два источника данных:
Storeorder: {columns=Store, Type_of_carriers, No_of_carriers, Total_space_required}
Fleetplanner: {columns=Store, Truck_Type, Truck_space, Route}
Требование:
Создание списка с {Store, Type_of_carriers, No_of_carriers, Route}
В данных Fleetplanner один магазин может иметь более одного типа Truck_type и
Маршрут. Также один маршрут может иметь несколько магазинов или ассоциированных остановок.
- Каждый раз, когда я беру запись из Storeorder, я должен назначить, сколько перевозчиков пойдет на какой маршрут.
- В то же время я должен обновить данные Fleetplanner, оставив место для следующих магазинов.
Это я сделал в Пандах, используя цикл, и это занимает огромное время.
Может кто-нибудь подсказать, как по-другому решить эту проблему в Spark?
Я решил проблему с помощью Pandas, но хочу распараллелить в Spark
Описан