У меня есть набор данных с ключом, называемым продуктом, и каждый ключ имеет несколько записей. Я хочу сохранить раздел данных по ключу и определенному номеру. Например, я хочу, чтобы каждая сохраненная секционированная информация содержала все наблюдения 50 продуктов. Я могу сохранить раздел данных по ключу с помощью следующего:
df.write.mode("overwrite").partitionBy("product_name").parquet(file_path)
, но как добавить продукт 50 для файла?