У меня есть словарь, который содержит ключ: имена файлов и значения: столбцы и типы данных имен файлов .Словарь выглядит примерно так: -
{u'file_1.csv': [('WBS_ELEMENT_ID', 'string'),
('WBS_ELEMENT_NAME', 'string'),
('PROJECT_TYPE_ID', 'string'),
('PROJECT_TYPE_NAME', 'string'),
('CONTRACT_ID', 'string'),
('CONTRACT_LINE_NUMBER', 'string'),
('CONTRACT_LINE_NAME', 'string'),
('WBS_FUNC', 'string'),
('WBS_FUNC_DESCR', 'string'),
('WBS_ELMT_STAT', 'string'),
('WBS_ELMT_STAT_DESCR', 'string'),
('ENG_CREATION_DATE', 'string'),
('END_DATE', 'string'),
('PROFIT_CENTER', 'string'),
('COMPANY_CODE', 'string'),
('CONTRACTING_FIRM_CLIENT_ID', 'string'),
('PRODUCT_CODE', 'string')],
u'File_2.csv': [('CONTRACTING_FIRM_CLIENT_ID', 'string'),
('COMPANY_CODE', 'string'),
('PROFIT_CENTER', 'string'),
('FISCAL_MONTH', 'int'),
('CHARGED_HOURS', 'double'),
('FEE_REV_EXTERNAL_CLIENTS', 'double'),
('ENGAGEMENT_MARGIN', 'double'),
('PRODUCT_CODE', 'string'),
('MONTH', 'string'),
('WBS_ELEMENT_ID', 'double')],.......}
Я должен сохранить этот словарь как файл CSV / JSON в PySpark.Каков наилучший способ сделать это?