У меня есть CSV с данными, которые распределены по горизонтали для каждого тикера. Есть 5 полей для каждого тикера (Close, High, Low, Open, Volume) и около 1000 тикеров.
Ticker, A, A, A, A, A, AAL, AAL, AAL, AAL, AAL\n
Series, Close, High, Low, Open, Volume, Close, High, Low, Open, Volume\n
Date, , , , , , , , , , \n
2019-01-02, 64.968681, 65.8390160221, 64.5829644549, 65.7697846698, 2113300, 31.96316, 32.1304568327, 30.555913979, 30.9593898287, 5229500\
Я должен преобразовать это в другой CSV-файл в PySpark, чтобы данные распределялись по вертикали. Должно быть 7 полей со структурой, как показано ниже.
Date, Ticker, Close, High, Low, Open, Volume\n
2019-01-02, A, 64.968681, 65.8390160221, 64.5829644549, 65.7697846698, 2113300\n
2019-01-02, AAL, 31.96316, 32.1304568327, 30.555913979, 30.9593898287, 5229500\n
Ребята, можете поделиться своими мыслями?