Я могу создать файл .csv, используя задание Talend, и я хочу преобразовать файл .csv в файл .parquet, используя компонент tSystem?

Question

У меня есть задание Talend для создания файла .csv, и теперь я хочу преобразовать формат .parquet с помощью Talend v6.5.1.Единственный вариант, который я могу себе представить, - компонент tSystem для вызова скрипта python из локальной или директории, куда временно приземляется .csv.Я знаю, что могу легко конвертировать это, используя pandas или pyspark, но я не уверен, что тот же код будет работать для tSystem в Talend.Можете ли вы предоставить предложения или инструкции -

Код:

   import pandas as pd
   DF = pd.read_csv("Path")
   DF1 = to_parquet(DF)

Answer 1

Я могу решить проблему, выполнив следующие шаги:

импортировать панд как pd

импортировать pyarrow как pa

импортировать numpy как np

import sys

filename = sys.argv [1]

test = pd.read_csv (r "C: \ Users \ ваш рабочий стол \ Downloads \ TestXML \" + filename + ". csv")test.to_parquet (r "C: \ Users \ ваш рабочий стол \ Downloads \ TestXML \" + filename + ". parquet")

Answer 2

Если у вас есть внешний сценарий в вашей файловой системе, вы можете попробовать

"python \"myscript.py\" "

Вот ссылка на форуме talend об этой проблеме: https://community.talend.com/t5/Design-and-Development/how-to-execute-a-python-script-file-with-an-argument-using/m-p/23975#M3722