Можно ли должным образом управлять целевыми файлами Luigi, используя функции ввода / вывода файлов Pandas вместо открытия / закрытия

Question

У меня есть скрипт, который в значительной степени опирается на функции ввода / вывода файлов pandas, такие как read_csv (), to_csv () и т. Д., Со многими настраиваемыми параметрами, которые они предлагают.

Можно ли использовать их в конвейере Луиджи для локальных файловых целей?

Я хочу преобразовать его в конвейер luigi, но каждый пример, который я видел, использует открытый / закрытый ввод / вывод python с пользовательским анализом.

Я слышал, что функциональность целевого объекта luigi специально основана на target.close () или 'with' для отслеживания зависимостей.

Answer 1

Да. LocalTarget может использоваться с выводом произвольного кода. Для отслеживания файлов используется метод exists(). open() - это просто удобный метод.