Файловая система Databricks - Копирование файла на основе даты - PullRequest
0 голосов
/ 29 декабря 2018

Я пытаюсь скопировать файлы в папку на основе current_date и расширения .csv с помощью утилит Databricks - dbutils

. Я создал следующее:

import datetime
now1 = datetime.datetime.now()
now = now1.strftime("%Y-%m-%d")
from datetime import datetime
today = datetime.today().date()

Затем я попробовалследующий

dbutils.fs.cp('adl://mylake.azuredatalakestore.net/testfolder/*{today}.csv','adl://mylake.azuredatalakestore.net/testfolder/RAW/')

dbutils.fs.cp('adl://mylake.azuredatalakestore.net/testfolder/*{now}.csv','adl://mylake.azuredatalakestore.net/testfolder/RAW/'

Однако я продолжаю получать неверную синтаксическую ошибку

Есть мысли?

1 Ответ

0 голосов
/ 03 января 2019

dbutils.fs.cp копирует отдельные файлы и каталоги и не выполняет подстановочные знаки, см. Ссылку на dbutils.fs.help ("cp").Вы можете попытаться составить список содержимого исходного каталога с помощью dbutils.fs.ls, отфильтровать результаты в python, а затем скопировать соответствующие файлы один за другим.

...