Как переместить файлы старше y дней из архивной папки в другую папку, используя python в Databricks - PullRequest
Новая
       0

Как переместить файлы старше y дней из архивной папки в другую папку, используя python в Databricks

0 голосов
/ 22 января 2019

Мне нужно найти все файлы старше y дней в архивной папке и переместить эти файлы в некоторую папку. Я нашел некоторые файлы старше y дней в архиве и попытался перейти в другую папку. Я написал код, используя python.При запускекод, который я получаю эту ошибку "java.io.FileNotFoundException: /dbfs/FileStore/Archival/testparquet.parquet".Я проверил, файл существует в dbfs. Может кто-нибудь, пожалуйста, помогите мне в этом 

from pathlib import Path
import arrow
import os, time, sys
vFilePath="/dbfs/FileStore/"
path = "/dbfs/FileStore/Archival/"
path1="dbfs:/FileStore/Archival/"
#####FOR Dbutils path###
vDbuPath="/FilsStore/Archival/"
deleteFullPath="FileStore/Deleted/"
now = time.time()
print (now)
vdelFullPath=deleteFullPath+"/"
for f in os.listdir(path):
  Filename=str(print(f))
  print(Filename)
  f = os.path.join(path,f)
  print(os.stat(os.path.join(path,f)).st_mtime)
  if os.stat(os.path.join(path,f)).st_mtime < now - 1 * 86400: 
      print("f value: "+f)
      filename=os.path(f)
      print("dbutilspath: " +filename)
      if not os.path.exists("dbfs:/"+deleteFullPath + Filename):         dbutils.fs.mv(filename,"dbfs:/"+deleteFullPath+"testparquet.parquet",recurse=True)
...