Регулярное выражение в spark.read. json

Question

Я хочу прочитать все json файлы, которые имеют временную метку за час до текущего времени из каталога had oop. Имя файла похоже на test_2020021418553333

import java.util.Calendar;

import java.text.SimpleDateFormat;

val form = new SimpleDateFormat("yyyyMMddhh");

val c = Calendar.getInstance();

c.add(Calendar.HOUR, -1);

val path ="/Test_"+form.format(c.getTime())+"*";

val test_df = spark.read.json(path)

Когда я запускаю этот код: Путь не существует Ошибка идет. Может кто-нибудь предложить, как прочитать имена файлов, как Test_20200214 {Любая возможная комбинация цифр} ??

Answer 1

Быстрый тест показывает, что у вас есть минуты

form.format(c.getTime()) res2: String = 2020021401 Так что удалите последние 2 машины

С уважением