Я использую Google Cloud Dataprep для обработки данных, хранящихся в BigQuery. У меня проблема с dataprep / dataflow создает новый набор данных с именем, начинающимся с «temp_dataset_beam_job _»
Кажется, создается временный набор данных как для неудачных, так и для успешных заданий потока данных, которые создает dataprep. Это проблема, поскольку BigQuery очень быстро становится беспорядочным со всеми этими потоками.
Раньше такой проблемы не было.
Подобная проблема описывалась в этом потоке GitHub: https://github.com/GoogleCloudPlatform/DataflowJavaSDK/issues/609
Есть ли способ не создавать временные наборы данных или вместо этого создавать их в Папка Cloud Storage?