почему airflow googlecloudstorageobjectsensor не выполняет поиск по частичным именам объектов (например, file * .csv) - PullRequest
Новая
       2

почему airflow googlecloudstorageobjectsensor не выполняет поиск по частичным именам объектов (например, file * .csv)

0 голосов
/ 07 апреля 2019

gcs_sensor в потоке воздуха не работает для частичного имени объекта. например, в объекте, который я дал myfile *, но он не работает. Можете ли вы предложить решение, которое использует частичные имена для поиска в облачном хранилище Google 

file_watcher = GoogleCloudStorageObjectSensor(
    task_id='filesensor',
    bucket='poc-1',
    object='myfile*',
    google_cloud_conn_id='google_cloud_default',
    dag=example_dag
)

1 Ответ

1 голос
/ 08 апреля 2019

Возможно, вы захотите посмотреть на GoogleCloudStoragePrefixSensor.

Ссылка:

https://airflow.apache.org/code.html#airflow.contrib.sensors.gcs_sensor.GoogleCloudStoragePrefixSensor

file_watcher = GoogleCloudStoragePrefixSensor(
    task_id='filesensor',
    bucket='poc-1',
    prefix='myfile',
    google_cloud_conn_id='google_cloud_default',
    dag=example_dag
)
...