Датчик воздушного потока HDFS - PullRequest
Новая
       11

Датчик воздушного потока HDFS

0 голосов
/ 18 октября 2018

Попытка заставить HDFSSensor работать.Я установил соединение hdfs, и файл есть, но он продолжает тыкать файл и никогда не завершает

Поиск файла hdfs: // user / airflow / stamps / test / ds = 2018-10-15/ _SUCCESS

код такой, как показано ниже 

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='hdfs://user/airflow/stamps/test/ds=2018-10-15/_SUCCESS',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

На самом деле он работает без имени файла в пути.Я также хотел бы добавить еще один момент, когда вы создаете соединение hdfs, вам нужно использовать номер порта hdfs, а не порт webhdfs, т.е. 8020 (может быть 9000, если это localhost), но не порт webhdfs, такой как 50070 

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='/user/airflow/stamps/test/ds=2018-10-15/',
        hdfs_conn_id='hdfs_leo',
        dag=dag)

Большое спасибо вам обоим за попытку помочь мне

1 Ответ

0 голосов
/ 19 октября 2018

Попробуйте с filepath, установленным без протокола.Нравится: 

hdfs_sense_open = HdfsSensor(
        task_id='hdfs_sense_open',
        filepath='/user/airflow/stamps/test/ds=2018-10-15/_SUCCESS',
        hdfs_conn_id='hdfs_leo',
        dag=dag)
...