Я использую облачные функции для запуска Airflow DAG, когда файл помещается в облачное хранилище.
Он работал для файла .csv, но мое требование - облачная функция должна запускать DAG, когда файл любого типа(скажем, файл .json) помещается в облачное хранилище.
Я дал такую конфигурацию, как,
index.js:
'use strict';
const fetch = require('node-fetch');
const FormData = require('form-data');
var config = require('./config.json');
exports.triggerGCSDag = function triggerGCSDag(data,context) {
const PROJECT_ID = config.PROJECT_ID;
const CLIENT_ID = config.CLIENT_ID;
const WEBSERVER_ID = config.WEBSERVER_ID;
const USER_AGENT =config.USER_AGENT;
const BODY = {'conf': JSON.stringify(data)};
const file = data;
const file_format=config.file_format;
const folder_array=config.folder_name;
const DAG_ARRAY=config.DAG_NAME;
.
.
.
Но DAG не запускается всякий раз, когдаФайл .json или csv, помещенный в облачное хранилище.
Пожалуйста, помогите мне настроить config.json для формата файлов csv и json, чтобы cf запускал Airflow DAG